昨天在工作时遇到一个小问题，同事的某API返回太慢了，我帮他优化下。简单的探究了下需求，发现了一点得优化的地方。
需求
需求很简单，就是对数据结构进行初步的整理。a.json内容大致如下：
b.json内容大致如下（大概16M的一个大文件）：
想要的结果如下：
就是把sent_id和received_id的值去b.json里查找对应的itemid，然后……继续阅读 »
Benny小土豆
5年前 (2019-04-13 14:42) 4904浏览
6评论
10个赞
这篇文章在 2019年03月01日16:39:35 更新了哦~很长时间之前我写过一篇《使用 Python 将海量 MySQL 数据导入 Elastic Search/MongoDB》，主要就说了如何把大量MySQL数据写入键值对数据库。
现在回过头看来这篇文章还是很有参考价值的。
有的时候我们会遇到相反的需求，比如说把对应的键值对数据库（或者说是json文件……继续阅读 »
Benny小土豆
6年前 (2018-11-28 10:59) 6205浏览
7评论
13个赞
前几天有这么一个需求，要给Excel表格的最前面加入两列。我想这不是非常简单吗？几行代码而已：
import openpyxl
wb = openpyxl.load_workbook('simple.xlsx')
sh = wb.active
sh.insert_cols(1)
wb.save('result.xls……继续阅读 »
Benny小土豆
6年前 (2018-09-19 21:42) 10228浏览
6评论
13个赞
这篇文章在 2019年01月23日17:04:22 更新了哦~今天向大家介绍一款可以用来查询国内绝大部分城市天气预报的Python库pyweathercn，网上搜到的基本都不能用啦……
pyweathercn的作者正是大名鼎鼎的本人。
好吧，其实这个库我早在5月份的时候就写好了，但是由于太忙一直忘了这回事……
demo: https://weather.be……继续阅读 »
Benny小土豆
6年前 (2018-08-18 16:35) 8806浏览
6评论
15个赞
起源
近期，我把一个Python 2 的项目迁移到了Python 3，今早在进行最后一次测试时，发现下载的一个按钮是失效的。当时立刻就想，完蛋了，难道是遇到了跨平台的问题？那就糟糕了啊，跨平台问题都不太好处理的。
试了下原来的Python 2版本的还正常，那么就是这次迁移有点小问题了。
确定复现
经过一系列绝望的瞎猫碰死耗子的尝试，发现了当要下载的文件是第……继续阅读 »
Benny小土豆
6年前 (2018-04-17 16:35) 8461浏览
4评论
16个赞
这篇文章在 2019年08月06日17:07:08 更新了哦~问题来源
前几天用Tornado做Web服务器起了一个简单的以表格显示数据库中内容的网页，然后把它放到lab服务器上做demo。卧病几天之后打开邮箱，发现mentor邮件说表格中不显示数据。赶紧登上服务器screen回去看下，发现抛了个这么异常：Lost connection to MySQL s……继续阅读 »
Benny小土豆
6年前 (2018-04-13 23:16) 14812浏览
4评论
19个赞
我可能走上了移植的不归路
在几个月开始给ExpressBot加入人人影视的API的时候，发现有一个很神奇的API，对某个URL进行curl url -C - -Lv -o xxx.mp4，会下载回来一个和原始视频文件一样大小、内容却经过某种加密处理的文件。
前几天经过JasonKhew96的分析，发现是人人影视对视频文件进行了加密。
加密原理
一句话简单概括……继续阅读 »
Benny小土豆
7年前 (2018-02-10 21:55) 12261浏览
14评论
15个赞
这篇文章在 2018年08月31日11:08:55 更新了哦~Repository:
估计是个程序员都应该使用过JetBrains的IDE（尤其是Python程序员吧）。JetBrains的产品线非常丰富，PHP的PHPStorm，前端的Webstorm，Python的Pycharm，Java的IntelliJ，Ruby的RubyMine，Go的Goland……继续阅读 »
Benny小土豆
7年前 (2018-02-06 10:53) 26673浏览
52评论
18个赞
这篇文章在 2019年10月31日20:06:58 更新了哦~又到了一年一度写“新年首博”的时候！很高兴，本博客依然坚挺，正努力向着【三周年】庆典一天天地迈进。
关于俺近期的静默
最近一个多月，俺确实比较忙（在前几篇博文中也多次提及这点），导致博客更新频率下降。在此，先向各位读者表示抱歉
为了避免大伙儿无谓的担心，俺尽量把静默的时间跨度控制在【14天】之内……继续阅读 »
Benny小土豆
7年前 (2018-02-01 14:07) 15497浏览
8评论
25个赞
这篇文章在 2018年07月12日13:39:17 更新了哦~话说啊，几天之前，我接到了这么一个任务，就是把大量MySQL的数据导入到Elastic Search中，再久之前我还有个把数据导入到MongoDB中。MongoDB和ES本身还是比较接近的，只不过这次导入到ES的数据量非常大，最大的表大概有4GiB左右，咱得必须想点方法优化一下这个导入过程。
当然……继续阅读 »
Benny小土豆
7年前 (2017-11-03 23:38) 10499浏览
18评论
23个赞
![[Telegram bot 系列]1：requests库、Inline Keyboard、Reply Keyboard与其他细节](https://7bc5d24.webp.ee/wp-content/uploads/2018/02/2018020105133426.png?width=200&height=123)
