昨天在工作时遇到一个小问题,同事的某API返回太慢了,我帮他优化下。简单的探究了下需求,发现了一点得优化的地方。
需求
需求很简单,就是对数据结构进行初步的整理。a.json内容大致如下:
b.json内容大致如下(大概16M的一个大文件):
想要的结果如下:
就是把sent_id和received_id的值去b.json里查找对应的itemid,然后……继续阅读 »
Benny小土豆
5年前 (2019-04-13 14:42) 4904浏览
6评论
10个赞
这篇文章在 2019年03月01日16:39:35 更新了哦~很长时间之前我写过一篇《使用 Python 将海量 MySQL 数据导入 Elastic Search/MongoDB》,主要就说了如何把大量MySQL数据写入键值对数据库。
现在回过头看来这篇文章还是很有参考价值的。
有的时候我们会遇到相反的需求,比如说把对应的键值对数据库(或者说是json文件……继续阅读 »
Benny小土豆
6年前 (2018-11-28 10:59) 6205浏览
7评论
13个赞
前几天有这么一个需求,要给Excel表格的最前面加入两列。我想这不是非常简单吗?几行代码而已:
import openpyxl
wb = openpyxl.load_workbook('simple.xlsx')
sh = wb.active
sh.insert_cols(1)
wb.save('result.xls……继续阅读 »
Benny小土豆
6年前 (2018-09-19 21:42) 10228浏览
6评论
13个赞
这篇文章在 2019年01月23日17:04:22 更新了哦~今天向大家介绍一款可以用来查询国内绝大部分城市天气预报的Python库pyweathercn,网上搜到的基本都不能用啦……
pyweathercn的作者正是大名鼎鼎的本人。
好吧,其实这个库我早在5月份的时候就写好了,但是由于太忙一直忘了这回事……
demo: https://weather.be……继续阅读 »
Benny小土豆
6年前 (2018-08-18 16:35) 8806浏览
6评论
15个赞
起源
近期,我把一个Python 2 的项目迁移到了Python 3,今早在进行最后一次测试时,发现下载的一个按钮是失效的。当时立刻就想,完蛋了,难道是遇到了跨平台的问题?那就糟糕了啊,跨平台问题都不太好处理的。
试了下原来的Python 2版本的还正常,那么就是这次迁移有点小问题了。
确定复现
经过一系列绝望的瞎猫碰死耗子的尝试,发现了当要下载的文件是第……继续阅读 »
Benny小土豆
6年前 (2018-04-17 16:35) 8461浏览
4评论
16个赞
这篇文章在 2019年08月06日17:07:08 更新了哦~问题来源
前几天用Tornado做Web服务器起了一个简单的以表格显示数据库中内容的网页,然后把它放到lab服务器上做demo。卧病几天之后打开邮箱,发现mentor邮件说表格中不显示数据。赶紧登上服务器screen回去看下,发现抛了个这么异常:Lost connection to MySQL s……继续阅读 »
Benny小土豆
6年前 (2018-04-13 23:16) 14812浏览
4评论
19个赞
我可能走上了移植的不归路
在几个月开始给ExpressBot加入人人影视的API的时候,发现有一个很神奇的API,对某个URL进行curl url -C - -Lv -o xxx.mp4,会下载回来一个和原始视频文件一样大小、内容却经过某种加密处理的文件。
前几天经过JasonKhew96的分析,发现是人人影视对视频文件进行了加密。
加密原理
一句话简单概括……继续阅读 »
Benny小土豆
7年前 (2018-02-10 21:55) 12261浏览
14评论
15个赞
这篇文章在 2018年08月31日11:08:55 更新了哦~Repository:
估计是个程序员都应该使用过JetBrains的IDE(尤其是Python程序员吧)。JetBrains的产品线非常丰富,PHP的PHPStorm,前端的Webstorm,Python的Pycharm,Java的IntelliJ,Ruby的RubyMine,Go的Goland……继续阅读 »
Benny小土豆
7年前 (2018-02-06 10:53) 26673浏览
52评论
18个赞
这篇文章在 2019年10月31日20:06:58 更新了哦~又到了一年一度写“新年首博”的时候!很高兴,本博客依然坚挺,正努力向着【三周年】庆典一天天地迈进。
关于俺近期的静默
最近一个多月,俺确实比较忙(在前几篇博文中也多次提及这点),导致博客更新频率下降。在此,先向各位读者表示抱歉
为了避免大伙儿无谓的担心,俺尽量把静默的时间跨度控制在【14天】之内……继续阅读 »
Benny小土豆
7年前 (2018-02-01 14:07) 15497浏览
8评论
25个赞
这篇文章在 2018年07月12日13:39:17 更新了哦~话说啊,几天之前,我接到了这么一个任务,就是把大量MySQL的数据导入到Elastic Search中,再久之前我还有个把数据导入到MongoDB中。MongoDB和ES本身还是比较接近的,只不过这次导入到ES的数据量非常大,最大的表大概有4GiB左右,咱得必须想点方法优化一下这个导入过程。
当然……继续阅读 »
Benny小土豆
7年前 (2017-11-03 23:38) 10499浏览
18评论
23个赞