登录
  • 人们都希望被别人需要 却往往事与愿违
  • 要在自己的代码里找出一个bug是十分困难的。而当你认为你的代码没有错误时, 那就更难了@《代码大全》Steve McConnel

没了人人影视,我们该怎么办?

资源分享 Benny小土豆 27359次浏览 5676字 135个评论
文章目录[显示]
这篇文章在 2021年02月09日11:34:30 更新了哦~

太长不看版:

我把资源都爬下来了。


2021年1月4日,人人影视发布公告称“正在清理内容,所有客户端均无法正常使用”。

没了人人影视,我们该怎么办?

过了段时间,网友们发现,本来在资源页面中可以跳转到的分享页面,基本上全部消失了。

不过好在人人影视的分享API还是能够正常使用的,因此我的 bot也还正常。


2021年2月4日:你们都知道了。

归档人人影视

为了避免出现问题,我便想把整个人人影视的资源都归档出来。简单的观察了一下人人影视的资源格式,如这个URL:http://www.rrys2020.com/resource/40000

其实就可以发现,只要resource后的数字从1开始不停地遍历,就可以获取到全部资源了。你看,这就是不使用UUID的结果,被我这种磨人的小妖精发现了吧!

(关于使用UUID还是自增主键,可以看看这篇《Laravel 使用 UUID 作为用户表主键并使用自定义用户表字段》

那么现在就很简单了,从1开始遍历,遍历到最新的剧集的ID为止,通过分享API拿到数据,然后存储到数据库里。为了避免出现rate limit,加上随机休眠;为了加快遍历速度,还要考虑并发。这两者看起来是矛盾的组合,也确实挺难调和的。同时为了让界面更友好,使用一个简单的进度条来告知进度。

真的是非常简单的,有兴趣的可以参考这里的源代码

开源地址

ping了一下,人人影视的主站和分享站API都在香港阿里云上,那么用香港的aws去跑是最好的。最终我把这些资源都跑了下来,存到了MySQL中并发布了出去,然后推特发了出去。

这么一发布,没想到竟然让我的channel订阅者人数加一个0,Twitter follower翻倍。真是受宠若惊😂。

一点点小发现:人人影视第一部翻译的剧集,是《越狱》。ID是10004

被机器人轰炸是一种怎样的感觉?

突然一下子多了这么like,bot的使用量也开始飙升。

最开始为了方便修复bug,我设置了一个“向开发者提交错误信息”的功能,大概是这样子的:

没了人人影视,我们该怎么办?

点一点按钮谁不会嘛,点一点又不会消耗很多精力,作为一个资深的伸手党,这一切不符合预期的结果肯定不是我的错,那我就点一下就好了,一下不好用,那么我就点两下三下。反正既不吃亏也不上当。

也许有一些人是这样想的吧!

结果这次就开始不停地收到各种报错信息,都有什么样子的呢?

  • 喜洋洋与灰太狼
  • 战狼,流浪地球
  • 权利的游戏
  • 各种莫名其妙的我也不记得是什么了
  • ahsjhsads然后瞬间block bot的

etc...

第三种打了错别字的还可以理解,剩下的是在难为我胖虎吗?😡🤬

原有的设计是,出现错误报告的时候,我需要登录到vps上,使用一个messenger.py 来回复,但是这样就很麻烦,不仅要ssh还要去container里,而且需要在电脑旁。后来我优化了一下,直接在Telegram里就可以回复,我看到的大概是这样的:

没了人人影视,我们该怎么办?

可是有些用户依旧在汇报这种根本就是无法处理的问题,有的甚至还点两次,非常无奈的我就……我让你点两次试试看!😠

没了人人影视,我们该怎么办?

甚至最后我还开发了一键生气和一键回怼功能

没了人人影视,我们该怎么办?

然而并无卵用,该点的还是会点……😂这么不相信我的代码质量吗?😱本来还想,要不我弄个黑名单的功能,想了想还是算了,直接默认关闭了这项功能就可以了。

在这件事情中,我学习到了,总是有一部分人是不会认真读说明的。🤣

气鼓鼓🤨

没了人人影视,我们该怎么办?

人人影视网站间歇性访问问题

为了方便部署,我的所有Bot是使用docker-compose启动的,丢在了一台英国的大鸡鸡上。毕竟Bot API Endpoint在荷兰,英国访问过去会比较快。再加上这是大鸡鸡,内存和CPU资源都很充足的。

某天(1月17日),突然发现bot的回应很慢,然后发现是从英国访问人人影视有点艰难,经常出现connection reset等情况。

看了一下香港和新加坡还是比较稳定的,于是就一个rsync把YYeTs bot迁移到了新加坡。

同时,为了避免某天人人影视真的炸掉,我开发了一个Offline模式(😂被我rebase了之后,时间好像不对了),使用环境变量来控制是否启用。最终数据来源就是上面归档的那些数据。

那么数据存在哪里呢?老早之前就听Nova大佬说Cloudflare worker怎么怎么香。于是我便很暴力的撸了一个非常原始的页面,有多原始呢?

没了人人影视,我们该怎么办?

直接返回json可还行😂

没了人人影视,我们该怎么办?

此时,人人影视专用链接 yyets:// 还是能够在客户端里下载的,速度还不错的说。

しかし,此时我还不知道,我用wrangler bulk:put的数据其实是不全的……因为wrangler bulk虽然有10000个kv的限制,但是Cloudflare对于免费用户,每天还是只有1000的限制的。所以其实我以为两天能够导入完整的17517条数据,其实只有2000🤦‍♀️

人人影视网站无法访问

随后,我又添加了FIX字幕侠的支持。在搞它的过程中,发现这家伙竟然是拿WordPress搞的!那有WordPress的Public API,还爬个毛线啊,直接把整个wp.posts端回来了……🤔

没了人人影视,我们该怎么办?

しかし。。。好吧,通过插件把Public API禁用了,并且这个插件还有Bug😂。不过这下子也发现了用的是 LNMP一键安装啊。那就只好搞常规的爬虫+Redis了。

搞完FIX的第二天,突然发现人人影视无法访问了。主站无法访问,分享站的API也挂掉了。当然,服务器还在,还能ping通。那就只好切换到fix啦!

没了人人影视,我们该怎么办?

再后来,我用了很多时间去优化,甚至搞出来了优先级搜索,FIX找不到,再去人人影视搜索。甚至还可以指定字幕组搜索。比如说这样:

没了人人影视,我们该怎么办?

有时发现Bot没有回复,但是进程也没有退出,就是纯粹的卡死了。是由于任务太多,访问网站又很慢,然后pyTelegramBotAPI的线程池满了吗?也许以后可以考虑把爬虫这部分功能集成到celery中。

当下,喜欢简单暴力的我我又用Client API写了一个health check🤦‍♀️

更友好的Worker Website

在人人影视挂掉的当天,我发现了其实人人影视只是部分URL是挂掉的,某些资源还是可以很容易的get回来的。got002.com 也是同理,只是API坏掉了,页面资源还在。

于是我就发挥了我的小偷技能,把这些资源都搞了回来,然后一顿操作猛如虎,把这个仿真的人人影视分享站搞到了Cloudflare Worker上。

没了人人影视,我们该怎么办?

Dr. Brand: Lazarus came back from the dead.

Cooper: Sure, but he had to die in the first place.

 

这个Worker也不再简陋了。甚至还有一个更酷的搜索页面和更短的域名https://yyets.dmesg.app/

没了人人影视,我们该怎么办?

我甚至还无聊到加上了资源分享页面访问量的统计😂这个代码写得超烂的,啊!

别说,这个Worker的访问量还真是挺多的。放心,够用的!

没了人人影视,我们该怎么办?

最近24小时有62.9K的访问量,反正比我博客都多出来好几个0就是了。哦对,这个数据是完整的,因为我有钞能力呀!🦸‍♀️

没了人人影视,我们该怎么办?

那么现在该怎么办

通过切换到FIX、使用YYeTsOffline作为fallback,糊了一个Worker Website,目前是差不多够用的。

那么以后该怎么办,难道我们真的只能告别人人影视了吗?

由于我现在已经不是人人影视字幕组的成员了,以下内容也只是推测。我本人还是持比较乐观的态度的。

人人影视只是部分页面坏掉了

这一点我在上面提到了,实测起来只是部分页面“故意坏掉”了,有一些页面还是有一定概率可以返回的,比如说

你看下面这个图,还能签到呢

没了人人影视,我们该怎么办?

2021年1月30日更新:网站已经ping不通了

Obrien-hk:~ # ping got002.com                                                                                                12:23.35 Sat Jan 30 2021 >>>
PING got002.com (47.52.153.161) 56(84) bytes of data.
^C
--- got002.com ping statistics ---
17 packets transmitted, 0 received, 100% packet loss, time 16389ms

ps1_fortune:2: command not found: fortune
Obrien-hk:~ # ping www.rrys2020.com                                                                                          12:23.54 Sat Jan 30 2021 >>>
PING www.rrys2020.com (47.52.174.174) 56(84) bytes of data.
^C
--- www.rrys2020.com ping statistics ---
22 packets transmitted, 0 received, 100% packet loss, time 21482ms

ps1_fortune:2: command not found: fortune

人人影视还在正常翻译新剧吗?

既然某些页面是坏掉的,那么是不是针对不同等级的用户使用了不同的策略?或者说有另外一个“马甲站”在发布新的资源?毕竟,服务器ping起来没问题,那么看起来就是应用端有一些限制了吧?

我个人看来,还在翻译的,但有没有压制,就不知道了……并且,人人影视客户端已经无法下载 yyets的专用链接了。可能是“tracker”关掉了吧?

没了人人影视,我们该怎么办?

不如这么办……

尽管我归档了人人影视的资源,但是还是缺少了新鲜的血液。

使用外挂字幕

目前来看,人人影视依旧还在翻译,字幕也上传到了subhd。那么可以自己下载片源然后外挂字幕了。当然,如果看日剧的话,追新番也还是好着的,这点就很让人开心了。

使用FIX

FIX的翻译质量也还不错的,作为替代选择很不错哦。

使用bot、Worker

worker只包含了归档的资源,bot会优先搜索FIX,然后如果没有搜索到才会去搜索Worker。看起来也还是不错的呢。

汇总

开源项目

由于个人的精力总是有限的,有兴趣的小伙伴可以帮忙开发维护 YYeTs Bot,地址在这里。如果有帮助到你的话,点个star🌟就可以了。如果想要donate😂那……难度可能有点高,但也不是不可能,看下导航栏的支持我

本项目目前需要……

  • 整理FIX资源 BagAndDrag
  • 添加其他字幕组支持 yyets/fansub.py
  • 测试用例 tests/*.py
  • Cloudflare Worker优化 worker/worker-site

开发的话,其实蛮简单的,比如说对于添加其他字幕组的支持,只需要继承BaseFansub,类名写好,实现search_preview和search_result,然后在FANSUB_ORDER里添加你的类名,就可以了。是否要实现缓存,这都是看你个人情况的……

开源地址

 

哦对了,公共资源请不要滥用。比如说爬虫啊什么的,说得像你能爬下来一样🙄️

一点点感慨

以下内容发布于我的Channel:

想起来一件趣事。之前看过一部电影《我是传奇》 I Am Legend。

这部电影有两个结局,一个是男主活下来,人类与“僵尸”共存,一个是男主牺牲找到解药,人类幸存。

几年前,和前女友异地感情不顺利的时候,每天在想办法找话题和她聊天保持亲密关系,于是就和她讨论起这个电影,问她更喜欢哪一个结局。

我说,我更喜欢男主牺牲拯救人类的结局。我更喜欢这个结局,不是因为这样会让男主看起来很伟大,是拯救了人类的英雄。

而是我认为第二个结局“僵尸”们看起来是不具备进行高级生产的能力的,尽管从电影中可以看到“僵尸”是有一些感情和智力的,但是我认为这个水平依旧无法达到现代人类所能达到的生产能力水平。

举个例子,人类能够使用自然资源制造出砖块,然后堆砌出墙壁,最终建造房子;然而对于“僵尸”们而言,他们并不具备这种能力,尽管他们的力气很大,但是力气大并不能创造出来力气更大的机器呀。所以从人类发展的角度来讲,我还是更喜欢人类幸存的结局。

她似乎很赞同我的观点。这么多年过去了,也不知道她过得还好不好。前几天还梦到了她🙁

今天提到这里,是因为男主牺牲的结局里,最后一句台词是这样的:

We are his legacy. This is his Legend.

就像我爬下来的数据一样,这些,是人人影视的遗产。这些,是人人影视的传奇。


最萌不过三岛花😘

没了人人影视,我们该怎么办?

 


文章版权归原作者所有丨本站默认采用CC-BY-NC-SA 4.0协议进行授权|
转载必须包含本声明,并以超链接形式注明原作者和本文原始地址:
https://dmesg.app/no-yyets.html
喜欢 (338)
分享:-)
关于作者:
If you have any further questions, feel free to contact me in English or Chinese.
发表我的评论(代码和日志请使用Pastebin或Gist)
取消评论

                     

去你妹的实名制!

  • 昵称 (必填)
  • 邮箱 (必填,不要邮件提醒可以随便写)
  • 网址 (选填)
(135)个小伙伴在吐槽
  1. 谢谢Benny, 好感动,把人人爬下来了,多少年的感情啊
    Mmmmmmzzzzzz2021-02-14 07:02 回复
  2. 衷心的感谢。多谢字幕组这么多年,还有你们这些大佬才让我们墙里的能看到外边的剧集电影。
    橙子真好吃2021-02-14 05:07 回复
  3. 感谢大佬提供资源! 不过下载小白有个问题:我在网站里找到了LAW & ORDER:CI 的内容,也下载了电驴,但是始终都显示在0.。speed 没有,progress 0, source 0....想请问怎么解决。。。 先祝大佬新年快乐!
    Goren2021-02-14 04:36 回复
    • 试试……迅雷?
      --本评论由Telegram Bot回复~❤️
      Benny小土豆2021-02-14 07:49 回复
      • 试过了,显示链接失效。。。不过毕竟也8年前的链接了。。。还是谢谢大佬!!
        Goren2021-02-15 10:09 回复
        • 😂用个啥115离线?
          --本评论由Telegram Bot回复~❤️
          Benny小土豆2021-02-15 10:09
        • 用了迅雷,说是链接失效,无法继续下载。。。T_T.... 但是还是感谢大佬!(双手合十)
          Goren2021-02-17 15:05
  4. 感谢!不过现在在谷歌上还能搜到的这个人人影视是什么网站啊?貌似也还有更新 http://www.yyetss.com/
    kaze2021-02-13 21:41 回复
    • 李鬼
      --本评论由Telegram Bot回复~❤️
      Benny小土豆2021-02-13 21:42 回复
  5. 啊,厉害,不愧是小可爱
    anonym2021-02-13 13:47 回复
    • 那当然了,不愧是本小可爱!
      --本评论由Telegram Bot回复~❤️
      Benny小土豆2021-02-13 14:09 回复
  6. 谢谢您, 有个问题请教,yyets.dmesg.app 如果不科学上网,在搜索框里填写后,就永远卡在 performing a TLS handshake to ajax.cloudflare.com 这一步转,不能出结果。
    罗斯特2021-02-13 01:54 回复
    • 可能你的网络连接cf炸掉了吧?
      --本评论由Telegram Bot回复~❤️
      Benny小土豆2021-02-13 07:08 回复
  7. 就是可惜我之前看的美剧收藏,刚开始以为只是短暂抽风,没想到是永别
    webbluesky2021-02-12 13:11 回复
    • 别怕,这里还可以找到:-)
      --本评论由Telegram Bot回复~❤️
      Benny小土豆2021-02-12 13:12 回复
  8. 非常感谢你做的努力,你发现的那个小秘密,越狱的字幕时间就是我接触人人的开始,人人的每一次事情我都经历过了,包括,二次注册,封杀等等,可以说人人几乎成为我生活中的一部分了。最近心情总是怅然若失,还好找到了这,再次感谢! Invictus Maneo
    alan4442021-02-12 12:32 回复
    • 希望这个项目能够为你带来快乐!
      --本评论由Telegram Bot回复~❤️
      Benny小土豆2021-02-12 12:34 回复
  9. 太感谢了!
    Peeler2021-02-10 04:21 回复
  10. Respect~ :wink: 依然怀抱希望,因人人而精彩~祝愿顺遂~! :mrgreen:
    与豫2021-02-09 16:28 回复
  11. 对了提个建议,能不能把资源页的默认tab设置成MP4,目前默认是网盘、专用链的页,其实很多失效了,另外我相信大家都到这个地步了肯定是下的磁力种子吧……
    小白白2021-02-09 16:03 回复
    • 你再刷新看看,是不是变了?
      --本评论由Telegram Bot回复~❤️
      Benny小土豆2021-02-09 17:15 回复
      • 嘿嘿。感谢!
        小白白2021-02-09 21:02 回复
  12. 真心感谢大佬。往小了说是保住了数据,往大了说是保住了一个国家人民的精神火种。不过真的很怕有一天这个火种也灭了= =。 想把自己喜欢的剧放到某盘上珍藏,也方便在线观看,但挨个搜太麻烦,没有编程基础不会SQL也看不懂git的我在这里诚心诚意的祈求大佬能不能整理一个下载用的Excel表格,一个Ctrl+F就能找到自己喜欢的资源然后扒拉两下鼠标就能把每一季的离线到网盘里。这样应该也会减小很多爬虫的压力。要是能出就每日为大佬焚香祈福。 不过大土豆到目前为止所做的一切已经足够让我为他买一杯咖啡了。啥也不说,Donate走起。
    传火选手2021-02-09 11:25 回复
    • 其实已经有一个现成的网站了: https://yyets.dmesg.app/ 以及Telegram Bot https://t.me/mikuri520
      --本评论由Telegram Bot回复~❤️
      Benny小土豆2021-02-09 11:27 回复
      • 现成网站需要挨个季点资源= =,可怜笔记本党没鼠标,求求了。 还有刚为了给大佬捐咖啡,把沉睡万年的PayPal激活了,但是发现只支持信用卡。 能把储蓄卡支付方式给打开吗= =没用Visa没有运通也没有百事达。 或者要不给您冲个giftcard,您给个账号?
        传火选手2021-02-09 12:12 回复
        • 🤣啊,我也不知道BuyMeACoffee要什么卡,还是感谢你的好心啦,giftcard可选我的Gmail。另外你说的那个Excel表格是有的,只不过看起来麻烦一些,不太直观😂 https://t.me/mikuri520/668
          --本评论由Telegram Bot回复~❤️
          Benny小土豆2021-02-09 12:22
  13. 作者注意安全
    kuijun2021-02-08 19:19 回复
  14. GitHub过来,厉害厉害!
    BlogWall2021-02-08 18:25 回复
  15. 大佬注意安全 早上看新闻刷到的 http://www.techweb.com.cn/it/2021-02-08/2825398.shtml
    过客2021-02-08 14:14 回复
  16. 唉,人人影视终于还是倒了,感谢分享
    Davis2021-02-08 09:55 回复
  17. 支持
    MissCick2021-02-06 04:04 回复
  18. benny小可爱可以做个浏览排行榜吗,突然很好奇大家都在看什么剧
    qq2021-02-05 20:17 回复
    • 你再打开看看?应该有了
      --本评论由Telegram Bot回复~❤️
      Benny小土豆2021-02-06 21:07 回复
  19. 大佬,请问归档站 yyets.dmesg.app 开源吗
    朝云2021-02-04 20:24 回复
    • ➡️ https://github.com/tgbot-collection/YYeTsBot/tree/master/worker
      --本评论由Telegram Bot回复~❤️
      Benny小土豆2021-02-04 20:25 回复
      • 谢谢大佬,人人复活了
        朝云2021-02-04 21:17 回复
  20. 先郑重感谢大大的备份整理,刚才试了下可以找到原来的汁原页面!然后...因为度娘的离线功能从去年底开始差不多都毙了,我一直用的城通,但是发现很多城通的链接,之前还好好的(比如西镇警魂,我之前还在下来着),现在全部失效了...是不是也和服务器有关的?
    mi_mi2021-02-04 11:17 回复
    • 😂度娘的离线凉了啊,那试试BitComet,uTorrent之类的,一般都会有磁力链接的
      --本评论由Telegram Bot回复~❤️
      Benny小土豆2021-02-04 11:21 回复
      • 感谢大大指点,我试了一圈后发现某雷云盘还挺好使的,大部分都能离线成功,这样许多老剧就有保障了,这段时间老担心要饿死的我终于能睡个安稳觉了 :grin:
        mi_mi2021-02-05 13:36 回复
        • 😨嗯,如果能有链接的话,那么大概率还是有办法下载回来的
          --本评论由Telegram Bot回复~❤️
          Benny小土豆2021-02-05 13:38
  21. 可怜人人。。。。
    wenyu2021-02-03 17:09 回复
  22. 原来大佬是有背景的!(YYeTs成员把自己老东家给扒了哈哈哈 :mrgreen:
    小白白2021-01-31 00:55 回复
    • 是ex
      --本评论由Telegram Bot回复~❤️
      Benny小土豆2021-01-31 08:38 回复
  23. 加油!支持!
    kkzssl2021-01-28 23:03 回复
  24. 大佬牛逼啊,刚搜索个美剧试了试,每季每集数据齐全。突然发现,今天访问你的BLOG不用跨强了
    dd2021-01-25 16:43 回复
  25. 希望人人不要挂啊,至尊会员的我还花了200银子支持人人
    蛐蛐2021-01-25 15:43 回复
    • 👍嗯,我也希望能够坚持下去
      --本评论由Telegram Bot回复~❤️
      Benny小土豆2021-01-25 15:51 回复
  26. 咋就那么想给你充值呢
    r2021-01-25 14:42 回复
  27. 很棒,支持你
    去他喵的管控2021-01-24 17:41 回复
  28. 非常支持作者。
    啊啊啊啊啊啊啊啊啊啊啊2021-01-24 16:29 回复
  29. 这可能就是大佬吧
    醉渔2021-01-24 15:57 回复
    • 不,是小可爱😕
      --本评论由Telegram Bot回复~❤️
      Benny小土豆2021-01-24 16:01 回复
  30. 文风可爱啊~
    Leon2021-01-24 15:45 回复
    • 那当然了,我是吃什么长大的你忘记了吗😌
      --本评论由Telegram Bot回复~❤️
      Benny小土豆2021-01-24 15:49 回复
      • 吃土豆 :mrgreen:
        小白白2021-01-31 00:59 回复
1 2 3