最近对逆向感兴趣, 看了几天视频还有论坛逆向贴, 然后就找了个在线视频的站点练手
因为是初学者,所有帖子可能有点冗长...
帖子最后会请教几个逆向过程中遇到的问题,大佬们路过的话请帮忙解惑, 感谢
-----------------------------------------------------------
帖子大致流程:
01. 找到m3u8链接
02. 分析m3u8生成链接
03. AES解密链接
04. 去除ts文件的图片伪装头
05. 用python代码实现自动下载思路
06. 逆向过程中遇到的问题(问题已有大佬解答)
-----------------------------------------------------------
1.1:
  逆向目标 aHR0cHM6Ly9nYXplLnJ1bi9wbGF5LzNmNDhiZWRjMTI1MGE1NWFjMzM0NWU1MGIzYmY3Yjhi
  用chrome打开链接后按F12打开开发者工具并切换到Network选项卡, 随便拖动一下进度条, 发现有好多jpg
  
  哎? 这里肯定可以猜得出来这货是装的, 他肯定是ts视频文件
  随便找一个右键-新窗口打开, 好像还真是一张图片? 右键把他另存到本地后缀改成.ts然后用potplayer打开,也是图片...
  
  装的还挺像, 反正他一定是ts文件, 后来想起站内大佬的帖子
  https://www.52pojie.cn/thread-1618559-1-1.html
  可能是加了图片头进去, 按照帖子里的方法,下了winhex打开
  一个正常的ts文件和这个下载好的图片, 然后ts文件开头是G@,两站图对比了一下后发现下载的jpg文件比正常的ts文件多出了蓝色选中位置的区域
  
  右键把这块区域删了在另存, 再用potplayer打开后果然可以正常打开了
  
1.2:
  接下来找一下m3u8文件, 在过滤这里输入m3u8, 发现什么都没有??? 多刷新几次网页还是没找到m3u8, 仔细观察可以发现每次ts文件被加载前都会先请求一个 "1+gazes_v-@_info",右键-新窗口打开,又是一张图片??刚被骗过一次之后这次聪明点,直接拉到winhex看看是啥玩意,这不是标准的m3u8文件吗? 改个后缀为.txt再用记事本打开, m3u8文件搞定
  
2.1:
  右键1+gazes_v-@_info复制链接把下载地址复制起来,把整个链接搜索无结果,搜索文件名也是无结果,最后再短一点用@_info搜索到了一些可疑的代码
  
  
  这段代码用来判断链接后缀是否为m3u8或者@_info,点进去下个断点重新刷新网页,断点生效了,这里的url值就是m3u8的下载链接, 从右边的调用堆栈里跟一下,看看这个链接是哪里来的,从图片里很明显可以看到js发起了一个post请求,然后响应的data里就有我们需要的m3u8链接
  去Network标签里搜索一下"/mfiles" 试试, 点开看看请求的返回结果里的src,怎么变成一串看不懂的东西了?
  
  
  
  刚才上一张图看还是一个网址(分析到这里卡了一段时间),后来查了才知道
  function (data) {data=PICTURES(data);...}
  这里是一段回调函数, 就是把请求回来的结果(data)直接丢进去这个函数里执行, 这里可以看到data被重新赋值了
  
  
  赋值的内容为PICTURES(data),只要知道 PICTURES 这个函数对响应的数据做了什么操作,就可以了, 全局搜索一下 PICTURES, 找到加密函数了,代码量非常少而且没有混淆, 很明显看得出来是 用AES加密,模式为CBC
  
  这次用的是python脚本,AES平时都没用过,所以我也不知道怎么写,直接Google 查一下看看怎么用,补完AES内容之后, 现在解密数据需要一个16字节的key和IV偏移量,需要解密的内容为那串看不懂的url值
  
2.2:
  PICTURES这个函数把需要解密的url和tk的值传给了revolution, 从revolution明显看得出来tk其实就是解密的key,AES的IV值(1234567890123456)已经直接给出来了,那解出key值就大功告成了
2.3:
  tk=(this.id+''+this.mid).padStart(16, '0'), 鼠标放上去,可以看到mid的值为1217
  
2.3.1:
  源代码里直接搜一下mid试试看,运气非常好, mid的值直接在网页源代码里给出来了
  
2.3.2:
  id的值也用同样的步骤,鼠标放上去看出来是8167
  
  搜一下id试试看,结果非常非常非常多,换个姿势,搜索一下8167, id的来源也找出来了
  
  id值在请求mfiles的时候就已经和被加密的url一起给出来了, 这个mfiles请求回来的内容为一个数组,一个数组就是一集电视剧的信息, 每一个url解密的时候各自对应一个id,现在mid和id都解出来了
2.3.3:
  那后面的padStart(16, '0')是啥玩意? JS不太懂,直接查一下
  
  发现这就是用来字符串补全的,就是说id和mid加起来没有16个字符的话,就用0补在前面,直到你够16个, 为什么? 查了一下是因为AES的key一定要16位, 那python怎么实现补零呢? 也不太熟,继续查,方法很多, 这里用
  str.rjust(width,'0') 来实现,记住,是左补零不是右补零,不要乱来.
3.1:
  来用python实现一下这个解密, 先用现有的密文和key,IV来试试,看结果是不是和浏览器解密出来的一致
  示例代码图片:
  
  (不要问我为什么要把key和IV重新编码,也不要问为什么要先base64解码密文,因为我也一直报错一直改的,要decode和encode也是抄别人的...)
  结果是没问题的, url一致
4.1:
  在windows有现成的软件winhex来右键删除伪装的图片头, 用python来实现的话因为之前没有处理过类似问题,所以完全没头绪,发帖问了大佬才知道可以在使用requests下载来的时候用角标范围来截取,类似 requests.get(url).content[index:]
  那切多少合适呢? 去浏览器随便找一个ts片段下载下来改个名字为1,丢进去winhex,然后把需要删除的圈起来,右下角可以看到显示了多少, 0-770
  
  那我们需要的就是771往后的所有数据了, 试着操作一下,实例代码:
  
  然后把切好出来的2放进去winhex看看,G@开头,这是ts文件的文件头,放进去potplayer试试看,也能正常播放.
  
5.1:
  想要用python实现下载视频需要获取以下值
  1. 向"/mfiles"发起一个post请求来获取被加密的m3u8下载地址, 但是这个请求需要一个mid参数.
  2. mid的值在2.3.1里已经说了在网页源代码里了, 可以直接用re正则匹配出来, 至此加密的链接已经拿到.
  3. 接下来解密url需要获取解密的key和IV, 2.2里说过了,IV是定值"1234567890123456",直接给出来了
  4. key就是2.3里的tk, 需要用到id和mid, mid在上面已经拿到了,id 在2.3.2里说了可以在"/mfiles"的返回值里
  5. 以上所有信息拿到之后就可以愉快的开始下载了, 源代码会放在帖子末尾供参考.
6.1:
  以下是这次遇到的问题,大佬路过的话望不吝赐教:
  问题1由 9楼的 @hecoter 、13楼的 @4028574 、18楼的 @0x783A 协助解决
  问题2由 19楼的 @0x783A 协助解决
  多谢以上四位大佬。
  脚本就不修改了，毕竟只是提供一个思路，有兴趣的自己动手改。
  1. 我想要知道浏览器拿到ts文件的时候是怎么去除文件头的? 这个实现的过程我找不到, 我也看不到他的回调函数,我需要知道他到底切了多少字节的数据,因为这个站有点奇怪,有些ts切片他们在前面加的图片头,有的不加,有的加的量还不一样,所以这个切多少我不能写死.
  
  2. 为什么我解密出来的链接有一个<0x01>这个东西? 如果我不处理直接用requests请求的话会报错,目前能想到的方法就是用re把他剔除掉,为什么会产生这个?怎么优雅的去除掉?
  
下面提供一下我写好的, 使用的话需要注意:
1. 所有下载的ts文件都会下载放在c:/temp/ 下面并且需要你自己删除
2. 如果本地开了代{过}{滤}理的话,记得修改打开脚本的代{过}{滤}理
3. 因为下载视频不是目的,主要是学习逆向, 所以默认就下载50个ts来合并(lenght = 50), 如果你真的需要全部下载, 把这个注释取消掉就是全部下载了 lenght = len(m3u8_clear)
4. 如果要合并视频的话, 你要自己下载好ffmpeg然后配置好路径, 具体看脚本末尾, 如果不需要就把三行全部注释掉
5. 为什么不用多线程下载? 站内有逍遥大佬的m3u8下载器为什么不用? 为什么只能下载第一集, 不能下载后面的几集?  因为下载视频并不是最终目的, 我就是想学习下逆向
6. 脚本不是全站通用的, 因为这个站有点怪, 有些他会加入伪装(需要我们切除), 有些他不加, 所以不通用, 如果完整看完帖子的话, 我想你应该知道怎么修改脚本的~~
[Python] 纯文本查看 复制代码