[导读]:本文(《初探抖音的数据采集,竟然简单到无脑!》)由来自梅河口的网友投稿,并经由本站(围脖夜话)结合主题:抖音手机浏览器网页版,收集整理了众多资料而成。主要记述了源代码,抓包,数据采集器,科技新闻等方面的信息。相信从本文您一定可以获得自己所需要的!

最近几天抖音有点火,火到新榜大号上周(3.20-3.25)7天发布了5篇关于抖音的报道,今天还专门建了个“微微一抖”的群。

作为一个数据狗,也该从数据层面研究一下这“一抖”了。

通过分享视频网页源代码获取数据

所有互联网能看到的数据都是可以采集的,抖音肯定也不例外。

普通情况下,我们使用爬虫采集网络信息的时候是基于其网站的前端代码,也就是你在任意位置鼠标右键—查看网页源代码看到的那些。

抖音手机浏览器网页版:初探抖音的数据采集,竟然简单到无脑!

图片

抖音的视频都在APP上,我们没法查看他的源代码。好在抖音可以分享到微信然后使用浏览器打开查看。

我们右键查看页面源代码,是可以看到该视频数据的:

源代码中我们可以很清楚的看到

源代码中我们可以很清楚的看到视频名称和作者的信息。

有趣的是,本来其他人不可见的视频播放数据,前端代码中也做了展示。截图中

"play_count":138

"comment_count":1

"share_count":1

分别代表了该视频的播放数、视频ID、评论数和分享数。

查看该分享视频的url构造可以发现非常的简单,仅由

share

 

video

 和四个部分组成,其中前三部分是固定的,唯一变化的是最后一部分视频ID。按照正常的爬虫逻辑,我们只需要使用脚本不断递增该ID,即可实现遍历所有的视频。

实操发现,简单递增视频ID构造的URL视频并不存在。看来抖音对视频的ID是做了加密处理的。尝试分享了几个视频发现,ID有一定的规律,但数据量较小,无法做到解密。时间有限,我们下次再研究视频ID的递增逻辑。

抓包获取视频数据

抓包获取视频数据

除了通过网页的源代码采集网络数据外,对于APP信息的采集多通过抓包实现。所谓“抓包”,就是截获手机与服务器之间通信的数据,进行解析获取通信间传递的数据。

我们使用常用的抓包工具Fiddler,获取手机上抖音APP获取视频过程的数据进行分析。

抖音手机浏览器网页版:初探抖音的数据采集,竟然简单到无脑!

图片

开始的几个视频请求地址是相同的,多划几次后发现增加了一个的请求地址。这就好玩了,我们都知道feed是的意思,百度的信息流新闻地址也是,可以初步判定,从这个地址请求的数据应该是“流”式的,也就是说至少包含多个视频信息!

解包后发现果然不出所料!

json中包含了作者、视频和背景音乐等多种信息。

json中包含了作者、视频和背景音乐等多种信息。

高级的是,一次请求,服务器返回了6个视频信息!

视频信息!

和请求规律相同,每下划5次会向feed地址发起一次请求。

剩下的,就可以交给脚本,“躺在床上”无限下划了。

加一些PS:

  • 大量数据背后,理论上我们可以分析抖音的推荐逻辑,毕竟每6个视频一组打包下载,肯定存在某种规律

  • 采集的信息中包含了作者的性别、年龄、地理位置、学校等信息,用户画像也是可以分析出来的;

  • 追踪作者信息,可以深层次挖掘作者的作品数、获赞数、粉丝数等数据,榜单也可以来一发了;

  • 最开始网页源代码采集的时候我们知道,视频的实际阅读量也是可以采集的,那么视频曝光量也就知道了,曝光量=广告价值

  • 抖音应该快采取措施封停这种粗暴的采集了,要上车的赶紧……

抖音手机浏览器网页版视频

手机浏览器如何浏览电脑版网页

拓展阅读

G001网页游戏多开浏览器 V1.0 绿色免费版 多个游戏帐号...:http://www.ouyaoxiazai.com/soft/yxyl/127/15825.html

相关问答

问:为什么看抖音很卡,我手机荣耀9青春版,网是4g也正常,用自带浏览器在线看电影都不卡,看抖音就很卡。

答:可能是抖音服务器不行吧。


问:如何屏蔽手机QQ浏览器的抖音推荐?

答:您好!很高兴能为您解答,        送是需要在手机设置里,消息通知里关闭或者不允许推送就可以


问:QQ浏览器抖音广告跳舞的女的是谁

答:别想了找不到的,这种广告是摘的图片


问:UC浏览器里推荐的,说是抖音里的一对情侣,男生叫廖先生,女的不知道,是龅牙妹,很甜的爱情,想搜索他

答:搜“虫虫”,第一个就是……


问:一加5为什么看抖音的时候系统自带浏览器会自动跳出来

答:建议用360清理大师清理,然后重新安装抖音APP,这样就可以正常。


问:为什么搜狗浏览器播放不了抖音视频

答:抖音视频是要用手机app才能播放的,没网页版本,所以浏览器播放不到
如果是下载后的视频,用视频播放来播放,不是用浏览器


问:以前在百度浏览器看别人说抖音低俗之类的,不要看,可是我这几天一直看抖音觉得很好的啊!有很多道理也有

答:不是啊。
如果不是网上爆出抖音上的什么奇葩,抖音也不会审核的那么严了。


问:在浏览器上看到的,谁知道截图这个是快手还是抖音的谁,我想关注

答:抖音


问:怎么在浏览器首页推荐文章和抖音里投放广告,引流到微信公众号,收费标准是多少

答:这种可以直接找一些第三方平台(像变现管家等)让他们帮你投放。因为他们的合作伙伴覆盖面广,浏览器和APP都有。你就不用又去找APP合作,又得去找浏览器合作,一石二鸟。而且他们做的是互动式效果广告,以游戏的方式把你的广告包装成奖品呈现给客户,点击率是静态广告3倍。


问:为什么我从浏览器下载的图片保存到相册里面了,但是在抖音里面为什么没有啊

答:你看看相册里有没有,如果有的话打开抖音读取相册权限,在全部图片里找