第一次搞爬虫，经验不足，爬出来的效果也不是很好，记录一下吧。
认识的哥们最近在爬今日头条的数据，不过他是做java的。之前也想用php做点爬数据的东西，于是直接也搞今日头条，万一有不明白的地方还能有个人商量。话不多说，上点干货。
关于爬虫，我之前的认知是，curl+正则，有点模糊，下面一步一步说吧
一、观察页面
今日头条的首页推送数据，是通过ajax获取的，打开页面调试我们可以看到下图
请求是每次滚动条滚动到底部触发的，然后我们右键新页面打开这个链接
不难发现这是个接口，返回json数据，在线格式化一下，结果如下
1 { 2 ????"has_more": true, 3 ????"message": "success", 4 ????"data": [{ 5 ????????"chinese_tag": "财经", 6 ????????"media_avatar_url": "//p1.pstatp.com/large/4d00054b126ceaf920", 7 ????????"is_feed_ad": false, 8 ????????"tag_url": "news_finance", 9 ????????"title": "重要里程碑！中国政府采购服务器列入“中国芯”",10 ????????"single_mode": false,11 ????????"middle_mode": false,12 ????????"abstract": "尽管美国对中兴销售零部件和软件的禁令将被解除。近日有媒体注意到,在中央国家机关发布的新采购名单中,服务器产品的技术要求格外引人注目。",13 ????????"tag": "news_finance",14 ????????"label": ["网络安全", "龙芯", "CPU", "信息安全", "英特尔"],15 ????????"behot_time": 1527057631,16 ????????"source_url": "/group/6558562819279684109/",17 ????????"source": "环球网",18 ????????"more_mode": false,19 ????????"article_genre": "article",20 ????????"comments_count": 628,21 ????????"group_source": 2,22 ????????"item_id": "6558562819279684109",23 ????????"has_gallery": false,24 ????????"group_id": "6558562819279684109",25 ????????"media_url": "/c/user/5954781019/"26 ????}, {27 ????????"single_mode": true,28 ????????"abstract": "一个动作，一句话语，一个眼神，这些看似微小的细节，有时都有着丰富的内涵，传递出意味深长的信号。中美华盛顿磋商过去已有几天，但美方最近释放的两个小细节，感觉拼出了一个更完整的中美谈判成果。",29 ????????"middle_mode": true,30 ????????"more_mode": true,31 ????????"tag": "news_world",32 ????????"label": ["中美关系", "中兴", "国际"],33 ????????"comments_count": 233,34 ????????"tag_url": "news_world",35 ????????"title": "这两个小细节，拼出一个更完整的中美谈判成果",36 ????????"chinese_tag": "国际",37 ????????"source": "牛弹琴",38 ????????"group_source": 2,39 ????????"has_gallery": false,40 ????????"media_url": "/c/user/3647305700/",41 ????????"media_avatar_url": "//p2.pstatp.com/large/1566/2791711243",42 ????????"image_list": [{43 ????????????"url": "//p3.pstatp.com/list/pgc-image/15269858649775498ea28fe"44 ????????}, {45 ????????????"url": "//p3.pstatp.com/list/pgc-image/15269858650368af9b6b970"46 ????????}, {47 ????????????"url": "//p3.pstatp.com/list/pgc-image/1526985864933a9921fd8d0"48 ????????}],49 ????????"source_url": "/group/6558354654705484295/",50 ????????"article_genre": "article",51 ????????"item_id": "6558354654705484295",52 ????????"is_feed_ad": false,53 ????????"behot_time": 1527057631,54 ????????"image_url": "//p3.pstatp.com/list/190x124/pgc-image/15269858649775498ea28fe",55 ????????"group_id": "6558354654705484295",56 ????????"middle_image": "http://p3.pstatp.com/list/pgc-image/15269858649775498ea28fe"57 ????}, {58 ????????"single_mode": true,59 ????????"abstract": "这个小品还有一个插曲就是原定的女主本来是闫妮，但是在春晚前3天临时换成了金玉婷，登上春晚后，她还被称为是“春晚第一美女”。",60 ????????"middle_mode": true,61 ????????"more_mode": true,62 ????????"tag": "news_entertainment",63 ????????"label": ["春晚", "金玉婷", "抑郁症", "我是大侦探", "潘长江"],64 ????????"comments_count": 229,65 ????????"tag_url": "news_entertainment",66 ????????"title": "曾5次上春晚，患抑郁症淡出，如今做主播没人看，四处走穴很凄凉",67 ????????"chinese_tag": "娱乐",68 ????????"source": "猫眼娱乐",69 ????????"group_source": 2,70 ????????"has_gallery": false,71 ????????"media_url": "/c/user/64781639962/",72 ????????"media_avatar_url": "//p3.pstatp.com/large/2c6b001dd55cf954a3f6",73 ????????"image_list": [{74 ????????????"url": "//p3.pstatp.com/list/pgc-image/15270494556167c19bc847f"75 ????????}, {76 ????????????"url": "//p3.pstatp.com/list/pgc-image/1527049455588fe78498ed1"77 ????????}, {78 ????????????"url": "//p3.pstatp.com/list/pgc-image/152704945540787d17fdfb9"79 ????????}],80 ????????"source_url": "/group/6558629445270241805/",81 ????????"article_genre": "article",82 ????????"item_id": "6558629445270241805",83 ????????"is_feed_ad": false,84 ????????"behot_time": 1527057631,85 ????????"image_url": "//p3.pstatp.com/list/190x124/pgc-image/15270494556167c19bc847f",86 ????????"group_id": "6558629445270241805",87 ????????"middle_image": "http://p3.pstatp.com/list/pgc-image/15270494556167c19bc847f"88 ????}],89 ????"next": {90 ????????"max_behot_time": 152705763191 ????}92 }我们看这个json的结构，data里的就是我们想要的数据，好了我们只要仿造地址然后 curl模拟请求获取数据就得了。
二、爬虫研发
分析数据接口
地址：‘https://www.toutiao.com/api/pc/feed/?max_behot_time=1527057712&category=__all__&utm_source=toutiao&widen=1&tadrequire=true&as=A1656B107572ABC&cp=5B05529AAB2CEE1&_signature=PNjkzBAeZ-Tys2Ie-4uYMTzY5N‘
对比之后发现，每次触发的ajax地址只有max_behot_time、as、cp、_signature这4个参数有变化。max_behot_time有点像时间戳，格式化一下，果然是。然后就是as、cp、_signature三个变参，百度了下是js对时间戳的加密出来的。
知乎上对as、cp有一些文章，_signature百度出来的结果很少。
再次打开页面调试
找到参数生成的js，格式化js代码找到如下代码
片段一：返回3个参数
{ ???????????key: "_setParams", ???????????value: function(t) { ???????????????var e = (0, h. ???????????default)(), ???????????????i = 0; ???????????????this.url = this._url, ???????????????"refresh" === t ? (i = this.list.length > 0 ? this.list[0].behot_time: 0, this.url += "min_behot_time=" + i) : (i = this.list.length > 0 ? this.list[this.list.length - 1].behot_time: 0, this.url += "max_behot_time=" + i); ???????????????var n = (0, _.sign)(i + ""); (0, a.default)(this.params, { ???????????????????as: e.as, ???????????????????cp: e.cp, ???????????????????_signature: n ???????????????}) ???????????} ???????}片段二：as、cp 时间戳加密逻辑，对照知乎上那片文章，这个可以用php的逻辑写，easy
1 function s() { 2 ????????var t = Math.floor((new Date).getTime() / 1e3), 3 ????????e = t.toString(16).toUpperCase(), 4 ????????i = (0, o. 5 ????default)(t).toString().toUpperCase(); 6 ????????if (8 != e.length) return { 7 ????????????as: "479BB4B7254C150", 8 ????????????cp: "7E0AC8874BB0985" 9 ????????};10 ????????for (var n = i.slice(0, 5), s = i.slice( - 5), a = "", r = 0; r < 5; r++) a += n[r] + e[r];11 ????????for (var l = "",12 ????????u = 0; u < 5; u++) l += e[u + 3] + s[u];13 ????????return {14 ????????????as: "A1" + a + e.slice( - 3),15 ????????????cp: e.slice(0, 3) + l + "E1"16 ????????}17 ????}还差一个参数_signature，这个参数有点难找，结合百度找到了js文件
相关代码片段：
1 function(t, e) { 2 ????Function(function(t) { 3 ????????return ‘e(e,a,r){(b[e]||(b[e]=t("x,y","x "+e+" y")(r,a)}a(e,a,r){(k[r]||(k[r]=t("x,y","new x[y]("+Array(r+1).join(",x[y]")(1)+")")(e,a)}r(e,a,r){n,t,s={},b=s.d=r?r.d+1:0;for(s["$"+b]=s,t=0;t<b;t)s[n="$"+t]=r[n];for(t=0,b=s=a;t<b;t)s[t]=a[t];c(e,0,s)}c(t,b,k){u(e){v[x]=e}f{g=,ting(bg)}l{try{y=c(t,b,k)}catch(e){h=e,y=l}}for(h,y,d,g,v=[],x=0;;)switch(g=){case 1:u(!) 4:f 5:u((e){a=0,r=e;{c=a<r;c&&u(e[a]),c}}( 6:y=,u((y 8:if(g=,lg,g=,y===c)b+=g;else if(y!==l)y 9:c 10:u(s( 11:y=,u(+y) 12:for(y=f,d=[],g=0;g<y;g)d[g]=y.charCodeAt(g)^g+y;u(String.fromCharCode.apply(null,d 13:y=,h=delete [y] 14: 59:u((g=)?(y=x,v.slice(x-=g,y:[]) 61:u([]) 62:g=,k[0]=65599*k[0]+k[1].charCodeAt(g)>>>0 65:h=,y=,[y]=h 66:u(e(t[b],, 67:y=,d=,u((g=).x===c?r(g.y,y,k):g.apply(d,y 68:u(e((g=t[b])<"<"?(b--,f):g+g,, 70:u(!1) 71:n 72:+f 73:u(parseInt(f,36 75:if(){b case 74:g=<<16>>16g 76:u(k[]) 77:y=,u([y]) 78:g=,u(a(v,x-=g+1,g 79:g=,u(k["$"+g]) 81:h=,[f]=h 82:u([f]) 83:h=,k[]=h 84:!0 85:void 0 86:u(v[x-1]) 88:h=,y=,h,y 89:u({e{r(e.y,arguments,k)}e.y=f,e.x=c,e}) 90:null 91:h 93:h= 0:;default:u((g<<16>>16)-16)}}n=this,t=n.Function,s=Object.keys||(e){a={},r=0;for(c in e)a[r]=c;a=r,a},b={},k={};r‘.replace(/[- ]/g, 4 ????????function(e) { 5 ????????????return t[15 & e.charCodeAt(0)] 6 ????????}) 7 ????} ("v[x++]=v[--x]t.charCodeAt(b++)-32function return ))++.substrvar .length(),b+=;break;case ;break}".split("")))()(‘gr$Daten Иb/s!l y?y?g,(lfi~ah`{mv,-n|jqewVxp{rvmmx,&effkx[!cs"l".Pq%widthl"@q&heightl"vr*getContextx$"2d[!cs#l#,*;?|u.|uc{uq$fontl#vr(fillTextx$$龘???2<[#c}l#2q*shadowBlurl#1q-shadowOffsetXl#$$limeq+shadowColorl#vr#arcx88802[%c}l#vr&strokex[ c}l"v,)}eOmyoZB]mx[ cs!0s$l$Pb<k7l l!r&lengthb%^l$1+s$jl ?s#i$1ek1s$gr#tack4)zgr#tac$! +0o![#cj?o ]!l$b%s"o ]!l"l$b*b^0d#>>>s!0s%yA0s"l"l!r&lengthb<k+l"^l"1+s"jl ?s&l&z0l!$ +["cs\‘(0l#i\‘1ps9wxb&s() &{s)/s(gr&Stringr,fromCharCodes)0s*yWl ._b&s o!])l l Jb<k$.aj;l .Tb<k$.gj/l .^b<k&i"-4j! +& s+yPo!]+s!l!l Hd>&l!l Bd>&+l!l <d>&+l!l 6d>&+l!l &+ s,y=o!o!]/q"13o!l q"10o!],l 2d>& s.{s-yMo!o!]0q"13o!]*Ld<l 4d#>>>b|s!o!l q"10o!],l!& s/yIo!o!].q"13o!],o!]*Jd<l 6d#>>>b|&o!]+l &+ s0l-l!&l-l!i\‘1z141z4b/@d<l"b|&+l-l(l!b^&+l-l&zl\‘g,)gk}ejo{cm,)|yn~Lij~em["cl$b%@d<l&zl\‘l $ +["cl$b%b|&+l-l%8d<@b|l!b^&+ q$sign ‘, [Object.defineProperty(e, "__esModule", { 8 ????????value: !0 9 ????})])10 }
我槽，第一眼看，这代码好尼玛长，php怎么搞啊！
然后有个想法，我直接用js跑出这个 参数来不就得了吗，easy
代码实现：（注意sign这个算法的编码，我被搞过） 从这个链接里去复制：https://bbs.125.la/thread-14108290-1-1.html
1 <!DOCTYPE html> 2 <html> 3 ????<head> 4 ????????<title>check</title> 5 ????</head> 6 ????<body> 7 ????????<script type="text/javascript" src="{{ URL::asset(‘/assets/js/md5.js‘) }}"></script> 8 ????????<script type="text/javascript"> 9 ????????????function xx(t){10 ????????????????var e = t.toString(16).toUpperCase(),11 ????????????????i = md5(t.toString()).toUpperCase(),12 ????????????????str = ‘‘;13 ????????????????if (8 != e.length){14 ????????????????????str = ‘http://www.toutiao.com/api/pc/feed/?max_behot_time=‘+t+‘&category=__all__&utm_source=toutiao&widen=1&tadrequire=true&as=479BB4B7254C150&cp=7E0AC8874BB0985&_signature=‘+TAC.sign(t);15 ????????????????????return str;16 ????????????????}17 ????????????????for (var n = i.slice(0, 5), s = i.slice( - 5), a = "", r = 0; r < 5; r++) {18 ????????????????????a += n[r] + e[r];19 ????????????????}20 ????????????????for (var l = "",u = 0; u < 5; u++) {21 ????????????????????l += e[u + 3] + s[u];22 ????????????????}23 ????????????????str = ‘http://www.toutiao.com/api/pc/feed/?max_behot_time=‘+t+‘&category=__all__&utm_source=toutiao&widen=1&tadrequire=true&as=‘+"A1" + a + e.slice( - 3)+‘&cp=‘+e.slice(0, 3) + l + "E1"+‘&_signature=‘+TAC.sign(t);24 ????????????????return str;25 ????????????}26 ????????????Function(function(t) {
return ‘e(e,a,r){(b[e]||(b[e]=t("x,y","x "+e+" y")(r,a)}a(e,a,r){(k[r]||(k[r]=t("x,y","new x[y]("+Array(r+1).join(",x[y]")(1)+")")(e,a)}r(e,a,r){n,t,s={},b=s.d=r?r.d+1:0;for(s["$"+b]=s,t=0;t<b;t)s[n="$"+t]=r[n];for(t=0,b=s=a;t<b;t)s[t]=a[t];c(e,0,s)}c(t,b,k){u(e){v[x]=e}f{g=,ting(bg)}l{try{y=c(t,b,k)}catch(e){h=e,y=l}}for(h,y,d,g,v=[],x=0;;)switch(g=){case 1:u(!) 4:f 5:u((e){a=0,r=e;{c=a<r;c&&u(e[a]),c}}( 6:y=,u((y 8:if(g=,lg,g=,y===c)b+=g;else if(y!==l)y 9:c 10:u(s( 11:y=,u(+y) 12:for(y=f,d=[],g=0;g<y;g)d[g]=y.charCodeAt(g)^g+y;u(String.fromCharCode.apply(null,d 13:y=,h=delete [y] 14: 59:u((g=)?(y=x,v.slice(x-=g,y:[]) 61:u([]) 62:g=,k[0]=65599*k[0]+k[1].charCodeAt(g)>>>0 65:h=,y=,[y]=h 66:u(e(t[b],, 67:y=,d=,u((g=).x===c?r(g.y,y,k):g.apply(d,y 68:u(e((g=t[b])<"<"?(b--,f):g+g,, 70:u(!1) 71:n 72:+f 73:u(parseInt(f,36 75:if(){b case 74:g=<<16>>16g 76:u(k[]) 77:y=,u([y]) 78:g=,u(a(v,x-=g+1,g 79:g=,u(k["$"+g]) 81:h=,[f]=h 82:u([f]) 83:h=,k[]=h 84:!0 85:void 0 86:u(v[x-1]) 88:h=,y=,h,y 89:u({e{r(e.y,arguments,k)}e.y=f,e.x=c,e}) 90:null 91:h 93:h= 0:;default:u((g<<16>>16)-16)}}n=this,t=n.Function,s=Object.keys||(e){a={},r=0;for(c in e)a[r]=c;a=r,a},b={},k={};r‘.replace(/[- ]/g, function(i) {
return t[15 & i.charCodeAt(0)]
})
}("v[x++]=v[--x]t.charCodeAt(b++)-32function return ))++.substrvar .length(),b+=;break;case ;break}".split("")))()(‘gr$Daten Иb/s!l y?y?g,(lfi~ah`{mv,-n|jqewVxp{rvmmx,&effkx[!cs"l".Pq%widthl"@q&heightl"vr*getContextx$"2d[!cs#l#,*;?|u.|uc{uq$fontl#vr(fillTextx$$龘???2<[#c}l#2q*shadowBlurl#1q-shadowOffsetXl#$$limeq+shadowColorl#vr#arcx88802[%c}l#vr&strokex[ c}l"v,)}eOmyoZB]mx[ cs!0s$l$Pb<k7l l!r&lengthb%^l$1+s$jl s#i$1ek1s$gr#tack4)zgr#tac$! +0o![#cj?o ]!l$b%s"o ]!l"l$b*b^0d#>>>s!0s%yA0s"l"l!r&lengthb<k+l"^l"1+s"jl s&l&z0l!$ +["cs\‘(0l#i\‘1ps9wxb&s() &{s)/s(gr&Stringr,fromCharCodes)0s*yWl ._b&s o!])l l Jb<k$.aj;l .Tb<k$.gj/l .^b<k&i"-4j! +& s+yPo!]+s!l!l Hd>&l!l Bd>&+l!l <d>&+l!l 6d>&+l!l &+ s,y=o!o!]/q"13o!l q"10o!],l 2d>& s.{s-yMo!o!]0q"13o!]*Ld<l 4d#>>>b|s!o!l q"10o!],l!& s/yIo!o!].q"13o!],o!]*Jd<l 6d#>>>b|&o!]+l &+ s0l-l!&l-l!i\‘1z141z4b/@d<l"b|&+l-l(l!b^&+l-l&zl\‘g,)gk}ejo{cm,)|yn~Lij~em["cl$b%@d<l&zl\‘l $ +["cl$b%b|&+l-l%8d<@b|l!b^&+ q$sign ‘, [TAC = {}]);32 ????????????var t = Math.floor((new Date).getTime() / 1e3);33 ????????????var tmpstr = xx(t);34 ????????????$(‘body‘).append(‘<p>‘+tmpstr+‘</p>‘);35 ????????</script>36 ????</body>37 </html>效果参见：http://58.87.108.192/check (可加时间戳参数，例：http://58.87.108.192/check/1527057712)
然后是抓取数据的事了，php没办法抓取动态数据！
这块我当时很头疼，问了问同事才知道要用v8引擎的拓展去解析
然后装v8js，资料太少装不上，gg。想别的方法，百度了一下发现抓取动态数据的时候很多人用 phantomjs，无头浏览器，咦，我那哥们也是用的这个。
安装 phantomjs 博客网上很多，不赘述。放一个链接：https://blog.csdn.net/wanght89/article/details/78320375
js代码（获取之前页面生成的 url）
check.js
1 var page = require(‘webpage‘).create(), 2 ????system = require(‘system‘); 3 var url = ‘http://58.87.108.192/check‘; 4 if (system.args.length === 2){ 5 ???url += ‘/‘+system.args[1]; 6 } 7 page.open(url, function(status) { 8 ??if (status !== ‘success‘) { 9 ????console.log(‘Unable to access network‘);10 ??} else {11 ????var ua = page.evaluate(function() {12 ????????var res = [];13 ????????var domres = document.getElementsByTagName(‘p‘);14 ????????for(var i=0;i<domres.length;i++){ ???????????15 ??????????res.push(domres[i].textContent); ???????16 ????????} ???????17 ????????return res; ???18 ??????}); ???19 ??????console.log(ua);20 ??}21 ??phantom.exit();22 ??unset(page);23 });
php 代码（其实就是一个curl）
spider.php
1 <?php 2 ?3 /** 4 * 今日头条首页爬虫 5 */ 6 class Spider 7 { 8 ????private $searchTime = false; 9 ????private $stopTime = false;10 11 ????public function __construct()12 ????{13 ????????$this->stopTime = strtotime(date(‘Y-m-d‘));14 ????????$this->useData();15 ????}16 17 ????//curl 获取接口内容18 ????public function curlRequest($url)19 ????{20 ????????$ch = curl_init();21 ????????curl_setopt($ch,CURLOPT_URL,$url);22 ????????curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);23 ????????curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,0);24 ????????curl_setopt($ch,CURLOPT_SSL_VERIFYHOST,0);25 ????????curl_setopt($ch,CURLOPT_HEADER,0);26 ????????curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);27 ????????return curl_exec($ch);28 ????}29 30 ????//phantomjs 抓取地址31 ????public function getUrl()32 ????{33 ????????$commendStr = "phantomjs ****/js/check.js";//地址不让看34 ????????if ($this->searchTime) {35 ????????????$commendStr .= ‘ ‘.$this->searchTime;36 ????????}37 ????????return (exec($commendStr));38 ????}39 40 ????//数据处理41 ????public function useData()42 ????{43 ????????$urlStr = $this->getUrl();44 ????????$urlArr = explode(‘,‘, $urlStr);45 ????????$res = [];46 ????????foreach ($urlArr as $curlUrl) {47 ????????????sleep(1);48 ????????????$curlJsonStr = $this->curlRequest($curlUrl);49 ????????????$curlRes = json_decode($curlJsonStr, true);50 ????????????var_dump($curlRes);exit;51 ????????}52 ????}53 }54 55 new Spider();爬取出来的数据示例
关于cookie，这个数据接口没有cookie的校验，有的话，curl模拟下就行了
1 curl_setopt($ch,CURLOPT_COOKIE,$cookie_str);
数据重复问题，接口多次请求会给出很多重复数据，我的处理方法是给表里面加了个唯一索引，md5str 这个是文章标题md5出来的
总结一下：
这个爬虫不是很成功啊，我现在弄一堆url然后去跑，发现第二次数据就没法获取到了，这事让我很烦躁，没找到原因
整体的流程走了一边，数据能拿到但是效率很低。
感觉php不适合做爬虫，静态的数据一个curl就够了，动态数据就比较棘手，phantomjs 感觉比较笨重，而且好像已经不再支持更新
多说一句感觉写爬虫可以有很多种方法，比如我那哥们他就是模拟一步一步点击去做，我这个直接拼接口地址然后拿数据，有点不伦不类，初体验，多多包涵吧。
php+phantomjs实现今日头条的首页推送抓取
原文地址：https://www.cnblogs.com/jwcrxs/p/9078201.html