读书人

用curl抓取网页的时候为什么小弟我的

发布时间: 2012-10-05 15:34:34 作者: rapoo

用curl抓取网页的时候,为什么我的每次都只能抓取18个左右就自动停止了?
用curl抓取网页的时候,为什么我的每次都只能抓取18个左右就自动停止了?
代码如下

PHP code
<?phpfor($i=2;$i<30;$i++)   {$ch = curl_init("http://www.readnovel.com/novel/169509/$i.html");$fp = fopen("novel-$i.txt", "w");curl_setopt($ch, CURLOPT_FILE, $fp);curl_setopt($ch, CURLOPT_HEADER, 0);curl_setopt($ch, CURLOPT_TIMEOUT, "100");curl_exec($ch);curl_close($ch);fclose($fp);echo "第".$i."页成功保存</br>";   }echo "抓取完成";?> 



[解决办法]
如果不是每个网站都这样,就可能是这个网站有限制

读书人网 >PHP

热点推荐