基于curl数据采集之单页面采集函数get_html的使用
这是一个系列 没办法在一两天写完 所以一篇一篇的发布
大致大纲：
1.curl数据采集系列之单页面采集函数get_html
2.curl数据采集系列之多页面并行采集函数get_htmls
3.curl数据采集系列之正则处理函数get _matches
4.curl数据采集系列之代码分离
5.curl数据采集系列之并行逻辑控制函数web_spider
单页面采集在数据采集过程中是最常用的一个功能 有时在服务器访问限制的情况下 只能使用这种采集方式 慢 但是可以简单的控制 所以写好一个常用的curl函数调用是很重要的
百度和网易比较熟悉 所以拿这两个网站首页采集来做例子讲解
最简单的写法：
$url = 'http://www.baidu.com';
$ch = curl_init($url);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);
curl_setopt($ch,CURLOPT_TIMEOUT,5);
$html = curl_exec($ch);
if($html !== false){
echo $html;
}
由于使用频繁 可以利用curl_setopt_array写成函数的形式：
function get_html($url,$options = array()){
$options[CURLOPT_RETURNTRANSFER] = true;
$options[CURLOPT_TIMEOUT] = 5;
$ch = curl_init($url);
curl_setopt_array($ch,$options);
$html = curl_exec($ch);
curl_close($ch);
if($html === false){
return false;
}
return $html;
}
$url = 'http://www.baidu.com';
echo get_html($url);
有时候需要传递一些特定的参数才能得到正确的页面 如现在要得到网易的页面：
$url = 'http://www.163.com';
echo get_html($url);
会看到一片空白 什么也没有 那么再利用curl_getinfo写一个函数 看看发生了什么：
function get_info($url,$options = array()){
$options[CURLOPT_RETURNTRANSFER] = true;
$options[CURLOPT_TIMEOUT] = 5;
$ch = curl_init($url);
curl_setopt_array($ch,$options);
$html = curl_exec($ch);
$info = curl_getinfo($ch);
curl_close($ch);
return $info;
}
$url = 'http://www.163.com';
var_dump(get_info($url));
可以看到http_code 302 重定向了 这时候就需要传递一些参数了：
$url = 'http://www.163.com';
$options[CURLOPT_FOLLOWLOCATION] = true;
echo get_html($url,$options);
会发现 怎么是这样的一个页面 和我们电脑访问的不同？？？
看来参数还是不够 不够服务器判断我们的客户端是什么设备上的 就返回了个普通版
看来还要传送USERAGENT
$url = 'http://www.163.com';
$options[CURLOPT_FOLLOWLOCATION] = true;
$options[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 6.1; rv:19.0) Gecko/20100101 Firefox/19.0';
echo get_html($url,$options);
OK现在页面已经出来了 这样基本这个get_html函数基本能实现这样扩展的功能
当然也有另外的办法可以实现，当你明确的知道网易的网页的时候就可以简单采集了：
$url = 'http://www.163.com/index.html';
echo get_html($url);
这样也可以正常的采集
相关文章
本篇文章是对在php中交换两个变量的值的方法进行了详细的分析介绍，需要的朋友参考下2013-06-06
这篇文章主要介绍了php使用自带dom扩展进行元素匹配的原理解析,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-05-05
php其实也可以执行多任务或并发访问，下面就是网上找来的一个关于PHP并发访问的例子2012-09-09
这篇文章主要介绍了phpStudy访问速度慢和启动失败的解决办法的相关资料,需要的朋友可以参考下2015-11-11
浅谈php中的访问修饰符private、protected、public的作用范围
下面小编就为大家带来一篇浅谈php中的访问修饰符private、protected、public的作用范围。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2016-11-11
这篇文章主要介绍了实例介绍PHP的Reflection反射机制,本文从使用Reflection获取一个类的信息角度来介绍PHP的Reflection反射机制,需要的朋友可以参考下2014-08-08
这篇文章主要介绍了thinkPHP实现的联动菜单功能,结合实例形式分析了thinkPHP联动菜单的实现步骤与具体操作技巧,需要的朋友可以参考下2017-05-05
这篇文章主要介绍了symfony3.4中根据角色不同跳转不同页面,在Symfony 3.4中，可以使用安全组件来实现控制不同角色跳转到不同页面的功能，本文通过示例代码给大家介绍的非常详细，需要的朋友可以参考下2023-08-08
这篇文章主要介绍了thinkPHP框架单元测试库tpunit用法,结合实例形式分析了tpunit简单使用方法及相关操作注意事项,需要的朋友可以参考下2018-08-08
Blade 允许你自定义命令，你可以使用 directive 方法注册命令。下面这篇文章主要给大家总结介绍了关于Laravel框架中自定义模板指令的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考借鉴，下面来一起看看吧2017-12-12
最新评论