脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网络编程 → PHP编程 → php实例 → curl数据采集 get_html

基于curl数据采集之单页面采集函数get_html的使用

 更新时间：2013年04月28日 17:06:58   作者：  
在做数据采集时经常要使用到curl+正则的方式采集需要的数据 根据自己的工作经验 把自己写的一些常用自定义函数 与大家来分享 如果有写得不恰当的地方 请多多指教

这是一个系列 没办法在一两天写完 所以一篇一篇的发布

大致大纲：

1.curl数据采集系列之单页面采集函数get_html

2.curl数据采集系列之多页面并行采集函数get_htmls

3.curl数据采集系列之正则处理函数get _matches

4.curl数据采集系列之代码分离

5.curl数据采集系列之并行逻辑控制函数web_spider


单页面采集在数据采集过程中是最常用的一个功能 有时在服务器访问限制的情况下 只能使用这种采集方式 慢 但是可以简单的控制 所以写好一个常用的curl函数调用是很重要的

百度和网易比较熟悉 所以拿这两个网站首页采集来做例子讲解


最简单的写法：

复制代码 代码如下:

$url = 'http://www.baidu.com';
 $ch = curl_init($url);
 curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);
 curl_setopt($ch,CURLOPT_TIMEOUT,5);
 $html = curl_exec($ch);
 if($html !== false){
     echo $html;
 }

由于使用频繁 可以利用curl_setopt_array写成函数的形式：
复制代码 代码如下:

function get_html($url,$options = array()){
     $options[CURLOPT_RETURNTRANSFER] = true;
     $options[CURLOPT_TIMEOUT] = 5;
     $ch = curl_init($url);
     curl_setopt_array($ch,$options);
     $html = curl_exec($ch);
     curl_close($ch);
     if($html === false){
         return false;
     }
     return $html;
 }

复制代码 代码如下:

$url = 'http://www.baidu.com';
echo get_html($url);

有时候需要传递一些特定的参数才能得到正确的页面 如现在要得到网易的页面：
复制代码 代码如下:

$url = 'http://www.163.com';
echo get_html($url);

会看到一片空白 什么也没有 那么再利用curl_getinfo写一个函数 看看发生了什么：
复制代码 代码如下:

function get_info($url,$options = array()){
     $options[CURLOPT_RETURNTRANSFER] = true;
     $options[CURLOPT_TIMEOUT] = 5;
     $ch = curl_init($url);
     curl_setopt_array($ch,$options);
     $html = curl_exec($ch);
     $info = curl_getinfo($ch);
     curl_close($ch);
     return $info;
 }
 $url = 'http://www.163.com';
 var_dump(get_info($url));

可以看到http_code 302 重定向了 这时候就需要传递一些参数了：

复制代码 代码如下:

$url = 'http://www.163.com';
$options[CURLOPT_FOLLOWLOCATION] = true;
echo get_html($url,$options);

会发现 怎么是这样的一个页面 和我们电脑访问的不同？？？

看来参数还是不够 不够服务器判断我们的客户端是什么设备上的 就返回了个普通版

看来还要传送USERAGENT

复制代码 代码如下:

$url = 'http://www.163.com';
 $options[CURLOPT_FOLLOWLOCATION] = true;
 $options[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 6.1; rv:19.0) Gecko/20100101 Firefox/19.0';
 echo get_html($url,$options);

 

OK现在页面已经出来了 这样基本这个get_html函数基本能实现这样扩展的功能

当然也有另外的办法可以实现，当你明确的知道网易的网页的时候就可以简单采集了：

复制代码 代码如下:

 $url = 'http://www.163.com/index.html';
 echo get_html($url);

这样也可以正常的采集

您可能感兴趣的文章:

相关文章

  • PHP实现随机数字、字母的验证码功能

    PHP实现随机数字、字母的验证码功能

    本文通过实例代码给大家介绍了PHP实现随机数字、字母的验证码功能，代码简单易懂，非常不错，具有一定得参考借鉴价值，需要得朋友参考下吧
    2018-08-08
  • Laravel中10个有用的用法小结

    Laravel中10个有用的用法小结

    这篇文章主要给大家总结介绍了关于Laravel中10个有用的用法，文中通过示例代码介绍的非常详细，对大家学习或者使用Laravel具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
    2019-05-05
  • PHP实现的多彩标签效果代码分享

    PHP实现的多彩标签效果代码分享

    这篇文章主要介绍了PHP实现的多彩标签效果代码分享,经常可以看到一些博客中的标签(TAGS)页面是彩色的效果展现,本文就给出了实现这个功能的PHP代码,需要的朋友可以参考下
    2014-08-08
  • Yii中CGridView禁止列排序的设置方法

    Yii中CGridView禁止列排序的设置方法

    这篇文章主要介绍了Yii中CGridView禁止列排序的设置方法,讲述了CGridView的功能及通过数组项sortable设置实现禁止排列功能的方法,需要的朋友可以参考下
    2016-07-07
  • PHP中使用ElasticSearch最新实例讲解

    PHP中使用ElasticSearch最新实例讲解

    这篇文章主要介绍了PHP中使用ElasticSearch最新实例讲解，这篇文章的教程是比较详细，有需要的同学可以研究下
    2021-03-03
  • 如何判断php mysqli扩展类是否开启

    如何判断php mysqli扩展类是否开启

    php高级版本都支持mysqli扩展类，但是默认情况下，mysqli扩展类是没有开启的，本文章向大家介绍php如何判断mysqli扩展类是否开启，需要的朋友可以参考一下
    2016-12-12
  • 基于PHP常用函数的用法详解

    基于PHP常用函数的用法详解

    本篇文章对PHP中的一些常用函数的用法进行了详细的分析介绍。需要的朋友参考下
    2013-05-05
  • 利用PHP POST临时文件机制实现任意文件上传的方法详解

    利用PHP POST临时文件机制实现任意文件上传的方法详解

    这篇文章主要介绍了利用 PHP POST 临时文件机制实现任意文件上传,同时该过程也会打断 php 对临时文件的处理，虽然最终仍会被删除，但相较之前可以明显看出临时文件在磁盘的中存在的时间变长了，需要的朋友可以参考下
    2022-04-04
  • Laravel认证原理以及完全自定义认证详解

    Laravel认证原理以及完全自定义认证详解

    最近在学习laravel框架，所以下面这篇文章主要给大家介绍了关于Laravel认证原理以及完全自定义认证的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考借鉴，下面随着小编来一起学习学习吧
    2018-07-07
  • zend framework文件上传功能实例代码

    zend framework文件上传功能实例代码

    zend framework文件上传功能实例代码,php的版本5.3.8，zend framework的版本1.12,看下面的代码吧，有注释
    2013-12-12

最新评论