PHP实现抓取百度搜索结果页面【相关搜索词】并存储到txt文件示例

 更新时间:2018年07月11日 12:19:29   作者:Young-杨培丽  
这篇文章主要介绍了PHP实现抓取百度搜索结果页面【相关搜索词】并存储到txt文件,涉及php基于curl的页面抓取及正则匹配相关操作技巧,需要的朋友可以参考下

本文实例讲述了PHP实现抓取百度搜索结果页面【相关搜索词】并存储到txt文件。分享给大家供大家参考,具体如下:

一、百度搜索关键词【脚本之家】

【脚本之家】搜索链接

https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&wd=%E8%84%9A%E6%9C%AC%E4%B9%8B%E5%AE%B6&rsv_pq=ab33cfeb000086a2&rsv_t=7c65vT3KzHCNfGYOIn%2FDSS%2BOQUiCycaspxWzSOBfkHYpgRIPKMI74WIi8K8&rqlang=cn&rsv_enter=1&rsv_sug3=1

搜索结果部分源代码:

<div id="rs"><div class="tt">相关搜索</div><table cellpadding="0"><tbody><tr><th><a href="/s?wd=%E6%B8%B8%E6%88%8F%E8%84%9A%E6%9C%AC%E4%B8%80%E8%88%AC%E9%83%BD%E5%9C%A8%E5%93%AA%E6%89%BE&amp;rsf=4562&amp;rsp=0&amp;f=1&amp;oq=%E8%84%9A%E6%9C%AC%E4%B9%8B%E5%AE%B6&amp;ie=utf-8&amp;rsv_idx=1&amp;rsv_pq=c1ff4bdb000208b4&amp;rsv_t=a1f2OCsgS6vkkBcxsdqfBfehkXoR65%2FtFlpSI30%2F%2FMmk6jQJEukZbv30XaM&amp;rqlang=cn&amp;rs_src=0&amp;rsv_pq=c1ff4bdb000208b4&amp;rsv_t=a1f2OCsgS6vkkBcxsdqfBfehkXoR65%2FtFlpSI30%2F%2FMmk6jQJEukZbv30XaM" rel="external nofollow" >游戏脚本一般都在哪找</a></th><td></td><th><a href="/s?wd=%E8%84%9A%E6%9C%AC%E6%80%8E%E4%B9%88%E5%86%99&amp;rsf=4562&amp;rsp=1&amp;f=1&amp;oq=%E8%84%9A%E6%9C%AC%E4%B9%8B%E5%AE%B6&amp;ie=utf-8&amp;rsv_idx=1&amp;rsv_pq=c1ff4bdb000208b4&amp;rsv_t=a1f2OCsgS6vkkBcxsdqfBfehkXoR65%2FtFlpSI30%2F%2FMmk6jQJEukZbv30XaM&amp;rqlang=cn&amp;rs_src=0&amp;rsv_pq=c1ff4bdb000208b4&amp;rsv_t=a1f2OCsgS6vkkBcxsdqfBfehkXoR65%2FtFlpSI30%2F%2FMmk6jQJEukZbv30XaM" rel="external nofollow" >脚本怎么写</a></th><td></td><th><a href="/s?wd=%E8%84%9A%E6%9C%AC%E6%98%AF%E4%BB%80%E4%B9%88%E6%84%8F%E6%80%9D&amp;rsf=4562&amp;rsp=2&amp;f=1&amp;oq=%E8%84%9A%E6%9C%AC%E4%B9%8B%E5%AE%B6&amp;ie=utf-8&amp;rsv_idx=1&amp;rsv_pq=c1ff4bdb000208b4&amp;rsv_t=a1f2OCsgS6vkkBcxsdqfBfehkXoR65%2FtFlpSI30%2F%2FMmk6jQJEukZbv30XaM&amp;rqlang=cn&amp;rs_src=0&amp;rsv_pq=c1ff4bdb000208b4&amp;rsv_t=a1f2OCsgS6vkkBcxsdqfBfehkXoR65%2FtFlpSI30%2F%2FMmk6jQJEukZbv30XaM" rel="external nofollow" >脚本是什么意思</a></th></tr><tr><th><a href="/s?wd=%E8%84%9A%E6%9C%AC%E4%B9%8B%E5%AE%B6app&amp;rsf=4562&amp;rsp=3&amp;f=1&amp;oq=%E8%84%9A%E6%9C%AC%E4%B9%8B%E5%AE%B6&amp;ie=utf-8&amp;rsv_idx=1&amp;rsv_pq=c1ff4bdb000208b4&amp;rsv_t=a1f2OCsgS6vkkBcxsdqfBfehkXoR65%2FtFlpSI30%2F%2FMmk6jQJEukZbv30XaM&amp;rqlang=cn&amp;rs_src=0&amp;rsv_pq=c1ff4bdb000208b4&amp;rsv_t=a1f2OCsgS6vkkBcxsdqfBfehkXoR65%2FtFlpSI30%2F%2FMmk6jQJEukZbv30XaM" rel="external nofollow" >脚本之家app</a></th><td></td><th><a href="/s?wd=%E6%89%8B%E6%9C%BA%E8%84%9A%E6%9C%AC%E5%88%B6%E4%BD%9C&amp;rsf=4562&amp;rsp=4&amp;f=1&amp;oq=%E8%84%9A%E6%9C%AC%E4%B9%8B%E5%AE%B6&amp;ie=utf-8&amp;rsv_idx=1&amp;rsv_pq=c1ff4bdb000208b4&amp;rsv_t=a1f2OCsgS6vkkBcxsdqfBfehkXoR65%2FtFlpSI30%2F%2FMmk6jQJEukZbv30XaM&amp;rqlang=cn&amp;rs_src=0&amp;rsv_pq=c1ff4bdb000208b4&amp;rsv_t=a1f2OCsgS6vkkBcxsdqfBfehkXoR65%2FtFlpSI30%2F%2FMmk6jQJEukZbv30XaM" rel="external nofollow" >手机脚本制作</a></th><td></td><th><a href="/s?wd=%E6%89%8B%E6%9C%BA%E8%84%9A%E6%9C%AC%E5%A4%A7%E5%85%A8&amp;rsf=4562&amp;rsp=5&amp;f=1&amp;oq=%E8%84%9A%E6%9C%AC%E4%B9%8B%E5%AE%B6&amp;ie=utf-8&amp;rsv_idx=1&amp;rsv_pq=c1ff4bdb000208b4&amp;rsv_t=a1f2OCsgS6vkkBcxsdqfBfehkXoR65%2FtFlpSI30%2F%2FMmk6jQJEukZbv30XaM&amp;rqlang=cn&amp;rs_src=0&amp;rsv_pq=c1ff4bdb000208b4&amp;rsv_t=a1f2OCsgS6vkkBcxsdqfBfehkXoR65%2FtFlpSI30%2F%2FMmk6jQJEukZbv30XaM" rel="external nofollow" >手机脚本大全</a></th></tr><tr><th><a href="/s?wd=%E8%84%9A%E6%9C%AC%E6%B8%B8%E6%88%8F%E5%88%B6%E4%BD%9C%E5%A4%A7%E5%B8%88&amp;rsf=4562&amp;rsp=6&amp;f=1&amp;oq=%E8%84%9A%E6%9C%AC%E4%B9%8B%E5%AE%B6&amp;ie=utf-8&amp;rsv_idx=1&amp;rsv_pq=c1ff4bdb000208b4&amp;rsv_t=a1f2OCsgS6vkkBcxsdqfBfehkXoR65%2FtFlpSI30%2F%2FMmk6jQJEukZbv30XaM&amp;rqlang=cn&amp;rs_src=0&amp;rsv_pq=c1ff4bdb000208b4&amp;rsv_t=a1f2OCsgS6vkkBcxsdqfBfehkXoR65%2FtFlpSI30%2F%2FMmk6jQJEukZbv30XaM" rel="external nofollow" >脚本游戏制作大师</a></th><td></td><th><a href="/s?wd=%E6%B8%B8%E6%88%8F%E8%84%9A%E6%9C%AC%E5%88%B6%E4%BD%9C%E6%95%99%E7%A8%8B&amp;rsf=4562&amp;rsp=7&amp;f=1&amp;oq=%E8%84%9A%E6%9C%AC%E4%B9%8B%E5%AE%B6&amp;ie=utf-8&amp;rsv_idx=1&amp;rsv_pq=c1ff4bdb000208b4&amp;rsv_t=a1f2OCsgS6vkkBcxsdqfBfehkXoR65%2FtFlpSI30%2F%2FMmk6jQJEukZbv30XaM&amp;rqlang=cn&amp;rs_src=0&amp;rsv_pq=c1ff4bdb000208b4&amp;rsv_t=a1f2OCsgS6vkkBcxsdqfBfehkXoR65%2FtFlpSI30%2F%2FMmk6jQJEukZbv30XaM" rel="external nofollow" >游戏脚本制作教程</a></th><td></td><th><a href="/s?wd=%E8%84%9A%E6%9C%AC%E7%B2%BE%E7%81%B5&amp;rsf=4562&amp;rsp=8&amp;f=1&amp;oq=%E8%84%9A%E6%9C%AC%E4%B9%8B%E5%AE%B6&amp;ie=utf-8&amp;rsv_idx=1&amp;rsv_pq=c1ff4bdb000208b4&amp;rsv_t=a1f2OCsgS6vkkBcxsdqfBfehkXoR65%2FtFlpSI30%2F%2FMmk6jQJEukZbv30XaM&amp;rqlang=cn&amp;rs_src=0&amp;rsv_pq=c1ff4bdb000208b4&amp;rsv_t=a1f2OCsgS6vkkBcxsdqfBfehkXoR65%2FtFlpSI30%2F%2FMmk6jQJEukZbv30XaM" rel="external nofollow" >脚本精灵</a></th></tr></tbody></table></div>

二、抓取并保存本地

 

源代码

index.php:

<form action="index.php" method="post">
<input name="q" type="text" />
<input type="submit" value="Get Keywords" />
</form>
<?php
header('Content-Type:text/html;charset=gbk');
class ComBaike{
  private $o_String=NULL;
  public function __construct(){
    include('cls.StringEx.php');
    $this->o_String=new StringEx();
  }
  public function getItem($word){
    $url = "http://www.baidu.com/s?wd=".$word;
    // 构造包头,模拟浏览器请求
    $header = array (
      "Host:www.baidu.com",
      "Content-Type:application/x-www-form-urlencoded",//post请求
      "Connection: keep-alive",
      'Referer:http://www.baidu.com',
      'User-Agent: Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; BIDUBrowser 2.6)'
    );
    $ch = curl_init ();
    curl_setopt ( $ch, CURLOPT_URL, $url );
    curl_setopt ( $ch, CURLOPT_HTTPHEADER, $header );
    curl_setopt ( $ch, CURLOPT_RETURNTRANSFER, 1 );
    $content = curl_exec ( $ch );
    if ($content == FALSE) {
    echo "error:" . curl_error ( $ch );
    }
    curl_close ( $ch );
    //输出结果echo $content;
    $this->o_String->string=$content;
    $s_begin='<div id="rs">';
    $s_end='</div>';
    $summary=$this->o_String->getPart($s_begin,$s_end);
    $s_begin='<div class="tt">相关搜索</div><table cellpadding="0"><tr><th>';
    $s_end='</th></tr></table></div>';
    $content=$this->o_String->getPart($s_begin,$s_end);
    return $content;
  }
  public function __destruct(){
    unset($this->o_String);
  }
}
if($_POST){
  $com = new ComBaike();
  $q = $_POST['q'];
  $str = $com->getItem($q); //获取搜索内容
  $pat = '/<a(.*?)href="(.*?)" rel="external nofollow" (.*?)>(.*?)<\/a>/i';
  preg_match_all($pat, $str, $m);
  //print_r($m[4]); 链接文字
  $con = implode(",", $m[4]);
  //生成文件夹
  $dates = date("Ymd");
  $path="./Search/".$dates."/";
  if(!is_dir($path)){
    mkdir($path,0777,true);
  }
  //生成文件
  $file = fopen($path.iconv("UTF-8","GBK",$q).".txt",'w');
  if(fwrite($file,$con)){
    echo $con;
    echo '<script>alert("success")</script>';
  }else{
    echo '<script>alert("error")</script>';
  }
  fclose($file);
}
?>

cls.StringEx.php:

<?php
header('Content-Type: text/html; charset=UTF-8');
class StringEx{
  public $string='';
  public function __construct($string=''){
    $this->string=$string;
  }
  public function pregGetPart($s_begin,$s_end){
    $s_begin==preg_quote($s_begin);
    $s_begin=str_replace('/','\/',$s_begin);
    $s_end=preg_quote($s_end);
    $s_end=str_replace('/','\/',$s_end);
    $pattern='/'.$s_begin.'(.*?)'.$s_end.'/';
    $result=preg_match($pattern,$this->string,$a_match);
    if(!$result){
      return $result;
    }else{
      return isset($a_match[1])?$a_match[1]:'';
    }
  }
  public function strstrGetPart($s_begin,$s_end){
    $string=strstr($this->string,$s_begin);
    $string=strstr($string,$s_end,true);
    $string=str_replace($s_begin,'',$string);
    $string=str_replace($s_end,'',$string);
    return $string;
  }
  public function getPart($s_begin,$s_end){
    $result=$this->pregGetPart($s_begin,$s_end);
    if(!$result){
      $result=$this->strstrGetPart($s_begin,$s_end);
    }
    return $result;
  }
}
?>

更多关于PHP相关内容感兴趣的读者可查看本站专题:《php curl用法总结》、《PHP网络编程技巧总结》、《PHP数组(Array)操作技巧大全》、《php字符串(string)用法总结》、《PHP数据结构与算法教程》及《PHP中json格式数据操作技巧汇总

希望本文所述对大家PHP程序设计有所帮助。

相关文章

  • 浅谈ThinkPHP的URL重写

    浅谈ThinkPHP的URL重写

    关于ThinkPHP的URL重写,其核心点基本上都是去掉URL路径中的index.php,其余的内容和普通的伪静态没有什么区别了。
    2014-11-11
  • PHP中全面阻止SQL注入式攻击分析小结

    PHP中全面阻止SQL注入式攻击分析小结

    PHP是一种力量强大但相当容易学习的服务器端脚本语言,即使是经验不多的程序员也能够使用它来创建复杂的动态的web站点。然而,它在实现因特网服务的秘密和安全方面却常常存在许多困难
    2012-01-01
  • PHP在特殊字符前加斜杠的实现代码

    PHP在特殊字符前加斜杠的实现代码

    PHP在特殊字符前加斜杠的代码,需要的朋友可以参考下。quotemeta() 函数在字符串中某些预定义的字符前添加反斜杠。
    2011-07-07
  • Windows下编译PHP5.4和xdebug全记录

    Windows下编译PHP5.4和xdebug全记录

    这篇文章主要介绍了Windows下编译PHP5.4和xdebug全记录,本文讲解了编译环境以及相关软件包、编译过程、编译中可能出现的错误问题处理等内容,需要的朋友可以参考下
    2015-04-04
  • php pdo oracle中文乱码的快速解决方法

    php pdo oracle中文乱码的快速解决方法

    下面小编就为大家带来一篇php pdo oracle中文乱码的快速解决方法。小编觉得挺不错的,现在分享给大家,也给大家做个参考,一起跟随小编过来看看吧
    2016-05-05
  • php 木马的分析(加密破解)

    php 木马的分析(加密破解)

    前一段时间上网查找到了一个经过“加密”过的php木马,出于好奇就对其代码进行了分析
    2009-05-05
  • php简单开启gzip压缩方法(zlib.output_compression)

    php简单开启gzip压缩方法(zlib.output_compression)

    网上的教程基本是你抄我来我抄他,不外乎加头加尾或者自构函数两种写法。实际上每个php页面都要去加代码——当然也可以include引用,不过总显得略微麻烦
    2013-04-04
  • PHP+JS实现的商品秒杀倒计时用法示例

    PHP+JS实现的商品秒杀倒计时用法示例

    这篇文章主要介绍了PHP+JS实现的商品秒杀倒计时用法,结合实例形式分析了php+js针对日期与时间操作的相关技巧,需要的朋友可以参考下
    2016-11-11
  • PHP基于openssl实现非对称加密代码实例

    PHP基于openssl实现非对称加密代码实例

    这篇文章主要介绍了PHP基于openssl实现非对称加密代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-06-06
  • Smarty模板学习笔记之Smarty简介

    Smarty模板学习笔记之Smarty简介

    Smarty是一个使用PHP写出来的模板PHP模板引擎,是目前业界最著名的PHP模板引擎之一。它分离了逻辑代码和外在的内容,提供了一种易于管理和使用的方法,用来将原本与HTML代码混杂在一起PHP代码逻辑分离。
    2014-05-05

最新评论