PHP一个简单的无需刷新爬虫

 更新时间:2019年01月05日 14:50:01   作者:只是个宝宝  
今天小编就为大家分享一篇关于PHP一个简单的无需刷新爬虫,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧

由于只是一个小示例,所以过程化简单写了,小菜随便参考,大神大可点解

<?php 
//设置最大执行时间
set_time_limit(0);
function getHtml($url){
  // 1. 初始化
   $ch = curl_init();
   // 2. 设置选项,包括URL
   curl_setopt($ch,CURLOPT_URL,$url);
   curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
   curl_setopt($ch,CURLOPT_HEADER,0);
   // 3. 执行并获取HTML文档内容
   $output = curl_exec($ch);
   if($output === FALSE ){
    $output = '';
   }
   // 4. 释放curl句柄
   curl_close($ch);
   return $output;
}
function getPageData($url){
  // 获取整个网页内容
  $html = getHtml($url);
  // 初步获取主块内容
  preg_match("/教程列表.*教程列表/s",$html,$body_html);
  // 返回数据
  $data = array();
  //判断是否存在要获取的内容
  if(count($body_html)){
    // 获取页面指定信息
    preg_match_all('/<a class="avatar".*user_id="(\S*)" href="(\S*)" rel="external nofollow" /',$body_html[0],$info_1);
    preg_match_all('/<a href="(.*)" rel="external nofollow" .*title="(.*)"/',$body_html[0],$info_2);
    $info = array_merge($info_1,$info_2);
    //组合的信息
    for($index=0; $index<count($info[0]); $index++){
      //以文章信息作为key存数组,以及覆盖旧数据
      $data[$info[4][$index]] = array(
              'user_id'  => $info[1][$index],
              'user_home' => $info[2][$index],
              'a_url'   => $info[4][$index],
              'a_title'  => $info[5][$index],
           );
    }
  }
  return $data;
}
header("Content-type: text/html; charset=utf-8"); 
echo '<pre>';
// 初始化数据
$page_no = 1;
$data_all = array();
// 分页获取数据
do{
  $url = 'http://www.thinkphp.cn/code/examples/p/' . $page_no;
  $data = getPageData($url);
  $data_all += $data;
  $page_no ++;
}while ($page_no <= 10); //当前只获取10页,如果要全部获取则把条件换成$data或!empty($data)
var_dump($data_all);
?>

接下的入表库当然就不写了,那些更小意思了~就此别过吧~

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对脚本之家的支持。如果你想了解更多相关内容请查看下面相关链接

相关文章

  • php使用phpoffice/phpspreadsheet导出图片实例

    php使用phpoffice/phpspreadsheet导出图片实例

    这篇文章主要为大家介绍了php使用phpoffice/phpspreadsheet导出图片实例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-11-11
  • CI框架实现cookie登陆的方法详解

    CI框架实现cookie登陆的方法详解

    这篇文章主要介绍了CI框架实现cookie登陆的方法,结合实例形式分析了CI框架使用cookie实现登陆的步骤与相关操作技巧,需要的朋友可以参考下
    2016-05-05
  • PHPUnit安装及使用示例

    PHPUnit安装及使用示例

    PHPUnit是一个用PHP编程语言开发的开源软件,是一个单元测试框架。PHPUnit由Sebastian Bergmann创建,源于Kent Beck的SUnit,是xUnit家族的框架之一。本文将介绍PHPUnit的安装方法以及一则使用示例。
    2014-10-10
  • PHP实现文件上传操作和封装

    PHP实现文件上传操作和封装

    这篇文章主要为大家详细介绍了PHP实现文件上传操作和封装,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-03-03
  • PHP+百度AI OCR文字识别实现了图片的文字识别功能

    PHP+百度AI OCR文字识别实现了图片的文字识别功能

    这篇文章主要介绍了PHP+百度AI OCR文字识别实现了图片的文字识别功能,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-05-05
  • Smarty环境配置与使用入门教程

    Smarty环境配置与使用入门教程

    这篇文章主要介绍了Smarty环境配置与使用方法,较为详细的分析了Smarty环境的搭建与配置参数的功能含义,非常简单易懂,需要的朋友可以参考下
    2016-05-05
  • Yii2主题(Theme)用法详解

    Yii2主题(Theme)用法详解

    这篇文章主要介绍了Yii2主题(Theme)用法,结合实例形式分析了Yii2主题(Theme)的配置方式、函数与相关属性的使用技巧,需要的朋友可以参考下
    2016-07-07
  • php实现图片缩略图的方法

    php实现图片缩略图的方法

    本文使用php实现的图片缩略图,支持jpg,jpeg,gif,png,bmp图片格式,支持按原图片的比例进行缩放,可以选择在图片缩放的过程中是否需要对图片进行裁切,加入了图片质量控制,可以实现缩略图片质量最高化,需要的朋友可以参考下本段代码
    2016-03-03
  • 基于laravel缓冲cache的用法详解

    基于laravel缓冲cache的用法详解

    今天小编就为大家分享一篇基于laravel缓冲cache的用法详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-10-10
  • Bootstrap+PHP实现多图上传功能实例详解

    Bootstrap+PHP实现多图上传功能实例详解

    这篇文章主要介绍了Bootstrap+PHP实现多图上传功能实例详解,本文图片加实例相结合的形式给大家介绍的非常详细,需要的朋友可以参考下
    2018-04-04

最新评论