thinkphp 抓取网站的内容并且保存到本地的实例详解

 更新时间:2017年08月25日 11:28:37   投稿:lqh  
这篇文章主要介绍了thinkphp 抓取网站的内容并且保存到本地的实例详解的相关资料,需要的朋友可以参考下

thinkphp 抓取网站的内容并且保存到本地的实例详解

我需要写这么一个例子,到电子课本网下载一本电子书。

电子课本网的电子书,是把书的每一页当成一个图片,然后一本书就是有很多张图片,我需要批量的进行下载图片操作。

下面是代码部分:

 public function download() {
    $http = new \Org\Net\Http();
    $url_pref = "http://www.dzkbw.com/books/rjb/dili/xc7s/";
    $localUrl = "Public/bookcover/";
    $reg="|showImg\('(.+)'\);|";
    $i=1;
    
    do {
      $filename = substr("000".$i,-3).".htm";
      $ch = curl_init();
      curl_setopt($ch, CURLOPT_URL, $url_pref.$filename);
      curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
      curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10);
      curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
      $html = curl_exec($ch);
      curl_close($ch);
      
      $result = preg_match_all($reg,$html,$out, PREG_PATTERN_ORDER);
      if($result==1) {
        $picUrl = $out[1][0];
        $picFilename = substr("000".$i,-3).".jpg";
        $http->curlDownload($picUrl, $localUrl.$picFilename);
      }
      $i = $i+1;
    } while ($result==1);

    echo "下载完成";
  }

我这里是以人教版地理七年级地理上册为例子 http://www.dzkbw.com/books/rjb/dili/xc7s/001.htm

网页是从001.htm开始,然后数字一直加

每个网页里面都有一张图,就是对应课本的内容,以图片的形式展示课本内容

我的代码是做了一个循环,从第一页开始抓,一直抓到找不到网页里的图片为止

抓到网页的内容后,把网页里面的图片抓取到本地服务器

抓取后的实际效果:

以上就是thinkphp 抓取网站的内容并且保存到本地的实例详解,如有疑问请留言或者到本站社区交流讨论,感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

相关文章

  • 关于PHP中Session文件过多的问题及session文件保存位置

    关于PHP中Session文件过多的问题及session文件保存位置

    PHP的默认机制:每一次php请求,会有1/100的概率(默认值)触发“session回收”。接下来通过本文给大家介绍关于PHP中Session文件过多的问题及session文件保存位置,需要的朋友参考下
    2016-03-03
  • PHP Pipeline 实现中间件的示例代码

    PHP Pipeline 实现中间件的示例代码

    这篇文章主要介绍了PHP Pipeline 实现中间件的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-04-04
  • 完美的2个php检测字符串是否是utf-8编码函数分享

    完美的2个php检测字符串是否是utf-8编码函数分享

    这篇文章主要介绍了完美的2个php检测字符串是否是utf-8编码函数分享,一个比较强大、一个比较简洁,需要的朋友可以参考下
    2014-07-07
  • php导入导出excel实例

    php导入导出excel实例

    使用PHPExcelphp导入excel、导出excel,支持office2007格式,同时兼容2003,具体看例子学习吧!
    2013-10-10
  • PHP+MySQL 制作简单的留言本

    PHP+MySQL 制作简单的留言本

    程序安装界面 用于创建数据库、表,以及动态生成config.php文件.
    2009-11-11
  • ThinkPHP文件上传实例教程

    ThinkPHP文件上传实例教程

    这篇文章主要介绍了ThinkPHP文件上传实现方法,是ThinkPHP程序开发中非常常见的一个技巧,需要的朋友可以参考下
    2014-08-08
  • Zend Framework入门教程之Zend_Session会话操作详解

    Zend Framework入门教程之Zend_Session会话操作详解

    这篇文章主要介绍了Zend Framework入门教程之Zend_Session会话操作,结合实例形式详细分析了Zend_Session会话操作的具体使用技巧,需要的朋友可以参考下
    2016-12-12
  • php结合ajax实现手机发红包的案例

    php结合ajax实现手机发红包的案例

    发红包功能,当我们输入红包数量和总金额后,PHP会根据这两个值进行随机分配每个金额,保证每个人都能领取到一个红包,每个红包金额不等,就是要求红包金额要有差异,所有红包金额总额应该等于总金额。
    2016-10-10
  • 常用PHP框架功能对照表

    常用PHP框架功能对照表

    这篇文章主要介绍了常用PHP框架功能对照表,对于选择PHP框架进行开发时具有一定的参考价值,需要的朋友可以参考下
    2014-10-10
  • php数组合并的二种方法

    php数组合并的二种方法

    这篇文章主要介绍了php数组合并的二种方法,同时讲了用加号和用array_merge合并数组的区别,需要的朋友可以参考下
    2014-03-03

最新评论