PHP通过CURL实现定时任务的图片抓取功能示例

 更新时间:2016年10月03日 10:02:22   作者:smiling  
这篇文章主要介绍了PHP通过CURL实现定时任务的图片抓取功能,涉及php的curl及dom操作相关技巧,需要的朋友可以参考下

本文实例讲述了PHP通过CURL实现定时任务的图片抓取功能。分享给大家供大家参考,具体如下:

下文为各位介绍一个PHP定时任务通过CURL图片的抓取例子,希望例子对大家帮助,基本思路就是通过一个URL连接,将所有图片的地址抓取下来,然后循环打开图片,利用文件操作函数下载下来,保存到本地,并且把图片的alt属性也抓取下来,最后将数据保存到自己数据库.

废话不多说,看程序就能明白了,其中,需要用到PHP定时任务和PHP的一个第三方插件simple_html_dom.php 的使用,参考simple_html_dom的下载和使用.

<?php
 function getLink($url){
  include_once('simple_html_dom.php');
  $ch = curl_init();
  curl_setopt($ch,CURLOPT_URL,$url);
  curl_setopt($ch,CURLOPT_HEADER,false);
  curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
  $output = curl_exec($ch);
  curl_close($ch);
  $html = new simple_html_dom();
  $html->load($output);
 $links = array();
  $arr = array();
 $title = array();
  foreach($html->find('a') as $element){
   if(preg_match('#^\/content_[0-9]+_1\.html$#i',$element->href)){
      array_push($links,'https://www.jb51.net'.$element->href);
  array_push($title,$element->title);
 }
 }
 $links = array_values(array_unique($links));
 $title = array_values(array_unique($title));
 $arr['links'] = $links;
 $arr['title'] = $title;
 return $arr;
 }
 function loadimg($url,$dirname){
 include_once('simple_html_dom.php');
 $ch = curl_init();
 curl_setopt($ch,CURLOPT_URL,$url);
 curl_setopt($ch,CURLOPT_HEADER,false);
 curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
 $output = curl_exec($ch);
 curl_close($ch);
 $html = new simple_html_dom();
 $html->load($output);
 $arr = array();
 foreach($html->find('img[w]') as $element){
  $image = $element->src;
 }
 $data = file_get_contents($image);
  $info = getimagesize($image);//获取图片信息,大小,格式
  switch($info[2]){
   case 1:
    $str = 'gif';
    break;
   case 2:
    $str = 'jpg';
    break;
   case 3:
    $str = 'png';
    break;
   default:
    continue;
    break;
  }
  if($info[1] < 10 || $info[0] < 10) continue;//图片太小,不是有价值的图片,跳过本次循环
  $filename = time().rand(1,999999).'.'.$str;
  if(!is_dir($dirname)){
   mkdir($dirname,0777,true);
  }
  $fp = fopen($dirname.$filename,'w');
  fwrite($fp,$data);
  fclose($fp);
  return $dirname.$filename;
}
 do{
  set_time_limit(0);
  ignore_user_abort();
  $img = getLink('https://www.jb51.net/qutu_1.html');
  $count = count($img['links']);
  $arr = array();
  for($i=0;$i<$count;$i++){
  $arr[]=loadimg($img['links'][$i],'images/');
  }
  $img['url'] = $arr;
  echo '<br/>';
  $img['title'];
  $res = array();
  $len = count($img['title']);
  //重新将数据组装成我们常用的二维数组,方便数据的数据库处理
  for($i=0;$i<$len;$i++){
   $res[$i]['title'] = $img['title'][$i];
  $res[$i]['url'] = $img['url'][$i];
  }
  foreach($res as $item){
   echo '<img src='.$item["url"].'>'.$item["title"].'<br />';
  }
  $interval = 24*3600;
  sleep($interval);
  }while(true);
?>

更多关于PHP相关内容感兴趣的读者可查看本站专题:《php curl用法总结》、《PHP数组(Array)操作技巧大全》、《php排序算法总结》、《PHP常用遍历算法与技巧总结》、《PHP数据结构与算法教程》、《php程序设计算法总结》、《PHP数学运算技巧总结》、《php正则表达式用法总结》、《PHP运算与运算符用法总结》、《php字符串(string)用法总结》及《php常见数据库操作技巧汇总

希望本文所述对大家PHP程序设计有所帮助。

相关文章

  • php 字符串替换的方法

    php 字符串替换的方法

    使用explode函数,把要替换的字符串做为分割符号,然 后把两个数组元素中间接上要换成的字符串,然后UPDATE一下就行了
    2012-01-01
  • 浅谈socket同步和异步、阻塞和非阻塞、I/O模型

    浅谈socket同步和异步、阻塞和非阻塞、I/O模型

    下面小编就为大家带来一篇浅谈socket同步和异步、阻塞和非阻塞、I/O模型。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2016-12-12
  • 针对PHP开发安全问题的相关总结

    针对PHP开发安全问题的相关总结

    今天小编就为大家分享一篇关于针对PHP开发安全问题的相关总结,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-03-03
  • PHP中检索字符串的方法分析【strstr与substr_count方法】

    PHP中检索字符串的方法分析【strstr与substr_count方法】

    这篇文章主要介绍了PHP中检索字符串的方法,结合实例形式分析了strstr与substr_count函数的功能与具体使用技巧,需要的朋友可以参考下
    2017-02-02
  • PHP实现动态柱状图改进版

    PHP实现动态柱状图改进版

    这篇文章主要介绍了PHP实现动态柱状图改进版,是在前面所述实现柱状图的基础上进行的改进,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-03-03
  • 用php简单实现加减乘除计算器

    用php简单实现加减乘除计算器

    加减乘除计算器想必大家都有使用过吧,本文为大家介绍下使用php如何实现,下面有个不错的示例,感兴趣的朋友可以参考下
    2014-01-01
  • PHP数据库编程之MySQL优化策略概述

    PHP数据库编程之MySQL优化策略概述

    这篇文章主要介绍了PHP数据库编程之MySQL优化策略,简单讲述了mysql优化的简单技巧以及索引优化、查询优化、存储优化等相关操作技巧,需要的朋友可以参考下
    2017-08-08
  • PHP管理依赖(dependency)关系工具 Composer 安装与使用

    PHP管理依赖(dependency)关系工具 Composer 安装与使用

    Composer 是PHP中用来管理依赖(dependency)关系的工具。你可以在自己的项目中声明所依赖的外部工具库(libraries),Composer会帮你安装这些依赖的库文件。
    2014-08-08
  • php调用自己java程序的方法详解

    php调用自己java程序的方法详解

    这篇文章主要介绍了php调用自己java程序的方法,较为详细的分析了php基于第三方jar包调用java程序以及使用dll动态链接库文件扩展进行java调用两种方法,需要的朋友可以参考下
    2016-05-05
  • php 数学运算验证码实现代码

    php 数学运算验证码实现代码

    php 数学运算验证码实现代码
    2009-10-10

最新评论