脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网络编程 → PHP编程 → php技巧 → php递归抓取网页类

php实现递归抓取网页类实例

 更新时间：2015年04月03日 12:20:50   作者：pythoner  
这篇文章主要介绍了php实现递归抓取网页类,实例分析了php递归操作及网页抓取的技巧,非常具有实用价值,需要的朋友可以参考下

本文实例讲述了php实现递归抓取网页类的方法。分享给大家供大家参考。具体如下：

<?php
class crawler{
 private $_depth=5;
 private $_urls=array();
 function extract_links($url)
 {
  if(!$this->_started){
   $this->_started=1;
   $curr_depth=0;
  }else{
   $curr_depth++;
  }
  if($curr_depth<$this->_depth)
  {
   $data=file_get_contents($url);
   if(preg_match_all('/((?:http|https)://(?:www.)*(?:[a-zA-Z0-9_-]{1,15}.+[a-zA-Z0-9_]{1,}){1,}(?:[a-zA-Z0-9_/.-?&:%,!;]*))/',$data,$urls12))
   {
    foreach($urls12[0] as $k=>$v){
     $check=get_headers($v,1);
     if(strstr($v,$url) && $check[0]=='HTTP/1.1 200 OK' && !array_search($v,$this->_urls) && $curr_depth<$this->_depth){
      $this->_urls[]=$v;
      $this->extract_links($v);
     }
    }
   }
  }
  return $this->_urls;
 }
}
?>

希望本文所述对大家的php程序设计有所帮助。

您可能感兴趣的文章:

相关文章

  • php json与xml序列化/反序列化

    php json与xml序列化/反序列化

    在WEB开发中，php对象的序列化与反序列化经常使用，比较主流的有json格式与xml格式的序列化与反序列化。今天我们就来看看是如何用的。
    2013-10-10
  • php的ajax框架xajax入门与试用介绍

    php的ajax框架xajax入门与试用介绍

    xajax功能很简单，但很灵活！~它不象其它一些大的框架，功能确实强大，但执行速度不敢恭维。。功能虽多，但不够灵活。api多，学起来简直如同学习一门新的语言。
    2010-12-12
  • php使用pdo连接并查询sql数据库的方法

    php使用pdo连接并查询sql数据库的方法

    这篇文章主要介绍了php使用pdo连接并查询sql数据库的方法,实例分析了常用的pdo连接方法与改进方法,并针对pdo技术进行了分析说明,需要的朋友可以参考下
    2014-12-12
  • 基于PHP导出Excel的小经验 完美解决乱码问题

    基于PHP导出Excel的小经验 完美解决乱码问题

    本篇文章是对PHP导出Excel乱码问题的解决方法就行了详细的分析介绍，需要的朋友参考下
    2013-06-06
  • php实现约瑟夫问题的方法小结

    php实现约瑟夫问题的方法小结

    这篇文章主要介绍了php实现约瑟夫问题的方法,实例总结了两种常见的实现约瑟夫问题的技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-03-03
  • PHP简单实现定时监控nginx日志文件功能示例

    PHP简单实现定时监控nginx日志文件功能示例

    这篇文章主要介绍了PHP简单实现定时监控nginx日志文件功能,涉及php定时读取nginx服务器日志以及基于curl的数据传输相关操作技巧,需要的朋友可以参考下
    2018-06-06
  • PHP的instanceof详解及使用方法介绍

    PHP的instanceof详解及使用方法介绍

    php的instanceof是什么意思？instanceof由两个单词组成，instance和of，instance表示实例的意思，从字面上就可以理解这是实例引用的意思。instanceof 运算符是 PHP 5 引进的。在此之前用 is_a()，但是 is_a() 已经过时了，最好用 instanceof。
    2023-05-05
  • PHP中的替代语法简介

    PHP中的替代语法简介

    这篇文章主要介绍了PHP中的替代语法简介,是PHP程序设计中并不常见却有重要作用的一个用法,需要的朋友可以参考下
    2014-08-08
  • 详解PHP使用OSS上传文件

    详解PHP使用OSS上传文件

    这篇文章主要介绍了PHP使用OSS上传文件，对OSS感兴趣的同学，可以参考并且实验一下
    2021-04-04
  • Search File Contents PHP 搜索目录文本内容的代码

    Search File Contents PHP 搜索目录文本内容的代码

    这个类可以用来搜索在给定的文本目录中的文件。它可以给定目录遍历递归查找某些文件扩展名的文件。
    2010-02-02

最新评论