PHP采集静态页面并把页面css,img,js保存的方法

更新时间：2014年12月23日 10:20:08 投稿：shichen2014

这篇文章主要介绍了PHP采集静态页面并把页面css,img,js保存的方法,可以实现简单的网页抓取功能,具有一定的参考借鉴价值,需要的朋友可以参考下

本文实例讲述了PHP采集静态页面并把页面css,img,js保存的方法。分享给大家供大家参考。具体分析如下：

这是一个可以获取网页的html代码以及css,js,font和img资源的小工具,主要用来快速获取模板,如果你来不及设计UI或者看到不错的模板,则可以使用这个工具来抓取网页和提取资源文件,提取的内容会按相对路径来保存资源,因此你不必担心资源文件的错误url导入.

首页 index.php,代码如下:

复制代码代码如下:

<!DOCTYPE html> 

<html> 

<head> 

<meta name="author" content="flute" /> 

<meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> 

<title>网页抓取器</title> 

<link rel="stylesheet" href="main.css" media="all" /> 

<script type="text/javascript" src="jquery.js"></script> 

<script type="text/javascript" src="main.js"></script> 

</head> 

<body> 

<h1>Web Grabber</h1> 

<hr /> 

<div class="box"> 

  <h2>Url</h2> 

  <div class="form"> 

    <input type="text" id="project" value="projectname" /> 

    <input type="text" id="url" value="http://" size="60" /> 

    <button class="submit" type="button">Get</button><span id="tip"></span> 

  </div>

</div> 

<div class="box"> 

  <span class="all" id="saveall">Save All</span> 

  <h2>List</h2> 

  <ul id="list"> 

  </ul> 

</div> 

</body> 

</html>

抓取页面代码 grab.php,代码如下:

复制代码代码如下:

<?PHP
/*
* flute
* 2014/03/31
*/

if(isset($_POST['url'])) {
if(isset($_POST['project']) && !is_dir($_POST['project'])) mkdir($_POST['project'], 0777);
echo json_encode(grab($_POST['url']));
}

function grab($url) {
//$url = 'http://ldixing-wordpress.stor.sinaapp.com/uploads/leaves/test.html';
$data = array();
$file = preg_replace('/^.*//', '', $url);

if(($content = file_get_contents($url)) !== false) {

   if(isset($_POST['project'])) file_put_contents($_POST['project'].'/'.$file, $content);

   $pattern = '/<link.*?href=('|")(.*?.css)1.*?>/i';
   if(preg_match_all($pattern, $content, $matches)) {
    $data['css'] = $matches[2];
   }

   $pattern = '/<script.*?src=('|")(.*?.js)1.*?>/i';
   if(preg_match_all($pattern, $content, $matches)) {
    $data['js'] = $matches[2];
   }

   $pattern = '/<img.*?src=('|")(.*?)1.*?>/i';
   if(preg_match_all($pattern, $content, $matches)) {
    $data['img'] = $matches[2];
   }

   $pattern = '/url(('|"|s)(.*?)1)/i';
   if(preg_match_all($pattern, $content, $matches)) {
    $data['src'] = $matches[2];
   }
}

return $data;
}

function vardump($obj) {
echo '<pre>';
print_r($obj);
echo '</pre>';
}
?>

保存css,js,img等资源的页面 save.php,代码如下:

复制代码代码如下:

<?PHP 

 /* 

 *  flute 

 *  2014/03/31 

 */ 

 if(isset($_POST['url']) && isset($_POST['project']) && isset($_POST['domain'])) { 

  extract($_POST); 

  $url = preg_replace('/?.*$/', '', $url); 

  $file = $url; 

  $arr = explode('/', $file); 

  $length = sizeof($arr); 

  $filename = $arr[$length - 1]; 

  $root = $project; 

  $dir = $root; 

  if($domain == 'http') { 

   $dir = $root.'/http'; 

   if(!is_dir($dir)) mkdir($dir, 0777); 

  } else { 

   $file = $domain.'/'.$url; 

   for($i = 0; $i < $length -1; $i++) { 

    if(!emptyempty($arr[$i])) { 

     $dir .= '/'.$arr[$i]; 

     if(!is_dir($dir)) mkdir($dir, 0777); 

    }

   } 

  } 

  if(!file_exists($dir.'/'.$filename) || filesize($dir.'/'.$filename) == 0) { 

   $content = file_get_contents($file); 

   file_put_contents($dir.'/'.$filename, $content); 

  } 

 } 

?>

使用方法:

1. 打开index页,输入项目名和要抓取的网址,网址必须是文件名结尾,如index.html；

2. 点Get按钮，得到当前页面所有的css,js,img等资源列表；

3. 点击css链接会获取css文件中的背景资源图片，附加在列表后头；

4. 点击Save All即可保存列表中所有的文件，并按相对路径生成；

5. 如果网页上有http远程文件，将会直接保存在http文件夹下;

6. Get和Save有时会失败，没关系重试几次即可。

希望本文所述对大家的php程序设计有所帮助。

您可能感兴趣的文章:

PHP
采集

PHP延迟静态绑定示例分享
在PHP5.3中，给类加入了关键词static，用于实现延迟静态绑定(late static binding)，那么我们来看看一个示例来好好学习下
2014-06-06
php实现构建排除当前元素的乘积数组方法
在本篇文章中我们给大家整理了关于php实现构建排除当前元素的乘积数组的方法以及相关实例代码，有需要的朋友们参考下。
2018-10-10
ThinkPHP连接Oracle数据库
本文给大家介绍的是如何使用thinkphp连接Oracle数据库的方法和详细步奏，并附上实例，非常的实用，有需要的小伙伴可以参考下
2016-04-04
Apache实现Web Server负载均衡详解(不考虑Session版)
本篇文章是对使用Apache实现Web Server负载均衡的方法进行了详细的分析介绍，需要的朋友参考下(不考虑Session版)
2013-07-07
php和nginx交互实例讲解
在本篇文章中小编给大家分享的是关于php和nginx如何交互的实例以及相关知识点，有需要的朋友们学习下。
2019-09-09
解析csv数据导入mysql的方法
本篇文章是对将csv数据导入mysql的实现方法进行了详细的分析介绍，需要的朋友参考下
2013-07-07
PHP+MYSQL中文乱码问题
这篇文章主要汇总介绍了几种解决PHP+MYSQL中文乱码问题的方法，十分的实用，有需要的小伙伴可以参考下。
2015-07-07
图解找出PHP配置文件php.ini的路径的方法
这篇文章主要介绍了图解找出PHP配置文件php.ini的路径的方法,其实就是使用phpinfo()函数输出PHP信息,然后找到Configuration File (php.ini) Path这节就可以了,需要的朋友可以参考下
2014-08-08
php单态设计模式(单例模式)实例
这篇文章主要介绍了php单态设计模式(单例模式)实例,单态模式的主要作用是保证在面向对象编程设计中，一个类只能有一个实例对象存在,需要的朋友可以参考下
2014-11-11
PHP操作文件方法问答
PHP操作文件方法问答...
2007-03-03