基于PHP的简单采集数据入库程序
更新时间：2014年07月30日 09:34:33 投稿：hebedich
前几天有一朋友要我帮做一个采集新闻信息的程序，抽了点时间写了个PHP版本的，随笔记录下。
说到采集，无非就是远程获取信息->提取所需内容->分类存储->读取->展示
也算是简单"小偷程序"的加强版吧
下面是对应核心代码（别拿去做坏事哦^_^）
所要采集的内容是某游戏网站上的公告，如下图：
可先利用file_get_contents和简单正则获取基本页面信息
整理下基本信息，采集入库：
<?php
include_once("conn.php");
if($_GET['id']<=8&&$_GET['id']){
$id=$_GET['id'];
$conn=file_get_contents("http://www.93moli.com/news_list_4_$id.html");//获取页面内容
$pattern="/<li><a title=\"(.*)\" target=\"_blank\" href=\"(.*)\">/iUs";//正则
preg_match_all($pattern, $conn, $arr);//匹配内容到arr数组
//print_r($arr);die;
foreach ($arr[1] as $key => $value) {//二维数组[2]对应id和[1]刚好一样,利用起key
$url="http://www.93moli.com/".$arr[2][$key];
$sql="insert into list(title,url) value ('$value', '$url')";
mysql_query($sql);
//echo "<a href='content.php?url=http://www.93moli.com/$url'>$value</a>"."<br/>";
}
$id++;
echo "正在采集URL数据列表$id...请稍后...";
echo "<script>window.location='list.php?id=$id'</script>";
}else{
echo "采集数据结束。";
}
?>
conn.php是数据库连接文件
list.php是本页面
由于要采集的数据是分页显示的，且页面地址是规律递增，所以我用了js跳转代码，利用id传值控制采集的页数，也避免了for循环数目过大。
轻轻松松数据入库，下篇文章写关于具体url采集信息的过程。
相关文章
PHP6怎么连接sqlserver2005呢？其实方法步骤很简单的。下面脚本之家小编给大家介绍PHP6连接SQLServer2005的三部曲，感兴趣的朋友参考下吧2016-04-04
这篇文章主要给大家介绍了关于thinkphp诸多限制条件下如何getshell的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-12-12
这篇文章主要介绍了WordPress中用于获取文章作者与分类信息的方法整理,都是来自于WordPress的WP_Query类之下,需要的朋友可以参考下2015-12-12
本篇文章给大家带来的内容是关于Laravel服务容器的绑定与解析，有一定的参考价值，有需要的朋友可以参考一下，希望对你有所帮助2019-11-11
用来解析.htgroup文件的PHP类代码，需要的朋友可以参考下2012-09-09
这篇文章主要给大家介绍了关于Laravel如何创建服务器提供者的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Laravel具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-04-04
下面小编就为大家带来一篇老生常谈php中传统验证与thinkphp框架(必看篇)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-06-06
这篇文章主要介绍了laravel安装和配置教程,需要的朋友可以参考下2014-10-10
这篇文章主要介绍了smarty高级特性之对象的使用方法,结合实例形式简单分析了使用类与对象的相关技巧,需要的朋友可以参考下2015-12-12
这篇文章主要为大家详细介绍了php实现微信原生支付，扫码支付功能，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-05-05
最新评论