使用PHP curl模拟浏览器抓取网站信息

 更新时间:2013年10月28日 16:02:30   作者:   我要评论

curl是一个利用URL语法在命令行方式下工作的文件传输工具。curl是一个利用URL语法在命令行方式下工作的文件传输工具。

官方解释
curl是一个利用URL语法在命令行方式下工作的文件传输工具。curl是一个利用URL语法在命令行方式下工作的文件传输工具。
它支持很多协议:FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP。curl同样支持HTTPS认证,HTTP POST方法, HTTP PUT方法, FTP上传, kerberos认证, HTTP上传, 代理服务器, cookies, 用户名/密码认证, 下载文件断点续传,
上载文件断点续传, http代理服务器管道( proxy tunneling), 甚至它还支持IPv6, socks5代理服务器, 通过http代理服务器上传文件到FTP服务器等等,功能十分强大。

curl讲解一

PHP中curl函数应用
简单的来说一共四步
curl_init();
curl_setopt();
curl_exec();
curl_close();

最重要的命令就是 curl_setopt();

一个简单的post请求例子
index.php

复制代码 代码如下:

<?php
$url = "http://www.mytest.com/curl/login.php";  //请求的url地址
$user = "zkg111"; //用户名
$pass = "123456";
$postdata = "user_name=".$user."&password=".$pass;  //请求的数据,以 & 符号分割
$curl = curl_init(); //开启curl
curl_setopt($curl, CURLOPT_URL, $url); //设置请求地址
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);  //是否输出 1 or true 是不输出 0  or false输出
curl_setopt($curl, CURLOPT_POST, 1); //是否使用post方法请求
curl_setopt($curl, CURLOPT_POSTFIELDS, $postdata);  //post数据

 
echo $data = curl_exec($curl); //执行curl操作
curl_close($curl);
?>

 下面一个简单的例子,我随便打开了兄弟连的论坛,接着就模拟了一下兄弟连论坛的登陆,如果需要发帖的话原理都是一样的,转接页面,提交数据
特别注意的是cookie的保存目录 windows7下面必须是在./temp目录下,开始我自己创建了一个新文件夹,发现存是对的,但是cookie读取的时候不对,为此还在好多地方
提问,但是没有回答对的,折腾了好几天该了保存文件为./temp目录下才可以的,提醒别的朋友别和我一样瞎转
复制代码 代码如下:

<?php
$url = "http://bbs.lampbrother.net/login.php";
$urls = "http://bbs.lampbrother.net";
$lgt = 0;
$user = "XXXX";
$pass = "XXXX";
$question = 0;
$hideid = 1;
 $cookie_file    =    tempnam('./temp','cookie');
 $postdata = "forward=&jumpurl=".$urls."&step=2&lgt=".$lgt."&pwuser=".$user."&pwpwd=".$pass."&question=".$question."&answer=&hideid=".$hideid;
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $postdata);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
 $data = curl_exec($ch);
curl_close($ch);
 //echo $data;
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://bbs.lampbrother.net/');
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
curl_exec($ch);
curl_close($ch);
?>

相关文章

  • PHP云打印类完整示例

    PHP云打印类完整示例

    这篇文章主要介绍了PHP云打印类,结合完整实例形式分析了php实现网络打印数据的搜集与队列排序整理及数据打印等功能,具有一定参考借鉴价值,需要的朋友可以参考下
    2016-10-10
  • 用PHP书写安全的脚本代码

    用PHP书写安全的脚本代码

    在很长一段时间内,PHP作为服务器端脚本语言的最大卖点之一就是会为从表单提交的值自动建立一个全局变量。在PHP 4.1中,PHP的制作者们推荐了一个访问提交数据的替代手段
    2012-02-02
  • PHP实时显示输出

    PHP实时显示输出

    主要用于内容的实时显示,提高显示速度
    2008-10-10
  • php自定义中文字符串截取函数substr_for_gb2312及substr_for_utf8示例

    php自定义中文字符串截取函数substr_for_gb2312及substr_for_utf

    这篇文章主要介绍了php自定义中文字符串截取函数substr_for_gb2312及substr_for_utf8用法,结合实例形式分析了针对gb2312与utf-8编码的自定义中文字符串截取函数的实现与使用方法,需要的朋友可以参考下
    2016-05-05
  • PHP常用函数和常见疑难问题解答

    PHP常用函数和常见疑难问题解答

    虽然PHP在整体功能上不如Java强大,但相比PHP而言Java算是较重量级的,所以在小中型系统的开发上,使用PHP的趋势不可挡,就算是大型网站,比如淘宝也部分使用了PHP(Java后台逻辑+PHP前台展示),所以赶紧开始学PHP啦
    2014-03-03
  • 一个PHP的远程图片抓取函数分享

    一个PHP的远程图片抓取函数分享

    远程图片抓取的方法有很多,在本文将为大家介绍下php中是如何实现的,感兴趣的朋友可以了解下
    2013-09-09
  • 谈谈PHP连接Access数据库的注意事项

    谈谈PHP连接Access数据库的注意事项

    有的时候需要用php连接access数据库,结果整了半天Access数据库就是连接不上,查找很多资料,以下是些个人经验,希望能给需要连接access 数据的人带来帮助。
    2016-08-08
  • php实现短信发送代码

    php实现短信发送代码

    这篇文章主要介绍了php实现短信发送代码的相关资料,需要的朋友可以参考下
    2015-07-07
  • PHP基于关联数组20行代码搞定约瑟夫问题示例

    PHP基于关联数组20行代码搞定约瑟夫问题示例

    这篇文章主要介绍了PHP基于关联数组20行代码搞定约瑟夫问题,结合具体实例分析了php使用关联数组解决约瑟夫问题的相关操作技巧,需要的朋友可以参考下
    2017-11-11
  • 简介WordPress中用于获取首页和站点链接的PHP函数

    简介WordPress中用于获取首页和站点链接的PHP函数

    这篇文章主要介绍了WordPress中用于获取首页和站点链接的PHP函数,分别是home_url()和site_url()需要的朋友可以参考下
    2015-12-12

最新评论