php的curl携带header请求头信息实现http访问的方法

 更新时间:2021年01月07日 16:31:39   作者:安陽  
这篇文章主要介绍了php的curl携带header请求头信息实现http访问的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

 导读:

curl请求时添加请求头信息可以模拟真人操作,不容易被当成是爬虫机器人(采集),从而可以绕过Incapsula等安全验证机制。

1、首先使用浏览器(示例使用的是火狐浏览器)访问接口网址,使用F12调试,查看请求头信息,如下:

2、实现代码:

<?php
/**
 * 开始访问请求
 * @param $url
 * @return bool|string
 */
function fetch_url($url) {
	$header = FormatHeader($url);
	$useragent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:83.0) Gecko/20100101 Firefox/83.0';
	$timeout= 120;
	$ch = curl_init($url);
	curl_setopt($ch, CURLOPT_FAILONERROR, true);
	//设置请求头信息
	curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
	//不取得返回头信息	
	curl_setopt($ch, CURLOPT_HEADER, 0);
	// 关闭https验证
	curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
	curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
	curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true );
	curl_setopt($ch, CURLOPT_ENCODING, "" );
	curl_setopt($ch, CURLOPT_RETURNTRANSFER, true );
	curl_setopt($ch, CURLOPT_AUTOREFERER, true );
	curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout );
	curl_setopt($ch, CURLOPT_TIMEOUT, $timeout );
	curl_setopt($ch, CURLOPT_MAXREDIRS, 10 );
	curl_setopt($ch, CURLOPT_USERAGENT, $useragent);
	$content = curl_exec($ch);
	if(curl_errno($ch))
	{
		echo 'Error:' . curl_error($ch);
	}
	else
	{
		return $content;    
	}
	curl_close($ch);
}
 
//添加请求头
function FormatHeader($url)
{
 // 解析url
 $temp = parse_url($url);
 $query = isset($temp['query']) ? $temp['query'] : ''; 
 $path = isset($temp['path']) ? $temp['path'] : '/'; 
 $header = array (
 "POST {$path}?{$query} HTTP/1.1",
 "Host: {$temp['host']}",
 "Referer: http://{$temp['host']}/",
 "Content-Type: text/xml; charset=utf-8",
 'Accept: application/json, text/javascript, */*; q=0.01',
 'Accept-Encoding:gzip, deflate, br',
 'Accept-Language:zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
 'Connection:keep-alive',
 'User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:83.0) Gecko/20100101 Firefox/83.0',
 'X-Requested-With: XMLHttpRequest',
 );
 return $header;
}
?>

3、调用示例:

<?php
//lcg_value() 返回范围为 (0, 1) 的一个伪随机数
$url="http://www.xxx.com/getdata.php?v=".lcg_value();
//访问网址
$html = fetch_url($url);

到此这篇关于php的curl携带header请求头信息实现http访问的方法的文章就介绍到这了,更多相关php的curl请求头信息实现http访问内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • PHP+Ajax实现上传文件进度条动态显示进度功能

    PHP+Ajax实现上传文件进度条动态显示进度功能

    这篇文章主要介绍了PHP+Ajax实现上传文件进度条动态显示进度功能,通过ajax实现主界面,php处理上传文件,具体实例代码大家跟随脚本之家小编一起看看吧
    2018-06-06
  • ThinkPHP CURD方法之field方法详解

    ThinkPHP CURD方法之field方法详解

    ThinkPHP CURD方法的field方法主要目的是标识要返回或者操作的字段,可以用于查询和写入操作。这篇文章主要介绍了field方法的详细用法,需要的朋友可以参考下
    2014-06-06
  • PHP实现简单网站访客统计的方法实例

    PHP实现简单网站访客统计的方法实例

    这篇文章主要给大家介绍了关于PHP实现简单网站访客统计的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-01-01
  • php导出csv文件,可导出前导0实例代码

    php导出csv文件,可导出前导0实例代码

    下面小编就为大家带来一篇php导出csv文件,可导出前导0实例代码。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2016-11-11
  • Yii2前后台分离及migrate使用(七)

    Yii2前后台分离及migrate使用(七)

    这篇文章主要介绍了Yii2前后台分离及migrate使用的相关资料,需要的朋友可以参考下
    2016-05-05
  • PHP捕获Fatal error错误的方法

    PHP捕获Fatal error错误的方法

    这篇文章主要介绍了PHP捕获Fatal error错误的方法,使用register_shutdown_function来捕获Fatal error错误,需要的朋友可以参考下
    2014-06-06
  • 全新的PDO数据库操作类php版(仅适用Mysql)

    全新的PDO数据库操作类php版(仅适用Mysql)

    在公司里也用了1年之久。如今公司规模变大了,产品也日益完善,曾经的那个数据库操作函数虽说使用上没出什么大问题,但为了更显专业,花了1天时间重写了这个,现在,它确实是个类了
    2012-07-07
  • Laravel 5 框架入门(一)

    Laravel 5 框架入门(一)

    本文给大家介绍的是Laravel5框架入门的第一篇文章,主要给大家介绍些基础的知识,包括安装配置,数据库的建立与迁移,模型介绍,是篇非常不错的入门文章,这里推荐给大家。
    2015-04-04
  • 自己写的php curl库实现整站克隆功能

    自己写的php curl库实现整站克隆功能

    这篇文章主要介绍了自己写的php curl库实现整站克隆功能,本文给出工具库源码下载和使用示例,需要的朋友可以参考下
    2015-02-02
  • Yii2框架自定义验证规则操作示例

    Yii2框架自定义验证规则操作示例

    这篇文章主要介绍了Yii2框架自定义验证规则操作,结合实例形式分析了Yii2自定义验证规则实现方法、操作技巧与注意事项,需要的朋友可以参考下
    2019-02-02

最新评论