java爬虫之使用HttpClient模拟浏览器发送请求方法详解
0. 摘要
0.1 添加依赖
<dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.2</version> </dependency>
0.2 代码
//1. 打开浏览器 创建httpclient对象 CloseableHttpClient httpClient = HttpClients.createDefault(); //2. 输入网址 HttpGet httpGet = new HttpGet("http://www.baidu.com"); //3. 发送请求 CloseableHttpResponse httpResponse = httpClient.execute(httpGet); //4. 响应结果 HttpEntity httpEntity = httpResponse.getEntity(); //5. 解析结果 String result = EntityUtils.toString(httpEntity, "utf-8"); System.out.println(result);
1. 实操
1.1 添加依赖
1.1.1 找到 pom.xml 添加依赖
1.1.2 依赖代码
<dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.2</version> </dependency>
1.2 添加 TestHttpClient 类
1.2.1 创建类文件 com.aifu.TestHttpClient
1.2.2 添加代码
public static void main(String[] args) throws IOException { //1. 打开浏览器 创建httpclient对象 CloseableHttpClient httpClient = HttpClients.createDefault(); //2. 输入网址 HttpGet httpGet = new HttpGet("http://www.baidu.com"); //3. 发送请求 CloseableHttpResponse httpResponse = httpClient.execute(httpGet); //4. 响应结果 HttpEntity httpEntity = httpResponse.getEntity(); //5. 解析结果 String result = EntityUtils.toString(httpEntity, "utf-8"); System.out.println(result); }
1.3 运行
1.3.1 点击绿标运行 或者快捷键 ctrl + alt +F10
到此这篇关于java爬虫之使用HttpClient模拟浏览器发送请求方法详解的文章就介绍到这了,更多相关java爬虫HttpClient模拟浏览器发送请求内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
相关文章
SpringMVC整合SpringSession 实现sessiong
这篇文章主要介绍了SpringMVC整合SpringSession 实现session的实例代码,本文通过实例相结合的形式给大家介绍的非常详细,需要的朋友参考下吧2018-04-04SpringSecurity动态加载用户角色权限实现登录及鉴权功能
这篇文章主要介绍了SpringSecurity动态加载用户角色权限实现登录及鉴权功能,很多朋友感觉这个功能很难,今天小编通过实例代码给大家讲解,需要的朋友可以参考下2019-11-11elasticsearch集群cluster discovery可配式模块示例分析
这篇文章主要为大家介绍了elasticsearch集群cluster discovery可配式模块示例分析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2022-04-04
最新评论