JAVA使用HtmlUnit爬虫工具模拟登陆CSDN案例

 更新时间:2018年12月07日 14:37:32   作者:执笔记忆的空白  
今天小编就为大家分享一篇关于JAVA使用HtmlUnit爬虫工具模拟登陆CSDN案例,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧

最近要弄一个爬虫程序,想着先来个简单的模拟登陆, 在权衡JxBrowserHtmlUnit 两种技术,  JxBowser有界面呈现效果,但是对于某些js跳转之后的效果获取比较繁琐。

随后考虑用HtmlUnit, 想着借用咱们CSND的登陆练练手。谁知道CSDN的登陆,js加载时间超长,不设置长一点的加载时间,按钮提交根本没效果,js没生效。 具体看代码注释吧。 奉劝做爬虫的同志们,千万别用CSDN登陆练手,坑死我了。

maven配置如下:

 <dependencies>
 <!-- https://mvnrepository.com/artifact/net.sourceforge.htmlunit/htmlunit -->
 <dependency>
 <groupId>net.sourceforge.htmlunit</groupId>
 <artifactId>htmlunit</artifactId>
 <version>2.18</version>
 </dependency>
 <!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
 <dependency>
 <groupId>org.jsoup</groupId>
 <artifactId>jsoup</artifactId>
 <version>1.9.2</version>
 </dependency>
 </dependencies>

代码如下:

package com.test;
import java.io.IOException;
import java.net.MalformedURLException;
import java.util.HashMap;
import java.util.Map;
import java.util.Set;
import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController;
import com.gargoylesoftware.htmlunit.SilentCssErrorHandler;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlButtonInput;
import com.gargoylesoftware.htmlunit.html.HtmlForm;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import com.gargoylesoftware.htmlunit.html.HtmlPasswordInput;
import com.gargoylesoftware.htmlunit.html.HtmlTextInput;
import com.gargoylesoftware.htmlunit.util.Cookie;
public class SimulateLogin
{
 //访问的目标网址(CSDN)
 private static String TARGET_URL = "https://passport.csdn.net/account/login?from=http://www.csdn.net";
 public static void main(String[] args) throws FailingHttpStatusCodeException, MalformedURLException, IOException
 {
  // 模拟一个浏览器
  WebClient webClient = new WebClient(BrowserVersion.CHROME);
  // 设置webClient的相关参数
  webClient.setCssErrorHandler(new SilentCssErrorHandler()); 
  //设置ajax
  webClient.setAjaxController(new NicelyResynchronizingAjaxController());
  //设置支持js
  webClient.getOptions().setJavaScriptEnabled(true);
  //CSS渲染禁止
  webClient.getOptions().setCssEnabled(false);
  //超时时间
  webClient.getOptions().setTimeout(50000);
  //设置js抛出异常:false
  webClient.getOptions().setThrowExceptionOnScriptError(false);
  //允许重定向
  webClient.getOptions().setRedirectEnabled(true); 
  //允许cookie
  webClient.getCookieManager().setCookiesEnabled(true); 
  // 模拟浏览器打开一个目标网址
  HtmlPage page = webClient.getPage(TARGET_URL);
  /**等待js加载完全,CSDN这点 特别坑,js加载时间超长!!!!!!! 后人切记不要用CSDN模拟登陆!!!!!!!**/
  webClient.waitForBackgroundJavaScript(10000*3);
  // 根据form的名字获取页面表单,也可以通过索引来获取:page.getForms().get(0)  
  HtmlForm form = (HtmlForm) page.getElementById("fm1");   
  HtmlTextInput username = (HtmlTextInput) form.getInputByName("username"); 
  HtmlPasswordInput password = (HtmlPasswordInput) form.getInputByName("password"); 
  username.setValueAttribute("********"); //用户名
  password.setValueAttribute("********"); //密码
  HtmlButtonInput button = (HtmlButtonInput) page.getByXPath("//input[contains(@class, 'logging')]").get(0);
//  ScriptResult result = page.executeJavaScript("javascript:document.getElementsByClassName('logging')[0].click()");
//  HtmlPage retPage = (HtmlPage) result.getNewPage();
  HtmlPage retPage = button.click();
  // 等待JS驱动dom完成获得还原后的网页 
  webClient.waitForBackgroundJavaScript(1000); 
  //输出跳转网页的地址
  System.out.println(retPage.getUrl().toString()); 
  //输出跳转网页的内容
  System.out.println(retPage.asXml());
  //获取cookie 
  Set<Cookie> cookies = webClient.getCookieManager().getCookies();
  Map<String, String> responseCookies = new HashMap<String, String>(); 
  for (Cookie c : cookies) { 
   responseCookies.put(c.getName(), c.getValue()); 
   System.out.print(c.getName()+":"+c.getValue()); 
  } 
  webClient.close();
  System.out.println("Success!");
 }
}

另外,CSDN的JS总是莫名其妙的报一堆错,如果不想看,想忽略的话,在创建WebClient前加上如下代码:

  //设置日志级别,原页面js异常不打印
  LogFactory.getFactory().setAttribute("org.apache.commons.logging.Log", "org.apache.commons.logging.impl.NoOpLog"); 
  
  java.util.logging.Logger.getLogger("com.gargoylesoftware.htmlunit") 
   .setLevel(Level.OFF); 
 
  java.util.logging.Logger.getLogger("org.apache.commons.httpclient") 
   .setLevel(Level.OFF); 

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对脚本之家的支持。如果你想了解更多相关内容请查看下面相关链接

相关文章

  • 智能手表开发API接口

    智能手表开发API接口

    这篇文章主要介绍了智能手表开发API接口,使用图灵机器人平台接口实现天气预报,非常简单实用,这里推荐给大家。
    2015-03-03
  • 基于logback.xml不生效问题的解决

    基于logback.xml不生效问题的解决

    这篇文章主要介绍了基于logback.xml不生效问题的解决方案,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-06-06
  • 详解基于java的Socket聊天程序——客户端(附demo)

    详解基于java的Socket聊天程序——客户端(附demo)

    这篇文章主要介绍了详解基于java的Socket聊天程序——客户端(附demo),客户端设计主要分成两个部分,分别是socket通讯模块设计和UI相关设计。有兴趣的可以了解一下。
    2016-12-12
  • Springboot接收文件与发送文件实例教程

    Springboot接收文件与发送文件实例教程

    最近工作中遇到个需求,springboot简单的上传文档或者图片,并且进行操作,操作完后进行保存指定路径,下面这篇文章主要给大家介绍了关于Springboot接收文件与发送文件的相关资料,需要的朋友可以参考下
    2023-05-05
  • JAVA基于SnakeYAML实现解析与序列化YAML

    JAVA基于SnakeYAML实现解析与序列化YAML

    这篇文章主要介绍了JAVA基于SnakeYAML实现解析与序列化YAML,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-12-12
  • Java预览PDF时的文件名称问题及解决

    Java预览PDF时的文件名称问题及解决

    这篇文章主要介绍了Java预览PDF时的文件名称问题及解决方案,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-01-01
  • maven下载jar包改用阿里云maven库的方法

    maven下载jar包改用阿里云maven库的方法

    这篇文章主要介绍了maven下载jar包改用阿里云maven库的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-01-01
  • 一文探索Java文件读写更高效方式

    一文探索Java文件读写更高效方式

    这篇文章主要介绍了一文探索Java文件读写更高效方式,文章围绕主题展开详细的内容介绍,具有一定的参考价值需要的小伙伴可以参考一下
    2022-07-07
  • Java面向对象程序设计:继承,多态用法实例分析

    Java面向对象程序设计:继承,多态用法实例分析

    这篇文章主要介绍了Java面向对象程序设计:继承,多态用法,结合实例形式分析了java继承与多态的相关概念、原理、实现方法与操作注意事项,需要的朋友可以参考下
    2020-04-04
  • 20个非常实用的Java程序代码片段

    20个非常实用的Java程序代码片段

    这篇文章主要为大家分享了20个非常实用的Java程序片段,对java开发项目有所帮助,感兴趣的小伙伴们可以参考一下
    2016-02-02

最新评论