c# Selenium爬取数据时防止webdriver封爬虫的方法

更新时间：2021年01月14日 15:11:38 作者：UP技术控

这篇文章主要介绍了c# Selenium爬取数据时防止webdriver封爬虫的方法，帮助大家更好的理解和使用c#，感兴趣的朋友可以了解下

背景

大家在使用Selenium + Chromedriver爬取网站信息的时候，以为这样就能做到不被网站的反爬虫机制发现。但是实际上很多参数和实际浏览器还是不一样的，只要网站进行判断处理，就能轻轻松松识别你是否使用了Selenium + Chromedriver模拟浏览器。其中

window.navigator.webdriver

就是很重要的一个。

问题窥探

正常浏览器打开是这样的

模拟器打开是这样的

ChromeOptions options = null;
      IWebDriver driver = null;
      try
      {
        options = new ChromeOptions();
        options.AddArguments("--ignore-certificate-errors");
        options.AddArguments("--ignore-ssl-errors");

        // options.AddExcludedArgument("enable-automation");
        // options.AddAdditionalCapability("useAutomationExtension", false);

        var listCookie = CookieHelp.GetCookie();
        if (listCookie != null)
        {
          // options.AddArgument("headless");
        }

        // string ss = @"{ ""source"": ""Object.defineProperty(navigator, 'webdriver', { get: () => undefined})""}";
        //  options.AddUserProfilePreference("Page.addScriptToEvaluateOnNewDocument", new ssss() { source = " Object.defineProperty(navigator, 'webdriver', {  get: () => undefined }) " });

        ChromeDriverService service = ChromeDriverService.CreateDefaultService(System.Environment.CurrentDirectory);
        service.HideCommandPromptWindow = true;
        driver = new ChromeDriver(service, options, TimeSpan.FromSeconds(120));

        ////session.Page.AddScriptToEvaluateOnNewDocument(new OpenQA.Selenium.DevTools.Page.AddScriptToEvaluateOnNewDocumentCommandSettings()
        ////{
        ////  Source = @"Object.defineProperty(navigator, 'webdriver', { get: () => undefined })"
        ////}
        //// );

所以，如果网站通过js代码获取这个参数，返回值为undefined说明是正常的浏览器，返回true说明用的是Selenium模拟浏览器。

解决办法

那么对于这种情况，在爬虫开发的过程中如何防止这个参数告诉网站你在模拟浏览器呢？执行对应的js,改掉它的值。

 IJavaScriptExecutor js = (IJavaScriptExecutor)driver;
 string returnjs = (string)js.ExecuteScript("Object.defineProperties(navigator, {webdriver:{get:()=>undefined}});");

运行效果

完美，达到预期效果。

以上就是c# Selenium爬取数据时防止webdriver封爬虫的方法的详细内容，更多关于c# 防止webdriver封爬虫的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

C#强制类型转换小结
任何一门编程语言均有相关数据类型。C#也不例外，不过转换过程要注意小类型能转换成大类型，但大类型一般不能转换成小类型，下面小编给大家详解C#强制类型转换小结，需要的朋友参考下吧
2017-07-07
winform中的ListBox和ComboBox绑定数据用法实例
这篇文章主要介绍了winform中的ListBox和ComboBox绑定数据用法,实例分析了将集合数据绑定到ListBox和ComboBox控件的技巧,具有一定参考借鉴价值,需要的朋友可以参考下
2014-12-12
C# 向Word中设置/更改文本方向的方法(两种)
在一般情况下word中输入的文字都是横向的，今天小编给大家带来两种方法来设置更改文本方向的方法，非常不错，对c# word 更改文本方向的知识感兴趣的朋友一起看看吧
2016-08-08
Unity3D开发实战之五子棋游戏
这篇文章主要为大家详细介绍了Unity3D开发实战之五子棋游戏，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2019-09-09
C#窗体程序实现全屏及取消全屏步骤
这篇文章主要介绍了C#窗体程序实现全屏及取消全屏步骤，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-12-12
c#调用jar包的方法步骤（非常详细）
这篇文章主要给大家介绍了关于c#调用jar包的方法步骤，文中通过图文介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2021-01-01
C#数据结构与算法揭秘三链表
这节我们讨论链表的基本操作，并且画图以证明，下届中我们将讨论双向链表，环形链表应用举例
2012-11-11
C#中enum和string的相互转换
这篇文章主要介绍了C#中enum和string的相互转换的相关资料,需要的朋友可以参考下
2017-09-09
C#实现的文件上传下载工具类完整实例【上传文件自动命名】
这篇文章主要介绍了C#实现的文件上传下载工具类,结合完整实例形式分析了C#操作文件上传与下载功能,并且还可针对上传文件自动命名以避免服务器中的文件名重复,需要的朋友可以参考下
2017-11-11
C#使用队列(Queue)解决简单的并发问题
这篇文章主要介绍了使用队列(Queue)解决简单的并发问题，讲解的很细致，喜欢的朋友们可以了解一下
2015-07-07