ASP.NET抓取网页内容的实现方法
更新时间：2015年02月04日 10:01:29 作者：whazhl
这篇文章主要介绍了ASP.NET抓取网页内容的实现方法,涉及使用HttpWebRequest及WebResponse抓取网页内容的技巧,需要的朋友可以参考下
本文实例讲述了ASP.NET抓取网页内容的实现方法。分享给大家供大家参考。具体实现方法如下：
一、ASP.NET 使用HttpWebRequest抓取网页内容
复制代码 代码如下:
/// <summary>方法一：比较推荐
/// 用HttpWebRequest取得网页源码
/// 对于带BOM的网页很有效，不管是什么编码都能正确识别
/// </summary>
/// <param name="url">网页地址" </param>
/// <returns>返回网页源文件</returns>
public static string GetHtmlSource2(string url)
{
//处理内容
string html = "";
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
request.Accept = "*/*"; //接受任意文件
request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.1.4322)"; //
request.AllowAutoRedirect = true;//是否允许302
//request.CookieContainer = new CookieContainer();//cookie容器，
request.Referer = url; //当前页面的引用
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
Stream stream = response.GetResponseStream();
StreamReader reader = new StreamReader(stream, Encoding.Default);
html = reader.ReadToEnd();
stream.Close();
return html;
}
/// 用HttpWebRequest取得网页源码
/// 对于带BOM的网页很有效，不管是什么编码都能正确识别
/// </summary>
/// <param name="url">网页地址" </param>
/// <returns>返回网页源文件</returns>
public static string GetHtmlSource2(string url)
{
//处理内容
string html = "";
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
request.Accept = "*/*"; //接受任意文件
request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.1.4322)"; //
request.AllowAutoRedirect = true;//是否允许302
//request.CookieContainer = new CookieContainer();//cookie容器，
request.Referer = url; //当前页面的引用
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
Stream stream = response.GetResponseStream();
StreamReader reader = new StreamReader(stream, Encoding.Default);
html = reader.ReadToEnd();
stream.Close();
return html;
}
二、ASP.NET 使用 WebResponse 抓取网页内容
复制代码 代码如下:
public static string GetHttpData2(string Url)
{
string sException = null;
string sRslt = null;
WebResponse oWebRps = null;
WebRequest oWebRqst = WebRequest.Create(Url);
oWebRqst.Timeout = 50000;
try
{
oWebRps = oWebRqst.GetResponse();
}
catch (WebException e)
{
sException = e.Message.ToString();
}
catch (Exception e)
{
sException = e.ToString();
}
finally
{
if (oWebRps != null)
{
StreamReader oStreamRd = new StreamReader(oWebRps.GetResponseStream(), Encoding.GetEncoding("utf-8"));
sRslt = oStreamRd.ReadToEnd();
oStreamRd.Close();
oWebRps.Close();
}
}
return sRslt;
}
{
string sException = null;
string sRslt = null;
WebResponse oWebRps = null;
WebRequest oWebRqst = WebRequest.Create(Url);
oWebRqst.Timeout = 50000;
try
{
oWebRps = oWebRqst.GetResponse();
}
catch (WebException e)
{
sException = e.Message.ToString();
}
catch (Exception e)
{
sException = e.ToString();
}
finally
{
if (oWebRps != null)
{
StreamReader oStreamRd = new StreamReader(oWebRps.GetResponseStream(), Encoding.GetEncoding("utf-8"));
sRslt = oStreamRd.ReadToEnd();
oStreamRd.Close();
oWebRps.Close();
}
}
return sRslt;
}
希望本文所述对大家的C#程序设计有所帮助。
相关文章
asp.net 中用js模拟Button点击事件，大家可以看下。2009-08-08
这篇文章主要介绍了ASP.NET Core中的Action的返回值类型实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-04-04
这篇文章介绍了ASP.NET Identity的基本用法，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-10-10
这篇文章主要为大家详细介绍了VS2012实现简单登录界面，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-06-06
我们知道，当两个条件进行逻辑与操作的时候，其中任何一个条件为假，则表达式的结果为假。所以，遇到（A 且 B）这种表达式，如果A为假的话，B是不是真假都无所谓了，当遇到一个假条件的时候，程序也就没有必要去额外的判断剩下的东西了2012-02-02
深入Lumisoft.NET组件开发碰到乱码等问题的解决方法
本篇文章介绍了，在Lumisoft.NET组件开发中碰到乱码等一些问题的解决方法。需要的朋友参考下2013-05-05
这篇文章主要给大家介绍了关于http转https的相关资料，文中是最近的一次实战记录，基于iis7.5，通过一步步的图文介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起看看吧。2018-01-01
本文主要讲解.NET Core对象池的池化集合、池化StringBuilder、ArrayPool<T>以及MemoryPool<T>，需要了解的小伙伴可以多学习这篇文章，相信可以帮助到你2021-09-09
详解ASP.NET Core Web Api之JWT刷新Token
这篇文章主要介绍了详解ASP.NET Core Web Api之JWT刷新Token，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-11-11
本篇文章主要介绍了详解在ASP.NET Core 中使用Cookie中间件，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-05-05
最新评论