asp.net HttpWebRequest自动识别网页编码

 更新时间:2008年09月10日 01:04:55   作者:  
HttpWebRequest获取网页源代码时自动识别网页编码,通过读取页面中的charset和读取http头中的编码信息获取页面的编码,基本可以正确获取网页编码

复制代码 代码如下:

static string GetEncoding(string url)
{
HttpWebRequest request = null;
HttpWebResponse response = null;
StreamReader reader = null;
try
{
request = (HttpWebRequest)WebRequest.Create(url);
request.Timeout = 20000;
request.AllowAutoRedirect = false;

response = (HttpWebResponse)request.GetResponse();
if (response.StatusCode == HttpStatusCode.OK && response.ContentLength < 1024 * 1024)
{
if (response.ContentEncoding != null && response.ContentEncoding.Equals("gzip", StringComparison.InvariantCultureIgnoreCase))
reader = new StreamReader(new GZipStream(response.GetResponseStream(), CompressionMode.Decompress));
else
reader = new StreamReader(response.GetResponseStream(), Encoding.ASCII);

string html = reader.ReadToEnd();

Regex reg_charset = new Regex(@"charset\b\s*=\s*(?<charset>[^""]*)");
if (reg_charset.IsMatch(html))
{
return reg_charset.Match(html).Groups["charset"].Value;
}
else if (response.CharacterSet != string.Empty)
{
return response.CharacterSet;
}
else
return Encoding.Default.BodyName;
}
}
catch
{
}
finally
{

if (response != null)
{
response.Close();
response = null;
}
if (reader != null)
reader.Close();

if (request != null)
request = null;

}

return Encoding.Default.BodyName;
}

/// <summary>
/// 获取源代码
/// </summary>
/// <param name="url"></param>
/// <returns></returns>
static string GetHtml(string url, Encoding encoding)
{
HttpWebRequest request = null;
HttpWebResponse response = null;
StreamReader reader = null;
try
{
request = (HttpWebRequest)WebRequest.Create(url);
request.Timeout = 20000;
request.AllowAutoRedirect = false;

response = (HttpWebResponse)request.GetResponse();
if (response.StatusCode == HttpStatusCode.OK && response.ContentLength < 1024 * 1024)
{
if (response.ContentEncoding != null && response.ContentEncoding.Equals("gzip", StringComparison.InvariantCultureIgnoreCase))
reader = new StreamReader(new GZipStream(response.GetResponseStream(), CompressionMode.Decompress), encoding);
else
reader = new StreamReader(response.GetResponseStream(), encoding);
string html = reader.ReadToEnd();

return html;
}
}
catch
{
}
finally
{

if (response != null)
{
response.Close();
response = null;
}
if (reader != null)
reader.Close();

if (request != null)
request = null;

}

return string.Empty;
}

相关文章

  • CheckBox为CheckBoxList实现全选或全取消选择(js代码实现)

    CheckBox为CheckBoxList实现全选或全取消选择(js代码实现)

    在管理商品后台是,由于CheckBoxList的选择太多,用户需要一个全选或全取消的功能,这样操作起来会提高效率同时可以减少误点等,本文将教大家如何实现,有需要的朋友可以参考下,望本文对你有所帮助
    2013-01-01
  • ASP.NET防范SQL注入式攻击的方法

    ASP.NET防范SQL注入式攻击的方法

    所谓SQL注入式攻击,就是攻击者把SQL命令插入到Web表单的输入域或页面请求的查询字符串,欺骗服务器执行恶意的SQL命令,那么在ASP.NET中如何防范SQL注入式攻击,下文为大家揭晓
    2016-05-05
  • ASP.NET MVC学习之NuGet在VS中的运用浅谈

    ASP.NET MVC学习之NuGet在VS中的运用浅谈

    这篇文章主要给大家介绍了关于ASP.NET MVC学习之NuGet在VS中运用的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧。
    2018-01-01
  • WPF使用AForge调用摄像头

    WPF使用AForge调用摄像头

    这篇文章介绍了WPF使用AForge调用摄像头的方法,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-01-01
  • ADO.NET实现对SQL Server数据库的增删改查示例

    ADO.NET实现对SQL Server数据库的增删改查示例

    本篇文章主要介绍了ADO.NET实现对SQL Server数据库的增删改查示例,非常具有实用价值,需要的朋友可以参考下。
    2017-01-01
  • ASP.NET WebAPi(selfhost)实现文件同步或异步上传

    ASP.NET WebAPi(selfhost)实现文件同步或异步上传

    这篇文章主要介绍了ASP.NET WebAPi(selfhost)实现文件同步或异步上传,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2016-11-11
  • asp.net中的“按需打印”(打印你需要打印的部分) 实现代码

    asp.net中的“按需打印”(打印你需要打印的部分) 实现代码

    有时我们需要对asp.net网页中某些特定部分进行打印,很多人采用CSS样式或特定的打印控件来解决网页定制打印功能。这里采用Javascript样式替换方式进行打印,使网页显示与打印效果相分离。
    2013-06-06
  • IIS和.NET(1.1/2.0)的安装顺序及错误解决方法

    IIS和.NET(1.1/2.0)的安装顺序及错误解决方法

    安装顺序及错误的解决方法:基于.net2.0的情况与基于.net1.1的情况,分别给予解决方法,遇到此问题的朋友可以了解下,或许对你的学习有所帮助
    2013-02-02
  • ASP.NET页面按钮单击事件失效的解决方法

    ASP.NET页面按钮单击事件失效的解决方法

    按钮的单击事件不起作用了,加了断点之后发现根本没有触发该事件,下面有个不错的解决方法,大家可以参考下
    2014-02-02
  • C#可以减少或不使用switch有什么方法

    C#可以减少或不使用switch有什么方法

    减少或不使用switch,大家有什么好的方法,使用工厂方法来处理,可以创建一个工厂接口,然后每个方法设计为一个工厂类,并实现工厂接口,感兴趣的朋友可以了解下
    2013-03-03

最新评论