C#几种获取网页源文件代码的实例

 更新时间:2013年04月15日 11:41:09   作者:  
C#几种获取网页源文件代码的实例,需要的朋友可以参考一下
方法一:
复制代码 代码如下:

using System.Text;
using System.Net;
private string getHtml(string url)
{
WebClient myWebClient = new WebClient();
byte[] myDataBuffer = myWebClient.DownloadData (url);
return Encoding.Default.GetString(myDataBuffer);
}

方法二:
复制代码 代码如下:

public string getHttp(string HttpUrl,string RefererUrl)
{
string html = "";
try
{
MSXML2.XMLHTTP Http = new MSXML2.XMLHTTPClass();
xmlhttp.open("GET", Url, false, null, null);
Http.open("GET",HttpUrl,false,null,null);
Http.setRequestHeader("Referer",RefererUrl);
//Http.setRequestHeader("Referer",RefererUrl);
Http.setRequestHeader("Content-Type", "text/html;charset=gb2312");
Http.send("");
html = Encoding.Default.GetString((byte[])Http.responseBody);
Http = null;
}
catch
{
}
return html;
}
public bool getweb(string strURL,out string buf)
  {
   buf="";
   try
   {
    //Uri url=new Uri(strURL,false);
    HttpWebRequest request;
    request = (HttpWebRequest)WebRequest.Create(strURL);
    request.Method="POST"; //Post请求方式
    request.ContentType="text/html;charset=gb2312"; //内容类型
    string paraUrlCoded = System.Web.HttpUtility.UrlEncode(""); //参数经过URL编码
    byte[] payload;
    payload = System.Text.Encoding.GetEncoding("GB2312").GetBytes(paraUrlCoded); //将URL编码后的字符串转化为字节
    request.ContentLength = payload.Length; //设置请求的ContentLength
    Stream writer = request.GetRequestStream(); //获得请求流
    writer.Write(payload,0,payload.Length); //将请求参数写入流
    writer.Close(); //关闭请求流
    HttpWebResponse response;
    response = (HttpWebResponse)request.GetResponse(); //获得响应流
    Stream s;
    s = response.GetResponseStream();
    StreamReader objReader = new StreamReader(s,System.Text.Encoding.GetEncoding("GB2312"));
    string HTML = "";
    string sLine ="";
    int i = 0;
    while (sLine!=null)
    {
     i++;
     sLine = objReader.ReadLine();
     if (sLine!=null)
      HTML += sLine;
    }
    //HTML = HTML.Replace("&lt;","<");
    //HTML = HTML.Replace("&gt;",">");
    buf=HTML;
    return true;
   }
   catch (Exception x)
   {  
    buf=x.Message.ToString();
    return false;   
   }
  }

带Cookie:
复制代码 代码如下:

CookieContainer cc = new CookieContainer();
public bool getweb(string strURL,out string buf)
  {
   buf="";
   try
   {
    HttpWebRequest request;
    request = (HttpWebRequest)WebRequest.Create(strURL);
    request.Method="POST"; //Post请求方式
    request.ContentType="text/html;charset=gb2312"; //内容类型
    string paraUrlCoded = System.Web.HttpUtility.UrlEncode(""); //参数经过URL编码
    byte[] payload;
    payload = System.Text.Encoding.GetEncoding("GB2312").GetBytes(paraUrlCoded); //将URL编码后的字符串转化为字节
    request.ContentLength = payload.Length; //设置请求的ContentLength
    Stream writer = request.GetRequestStream(); //获得请求流
    writer.Write(payload,0,payload.Length); //将请求参数写入流
    writer.Close(); //关闭请求流
    HttpWebResponse response;
    response = (HttpWebResponse)request.GetResponse(); //获得响应流
    Stream s;
    s = response.GetResponseStream();
    StreamReader objReader = new StreamReader(s,System.Text.Encoding.GetEncoding("GB2312"));
    string HTML = "";
    string sLine ="";
    int i = 0;
    while (sLine!=null)
    {
     i++;
     sLine = objReader.ReadLine();
     if (sLine!=null)
      HTML += sLine;
    }
    buf=HTML;
    return true;
   }
   catch (Exception x)
   {  
    buf=x.Message.ToString();
    return false;   
   }
  }
  public bool getweb(string strURL,out string buf,string postData)
  {
   buf="";
   try
   {  
    ASCIIEncoding encoding = new ASCIIEncoding();
    byte[] data = encoding.GetBytes(postData);
    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(strURL);
    request.Method = "POST";
    request.ContentType = "application/x-www-form-urlencoded";
    request.ContentLength = data.Length;
    Stream newStream = request.GetRequestStream();
    newStream.Write(data, 0, data.Length);
    newStream.Close();
    request.CookieContainer = cc;
    HttpWebResponse response = (HttpWebResponse)request.GetResponse();
    cc.Add(response.Cookies);
    Stream stream = response.GetResponseStream();
    string sHtml = new StreamReader(stream, System.Text.Encoding.Default).ReadToEnd();
    buf=sHtml;
    return true;
   }
   catch (Exception x)
   {  
    buf=x.Message.ToString();
    return false;   
   }
  }
private   string   getWebresourceFile1(string   url)
    {
WebClient   myWebClient   =   new   WebClient();   
byte[]   myDataBuffer   =   myWebClient.DownloadData(url);
string   SourceCode   =   Encoding.Default.GetString(myDataBuffer);
saveSourceCode(SourceCode);
                  return   SourceCode;
      }

方法2
复制代码 代码如下:

private   string   getWebresourceFile2(string   url)
    {
HttpWebRequest   request=(HttpWebRequest)WebRequest.Create(url); 
HttpWebResponse   response=(HttpWebResponse)request.GetResponse(); 
                  request.Method   =   "GET ";       
Stream   receiveStream=response.GetResponseStream();
StreamReader   readStream=new   StreamReader(receiveStream,Encoding.Default);
string   SourceCode=readStream.ReadToEnd();   
saveSourceCode(SourceCode);
response.Close();     
readStream.Close();
return   SourceCode;
      }

方法3
复制代码 代码如下:

private   string   getWebresourceFile3(string   url)
      {
WebClient   wc   =   new   WebClient();
wc.Credentials   =   CredentialCache.DefaultCredentials;
Byte[]   pageData   =   wc.DownloadData(url);
string   SourceCode   =   Encoding.Default.GetString(pageData);
saveSourceCode(SourceCode);
wc.Dispose(); 
return   SourceCode;
      }

方法4
复制代码 代码如下:

private   string   getWebresourceFile4(string   url)
    {
WebClient   wc   =   new   WebClient();
wc.Credentials   =   CredentialCache.DefaultCredentials;
Stream   resStream   =   wc.OpenRead(url);
StreamReader   sr   =   new   StreamReader(resStream,System.Text.Encoding.Default);
string   SourceCode   =   sr.ReadToEnd();
saveSourceCode(SourceCode);
resStream.Close();
wc.Dispose(); 
return   SourceCode;
      }

方法5
复制代码 代码如下:

private   string   getWebresourceFile5(string   url)
      {
WebRequest   request   =   WebRequest.Create(url);
WebResponse   response   =   request.GetResponse();
Stream   resStream   =   response.GetResponseStream(); 
StreamReader   sr   =   new   StreamReader(resStream,   System.Text.Encoding.Default);
string   SourceCode   =     sr.ReadToEnd();
saveSourceCode(SourceCode);
resStream.Close(); 
sr.Close();
return   SourceCode;
      }

相关文章

  • asp.net core项目mvc权限控制:分配权限

    asp.net core项目mvc权限控制:分配权限

    学习的最好方法就是动手去做,这里以开发一个普通的权限管理系统的方式来从零体验和学习Asp.net Core。项目的整体规划大致如下
    2017-02-02
  • C#实现让窗体获得焦点的方法示例

    C#实现让窗体获得焦点的方法示例

    这篇文章主要介绍了C#实现让窗体获得焦点的方法,涉及C#窗体事件相关操作技巧,需要的朋友可以参考下
    2017-06-06
  • C#窗体程序实现全屏及取消全屏步骤

    C#窗体程序实现全屏及取消全屏步骤

    这篇文章主要介绍了C#窗体程序实现全屏及取消全屏步骤,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-12-12
  • c# ArrayList的使用方法小总结

    c# ArrayList的使用方法小总结

    arraylist是接口list的实现类,所以在使用过程中比较推荐使用list接口来实现,arraylist在程序开发过程中应用非常广泛,接下来,脚本之家的小编给大家总结了arraylist的使用,有需要的朋友可以参考下
    2015-09-09
  • C#使用Stack<T>进行堆栈设计的实现

    C#使用Stack<T>进行堆栈设计的实现

    堆栈代表了一个后进先出的对象集合,当您需要对各项进行后进先出的访问时,则使用堆栈,本文主要介绍了C#使用Stack<T>类进行堆栈设计的实现,文中通过示例代码介绍的非常详细,感兴趣的可以了解一下
    2024-03-03
  • C#纯技术之Class写入Json

    C#纯技术之Class写入Json

    这篇文章主要介绍了C#纯技术之Class写入Json问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-01-01
  • C#使用Log4.net记录日志文件

    C#使用Log4.net记录日志文件

    这篇文章介绍了C#使用Log4.net记录日志文件的方法,文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-04-04
  • C#使用for循环移除HTML标记

    C#使用for循环移除HTML标记

    大家在项目开发阶段移除文字中的html标记最常用的方法就是使用正则表达式,但是正则表达式不能处理所有的html文档,所以采用迭代方式会更好,下面小编给大家解答下
    2016-08-08
  • 解读封送类、结构体和联合体实例

    解读封送类、结构体和联合体实例

    本文主要介绍了.NETFramework中类、结构体和联合体的封送处理,包括类通过COM互操作封送为接口、结构体通过StructLayoutAttribute属性指定布局和封送方式,以及联合体通过StructLayout(LayoutKind.Explicit)和FieldOffset特性精确控制内存布局
    2025-01-01
  • C# Winform使用log4net进行日志记录

    C# Winform使用log4net进行日志记录

    Log4Net是从Java的log4j移植过来的,功能也与log4j类似,可以把日志信息输出到文件、数据库等不同的介质或目标,下面我们就来学习一下如何使用log4net进行日志记录吧
    2023-11-11

最新评论