C#实现IP代理池调度的示例代码
更新时间：2023年07月18日 11:11:22 作者：Csharp 小记
这篇文章主要为大家介绍了C#实现IP代理池调度的相关知识，文中的示例代码讲解详细，具有一定的参考与学习价值，感兴趣的小伙伴可以了解一下
前言
稍微介绍下这个代码的用途，在做某些功能的时候，我们可能会用到IP代理，购买IP的时候也是可以选择长期高质量IP或者短失效但量大的IP，这个主要根据用途来购买；这里就是基于大量短失效IP做的一个IP调度，尽可能保证IP能够物尽其用。
实现
1.首先定义一个IPPool类,然后在构造函数中传入以下参数
public class IPPool
{
readonly string _ipUrl, _checkUrl;
readonly int _saveCount;
readonly bool _loopUse;
public ConcurrentQueue<string> IPQueue = new ConcurrentQueue<string>();
/// <summary>
/// 代理IP池
/// </summary>
/// <param name="ipUrl">代理IP的获取网址</param>
/// <param name="checkUrl">检查IP可用性的网址</param>
/// <param name="saveCount">IP池的存储量</param>
/// <param name="loopUse">是否循环使用</param>
public IPPool(string ipUrl, string checkUrl, int saveCount, bool loopUse=true)
{
_ipUrl = ipUrl;
_checkUrl = checkUrl;
_saveCount = saveCount;
_loopUse = loopUse;
}2.解析网页上的IP地址，这里使用虚方法，以方便可以重写解析方法，应对不同的数据类型
/// <summary>
/// 解析网址IP
/// </summary>
/// <returns></returns>
protected virtual List<string> Parse()
{
List<string> list = new List<string>();
try
{
HttpClient httpClient = new HttpClient();
httpClient.Timeout = new TimeSpan(0, 0, 10);
var result = httpClient.GetStringAsync(_ipUrl).Result;
JObject jobj = JObject.Parse(result);
if (jobj["code"].ToString() == "1")
{
JArray jarr = (JArray)jobj["data"];
foreach (var item in jarr)
{
string ip = item["ip"].ToString() + ":" + item["port"].ToString();
list.Add(ip);
}
}
}
catch { }
return list;
}3.检查IP可用性，这里可以使用你需要访问的网址或者百度进行Get，保证可以访问到即可，同样使用虚方法定义
/// <summary>
/// 检查IP可用性
/// </summary>
/// <param name="ip"></param>
/// <returns></returns>
protected virtual bool Check(string ip)
{
HttpClient httpClient = new HttpClient();
httpClient.Timeout = new TimeSpan(0, 0, 10);
bool result = httpClient.GetAsync(_checkUrl).Result.StatusCode == HttpStatusCode.OK;
return result;
}4.开始获取，使用定时器获取，同样因为有设置队列的最大值，所以只有当低于这个阈值时才会进行补充，防止IP浪费的同时保证IP充足够用
/// <summary>
/// 开始获取
/// </summary>
/// <param name="interval">获取间隔</param>
public virtual void Start(double interval)
{
System.Timers.Timer timer = new System.Timers.Timer(interval);
timer.Elapsed += (s, e) =>
{
if (IPQueue.Count < _saveCount)
{
List<string> list = Parse();
foreach (var ip in list)
{
IPQueue.Enqueue(ip);
}
}
};
timer.Start();
}5.获取IP，从队列中获取，如果设置了循环使用的话，不失效可以一直使用，进一步保证IP资源
/// <summary>
/// 获取IP
/// </summary>
/// <returns></returns>
public virtual string Get()
{
string ip = null;
while (IPQueue.Count > 0)
{
IPQueue.TryPeek(out ip);
if (!string.IsNullOrEmpty(ip)&&Check(ip))
{
if (!_loopUse)
{
IPQueue.TryDequeue(out ip);
}
break;
}
else
{
IPQueue.TryDequeue(out string result);
}
}
return ip;
}
}6.为方便测试，我们自定义一个类继承IPPool,然后重写Parse以及Check方法
public IPHelper(string ipUrl, string checkUrl, int saveCount, bool loopUse = true) : base(ipUrl, checkUrl, saveCount,loopUse)
{
}
protected override List<string> Parse()
{
List<string> list = new List<string>();
list.Add(DateTime.Now.Ticks.ToString());
return list;
}
protected override bool Check(string ip)
{
return true;
}7.最后调用下看看效果
private async void button1_Click(object sender, EventArgs e)
{
listBox1.Items.Clear();
IPHelper iPHelper = new IPHelper("", "", 10,false);
iPHelper.Start(200);
for (int i = 0; i < 5; i++)
{
string ip = iPHelper.Get();
if (ip != null)
{
listBox1.Items.Add(ip);
}
await Task.Delay(500);
}
}
private async void button2_Click(object sender, EventArgs e)
{
listBox1.Items.Clear();
IPHelper iPHelper = new IPHelper("", "", 10);
iPHelper.Start(200);
for (int i = 0; i < 5; i++)
{
string ip = iPHelper.Get();
if (ip != null)
{
listBox1.Items.Add(ip);
}
await Task.Delay(500);
}
}实现效果
到此这篇关于C#实现IP代理池调度的示例代码的文章就介绍到这了,更多相关C# IP代理池调度内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
在C#中,lock 关键字用于确保某个代码块在任何时刻只被一个线程访问,本文主要介绍了C#中的lock()如何使用,具有一定的参考价值,感兴趣的可以了解一下2024-01-01
这篇文章主要介绍了C# XML中的转义字符操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-01-01
这篇文章介绍了C#实现Windows服务测试与调试的方法，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-02-02
这篇文章主要为大家详细介绍了C#控件picturebox实现图像拖拽和缩放，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-09-09
这篇文章主要介绍了c#值类型和引用类型使用示例,需要的朋友可以参考下2014-04-04
在本文中，主要对扩展方法进行了一些规则说明、声明方式，使用方式，以及对扩展方法的意义和扩展方法的原理进行了简单的解答。并在本文的最后给了一个枚举的扩展方法代码。2016-12-12
这篇文章主要介绍了C#实现判断当前操作用户管理角色的方法,涉及C#针对系统用户判断的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-08-08
这篇文章主要介绍了C#简单创建和删除目录的方法,实例分析了C#使用CreateDirectory及Delete方法简单创建及删除目录的相关实现技巧,需要的朋友可以参考下2015-08-08
这篇文章主要介绍了c#调用winrar解压缩文件的方法，大家参考使用吧2013-12-12
这篇文章主要为大家介绍了C#语言async await工作原理示例解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-05-05
最新评论