golang高并发限流操作 ping / telnet

 更新时间:2020年12月21日 10:41:36   作者:出逃的迪斯尼猫咪  
这篇文章主要介绍了golang高并发限流操作 ping / telnet,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

需求

当需要同时ping/telnet多个ip时,可以通过引入ping包/telnet包实现,也可以通过go调用cmd命令实现,不过后者调用效率较差,所以这里选择ping包和telnet包

还有就是高并发的问题,可以通过shell脚本或者go实现高并发,所以我选择的用go自带的协程实现,但是如果要同时处理1000+个ip,考虑到机器的性能,需要ratelimit控制开辟的go协程数量,这里主要写一下我的建议和淌过的坑

ping

参考链接: https://github.com/sparrc/go-ping

import "github.com/sparrc/go-ping"
import "time"
func (p *Ping) doPing(timeout time.Duration, count int, ip string) (err error) {
 pinger, cmdErr := ping.NewPinger(ip)
 if cmdErr != nil {
  glog.Error("Failed to ping " + p.ipAddr)
  err = cmdErr
  return
 }
 pinger.Count = count
 pinger.Interval = time.Second
 pinger.Timeout = timeout
 // true的话,代表是标准的icmp包,false代表可以丢包类似udp
 pinger.SetPrivileged(false)
 // 执行
 pinger.Run() 
 // 获取ping后的返回信息
 stats := pinger.Statistics() 
 //延迟
 latency = float64(stats.AvgRtt) 
 // 标准的往返总时间 
 jitter = float64(stats.StdDevRtt) 
 //丢包率 
 packetLoss = stats.PacketLoss 
 return
}

注意: pinger.Run() 这里执行的时候是阻塞的,如果并发量大的时候,程序会卡死在这里,所以当有高并发的需求时建议如下处理:

go pinger.Run()

time.Sleep(timeout)

telnet

package main
import (
 "github.com/reiver/go-telnet"
)
func doTelnet(ip string, port int) {
 var caller telnet.Caller = telnet.StandardCaller
 address := ip + ":"+ strconv.Itoa(port)
 // DialToAndCall 检查连通性并且调用
 telnet.DialToAndCall(address, caller)
 }
}

bug出现报错:

lookup tcp/: nodename nor servname provided, or not known

解决:

修改string(port)为strconv.Itoa(port)

DialToAndCall这种方式telnet无法设置超时时间,默认的超时时间有1分钟,所以使用DialTimeout这个方式实现telnet

import "net"
func doTelnet(ip string, ports []string) map[string]string {
 // 检查 emqx 1883, 8083, 8080, 18083 端口
 results := make(map[string]string)
 for _, port := range ports {
 address := net.JoinHostPort(ip, port)
 // 3 秒超时
 conn, err := net.DialTimeout("tcp", address, 3*time.Second)
 if err != nil {
 results[port] = "failed"
 } else {
 if conn != nil {
 results[port] = "success"
 _ = conn.Close()
 } else {
 results[port] = "failed"
 }
 }
 }
 return results
}

shell高并发

本质就是读取ip.txt文件里的ip,然后调用ping方法,实现高并发也是借助&遍历所有的ip然后同一交给操作系统去处理高并发

while read ip
do
 {
 doPing(ip)
 } &
done < ip.txt

go高并发限速

import (
 "context"
 "fmt"
 "log"
 "time"
 "sync"
 "golang.org/x/time/rate"
)
func Limit(ips []string)([]string, []string, error) {
 //第一个参数是每秒钟最大的并发数,第二个参数是桶的容量,第一次的时候每秒可执行的数量就是桶的容量,建议这两个值都写成一样的
 r := rate.NewLimiter(10, 10)
 ctx := context.Background()
 
 wg := sync.WaitGroup{}
 wg.Add(len(ips))
 
 lock := sync.Mutex{}
 var success []string
 var fail []string
 
 defer wg.Done()
 for _,ip:=range ips{
 //每次消耗2个,放入一个,消耗完了还会放进去,如果初始是5个,所以这段代码再执行到第4次的时候筒里面就空了,如果当前不够取两个了,本次就不取,再放一个进去,然后返回false
 err := r.WaitN(ctx, 2)
 if err != nil {
  log.Fatal(err)
 }
 go func(ip string) {
 defer func() {
 wg.Done()
 }()
 err := doPing(time.Second, 2, ip)
 lock.Lock()
 defer lock.Unlock()
 if err != nil {
 fail = append(fail, ip)
 return
 } else {
 success = append(success, ip)
 }
 }(ip)
 }
 // wait等待所有go协程结束
 wg.wait()
 return success,fail,nil
}
func main() {
 ips := [2]string{"192.168.1.1","192.168.1.2"}
 success,fail,err := Limit(ips)
 if err != nil {
 fmt.Printf("ping error")
 }
}

这里注意一个并发实现的坑,在for循环里使用goroutine时要把遍历的参数传进去才能保证每个遍历的参数都被执行,否则只能执行一次

(拓展)管道、死锁

先看个例子:

func main() {
 go print() // 启动一个goroutine
 print()
}
func print() {
fmt.Println("*******************")
}

输出结果:

*******************

没错,只有一行,因为当go开辟一个协程想去执行print方法时,主函数已经执行完print并打印出来,所以goroutine还没有机会执行程序就已经结束了,解决这个问题可是在主函数里加time.sleep让主函数等待goroutine执行完,也可以使用WaitGroup.wait等待goroutine执行完,还有一种就是信道

信道分无缓冲信道和缓冲信道

无缓冲信道

无缓冲信道也就是定义长度为0的信道,存入一个数据,从无缓冲信道取数据,若信道中无数据,就会阻塞,还可能引发死锁,同样数据进入无缓冲信道, 如果没有其他goroutine来拿走这个数据,也会阻塞,记住无缓冲数据并不存储数据

func main() {
 var channel chan string = make(chan string)
 go func(message string) {
 channel<- message // 存消息
 }("Ping!")
 fmt.Println(<-messages) // 取消息
}

缓存信道

顾名思义,缓存信道可以存储数据,goroutine之间不会发生阻塞,for循环读取信道中的数据时,一定要判断当管道中不存在数据时的情况,否则会发生死锁,看个例子

channel := make(chan int, 3)
channel <- 1
channel <- 2
channel <- 3
// 显式关闭信道
close(channel)
for v := range channel {
 fmt.Println(v)
 // 如果现有数据量为0,跳出循环,与显式关闭隧道效果一样,选一个即可
 if len(ch) <= 0 { 
 break
 }
}

但是这里有个问题,信道中数据是可以随时存入的,所以我们遍历的时候无法确定目前的个数就是信道的总个数,所以推荐使用select监听信道

// 创建一个计时信道
timeout := time.After(1 * time.Second) 
// 监听3个信道的数据
select {
 case v1 := <- c1: fmt.Printf("received %d from c1", v1)
 case v2 := <- c2: fmt.Printf("received %d from c2", v2)
 case v3 := <- c3: fmt.Printf("received %d from c3", v3)
 case <- timeout: 
 is_timeout = true // 超时
 break
 }
}

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。如有错误或未考虑完全的地方,望不吝赐教。

相关文章

  • Go1.18新特性工作区模糊测试及泛型的使用详解

    Go1.18新特性工作区模糊测试及泛型的使用详解

    这篇文章主要为大家介绍了Go 1.18新特性中的工作区 模糊测试 泛型使用进行详细讲解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-07-07
  • Go中基本数据类型和字符串表示之间转换详解

    Go中基本数据类型和字符串表示之间转换详解

    这篇文章主要为大家详细介绍了Go中基本数据类型和字符串表示之间转换的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
    2024-01-01
  • Golang Time包与日期函数的用法详解

    Golang Time包与日期函数的用法详解

    在golang中,time包提供了时间的显示和测量用的函数,下面小编就来和大家详细聊聊Golang中Time包与日期函数的具体用法,快跟随小编一起学习一下吧
    2023-07-07
  • Go语言nil标识符(空值/零值)

    Go语言nil标识符(空值/零值)

    本文主要介绍了Go语言nil标识符(空值/零值),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-03-03
  • Golang性能提升利器之SectionReader的用法详解

    Golang性能提升利器之SectionReader的用法详解

    本文将介绍 Go 语言中的 SectionReader,包括 SectionReader的基本使用方法、实现原理、使用注意事项,感兴趣的小伙伴可以了解一下
    2023-07-07
  • golang根据生日计算星座和属相实例

    golang根据生日计算星座和属相实例

    这篇文章主要为大家介绍了golang根据生日计算星座和属相的示例代码,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-07-07
  • 一文深入探讨Go语言中的if-else语句

    一文深入探讨Go语言中的if-else语句

    在Go语言中,条件语句的使用方式相对简洁明了,所以本文将探讨一下如何在Go程序中有效地进行条件判断和逻辑控制,感兴趣的小伙伴可以了解下
    2023-08-08
  • golang 使用chromedp获取页面请求日志network

    golang 使用chromedp获取页面请求日志network

    这篇文章主要为大家介绍了golang 使用chromedp获取页面请求日志network方法实例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-11-11
  • Golang并发编程重点讲解

    Golang并发编程重点讲解

    这篇文章主要介绍了Golang并发编程,在许多环境中,实现对共享变量的正确访问所需要的微妙之处使并发编程变得困难。Go鼓励一种不同的方法,在这种方法中,共享值在通道中传递,实际上,从不由单独的执行线程主动共享
    2023-04-04
  • Golang初始化MySQL数据库方法浅析

    Golang初始化MySQL数据库方法浅析

    这篇文章主要介绍了Golang初始化MySQL数据库的方法,数据库的建立第一步即要初始化,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习吧
    2023-05-05

最新评论