Golang结合ip2region实现ip归属地查询

 更新时间:2024年03月01日 16:26:56   作者:柯柏技术笔记  
ip2region - 是一个离线IP地址定位库和IP定位数据管理框架,提供了众多主流编程语言的 xdb 数据生成和查询客户端实现,下面我们就来看看Golang如何结合ip2region实现ip归属地查询吧

背景

最近公司做了一些营销活动,投入资金进行了流量推广,pv、UV都做了统计。老板说,我要看下用户的区域分布的数据。

以前的文章我讲过,pv、UV如何统计?我们是基于ip进行统计的。用的ip能获取到,那通过ip查询归属地就ok了。

思维扩展下,ip 查询归属地的的场景还蛮多的,我列举一些:

场景

  • 网络安全调查:当发生网络攻击或恶意行为时,通过查询IP地址的归属地可以帮助调查人员追踪攻击者的位置和身份,进而采取相应的应对措施。
  • 电商网站反欺诈:电商平台可以通过查询IP的归属地来检测是否有异常行为,如异地登录或使用虚假身份信息下单,从而防止欺诈行为发生。
  • 广告定向投放:在在线广告市场中,根据用户所在地区进行IP归属地查询可以帮助广告主精准定位目标受众,提高广告投放效果和ROI。
  • 地理位置服务:地图应用、天气预报和周边生活服务等可以利用IP归属地查询来确定用户的大概地理位置,提供个性化的地理服务和信息。
  • 网站流量分析:网站管理员可以利用IP归属地查询来分析网站访问的地域分布情况,评估市场覆盖范围,制定针对性的营销策略和内容优化计划。

这些具体的使用场景说明了IP归属地查询在网络安全、营销推广、个性化服务等方面的重要作用,能够帮助用户更好地理解用户行为和优化业务流程。

谷歌搜索了下,第三方提供的ip查询归属地服务,挺多的,但是收费、收费、收费!!!免费也有些,但是怕不稳定。

无意间找到了ip2region这个项目,一直持续维护更新,试用后,效果杠杆的。那我们怎么用的,继续往下看

ip2region

Ip2region 是什么

ip2region - 是一个离线IP地址定位库和IP定位数据管理框架,10微秒级别的查询效率,提供了众多主流编程语言的 xdb 数据生成和查询客户端实现。

Ip2region 特性

1、IP 数据管理框架

xdb 支持亿级别的 IP 数据段行数,默认的 region 信息都固定了格式:国家|区域|省份|城市|ISP,缺省的地域信息默认是0。 region 信息支持完全自定义,例如:你可以在 region 中追加特定业务需求的数据,例如:GPS信息/国际统一地域信息编码/邮编等。也就是你完全可以使用 ip2region 来管理你自己的 IP 定位数据。

2、数据去重和压缩

xdb 格式生成程序会自动去重和压缩部分数据,默认的全部 IP 数据,生成的 ip2region.xdb 数据库是 11MiB,随着数据的详细度增加数据库的大小也慢慢增大。

3、极速查询响应

即使是完全基于 xdb 文件的查询,单次查询响应时间在十微秒级别,可通过如下两种方式开启内存加速查询:

  • vIndex 索引缓存 :使用固定的 512KiB 的内存空间缓存 vector index 数据,减少一次 IO 磁盘操作,保持平均查询效率稳定在10-20微秒之间。
  • xdb 整个文件缓存:将整个 xdb 文件全部加载到内存,内存占用等同于 xdb 文件大小,无磁盘 IO 操作,保持微秒级别的查询效率。

Ip2region 支持那些语言

Ip2region大部分主流语言都支持,支持的语言如下:

Ip2region怎么用

在这里,我以golang语言作为演示,其他语言,可以看下官方文档

例子:我需要查询ip为:218.63.140.248 的归属地

下载ip2region.xdb包

访问ip2region 项目,ip的库文件在data目录下,点击下载即可

package 获取

go get github.com/lionsoul2014/ip2region/binding/golang

完全基于文件的查询

package main

import (
	"fmt"
	"github.com/lionsoul2014/ip2region/binding/golang/xdb"
	"time"
)

func main() {
	//dbPath写入你下载的ip2region.xdb文件的路径,我这里放在了当前目录下
	var dbPath = "ip2region.xdb"
	searcher, err := xdb.NewWithFileOnly(dbPath)
	if err != nil {
		fmt.Printf("failed to create searcher: %s\n", err.Error())
		return
	}
	defer searcher.Close()
	// 查询218.63.140.248对应的地址
	var ip = "218.63.140.248"
	var tStart = time.Now()
	region, err := searcher.SearchByStr(ip)
	if err != nil {
		fmt.Printf("failed to SearchIP(%s): %s\n", ip, err)
		return
	}
	fmt.Printf("{region: %s, took: %s}\n", region, time.Since(tStart))
	// 备注:并发使用,每个 goroutine 需要创建一个独立的 searcher 对象。
}

查询结果

此ip的归属地为: 中国云南省昆明市电信

缓存整个 xdb 数据

可以预先加载整个 ip2region.xdb 到内存,完全基于内存查询,类似于之前的 memory search 查询。

package main

import (
	"fmt"
	"github.com/lionsoul2014/ip2region/binding/golang/xdb"
	"time"
)

func main() {
	//dbPath写入你下载的ip2region.xdb文件的路径,我这里放在了当前目录下
	var dbPath = "ip2region.xdb"
	// 1、从 dbPath 加载整个 xdb 到内存
	cBuff, err := xdb.LoadContentFromFile(dbPath)
	if err != nil {
		fmt.Printf("failed to load content from `%s`: %s\n", dbPath, err)
		return
	}

	// 2、用全局的 cBuff 创建完全基于内存的查询对象。
	searcher, err := xdb.NewWithBuffer(cBuff)
	if err != nil {
		fmt.Printf("failed to create searcher with vector index: %s\n", err)
		return
	}
	defer searcher.Close()
	// 查询218.63.140.248对应的地址
	var ip = "218.63.140.248"
	var tStart = time.Now()
	region, err := searcher.SearchByStr(ip)
	if err != nil {
		fmt.Printf("failed to SearchIP(%s): %s\n", ip, err)
		return
	}
	fmt.Printf("{region: %s, took: %s}\n", region, time.Since(tStart))
	// 备注:并发使用,每个 goroutine 需要创建一个独立的 searcher 对象。
}

查询结果:

方案比对

  • 基于文件的查询,响应时间:38us
  • 基于缓存的查询,响应时间:10.29µs

生成环境使用建议使用方式为:基于缓存的查询

生产如何使用

以上的演示,只是个demo,如果要放在线上如何使用呢?

  • 以sdk的形式嵌入到项目,使用基于缓存的查询方式。
  • ip查询的场景很多,可以单独构建一个ip查询的公共服务,提高给各个业务线使用

sdk接入的方式,用到的业务线都需要对接一次,ip2region.xdb如果有更新,所有用到的项目都要自己去更新升级db文件,维护成本太高。如果你的项目比较单一,sdk接入也是不错的

我们的方案:因为我业务线相对太多,如果各个业务线自己接,维护的成本太高。我们决定构建IP查询归属地公共服务,往外提供查询的能力。后续服务的升级、维护等,统一在公共服务里面来做。

以上就是Golang结合ip2region实现ip归属地查询的详细内容,更多关于Go ip2region查询ip归属地的资料请关注脚本之家其它相关文章!

相关文章

  • Gin与Mysql实现简单Restful风格API实战示例详解

    Gin与Mysql实现简单Restful风格API实战示例详解

    这篇文章主要为大家介绍了Gin与Mysql实现简单Restful风格API示例详解,有需要的朋友可以借鉴参考下希望能够有所帮助,祝大家多多进步
    2021-11-11
  • 通过案例简单聊聊为什么说Go中的字符串是不能被修改的

    通过案例简单聊聊为什么说Go中的字符串是不能被修改的

    在接触Go这么语言,可能你经常会听到这样一句话,对于字符串不能修改,可能你很纳闷,日常开发中我们对字符串进行修改也是很正常的,为什么又说Go中的字符串不能进行修改呢,本文就来通过实际案例给大家演示,为什么Go中的字符串不能进行修改
    2023-07-07
  • go中new和make的区别小结

    go中new和make的区别小结

    new 只分配内存,make 用于初始化 slice、map 和 channel,本文详细的介绍了go中new和make的区别小结,感兴趣的可以了解一下
    2023-05-05
  • Go语言实现开发一个简单的gRPC Demo

    Go语言实现开发一个简单的gRPC Demo

    这篇文章主要为大家详细介绍了如何利用Go语言实现开发一个简单的gRPC Demo,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起了解一下
    2023-07-07
  • 深入了解Golang 哈希算法之MD5、SHA-1和SHA-256

    深入了解Golang 哈希算法之MD5、SHA-1和SHA-256

    哈希算法是计算机科学领域中一种重要的技术,它将任意长度的输入数据映射为固定长度的哈希值,在本篇文章中,我们将深入探讨Golang中的哈希算法,从多个方面介绍其详细内容,希望通过本文的阅读你将对 Golang哈希算法有更全面的理解
    2023-05-05
  • Golang语言使用像JAVA Spring注解一样的DI和AOP依赖注入实例

    Golang语言使用像JAVA Spring注解一样的DI和AOP依赖注入实例

    这篇文章主要为大家介绍了Golang语言使用像JAVA Spring注解一样的DI和AOP依赖注入实例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-10-10
  • 深入解析Go语言中上下文超时与子进程管理

    深入解析Go语言中上下文超时与子进程管理

    这篇文章小编将通过一个实际问题的案例,和大家深入探讨一下Go语言中的上下文超时和子进程管理,感兴趣的小伙伴可以跟随小编一起学习一下
    2023-10-10
  • 使用client go实现自定义控制器的方法

    使用client go实现自定义控制器的方法

    本文我们来使用client-go实现一个自定义控制器,通过判断service的Annotations属性是否包含ingress/http,如果包含则创建ingress,如果不包含则不创建,对client go自定义控制器相关知识感兴趣的朋友一起看看吧
    2022-05-05
  • Go高级特性探究之处理1分钟百万请求详解

    Go高级特性探究之处理1分钟百万请求详解

    对于大型的互联网应用程序,如电商平台、社交网络、金融交易平台等,每秒钟都会收到大量的请求,那么Go是如何处理这些百万请求的呢,下面就来和大家详细讲讲
    2023-06-06
  • Go语言利用Unmarshal解析json字符串的实现

    Go语言利用Unmarshal解析json字符串的实现

    本文主要介绍了Go语言利用Unmarshal解析json字符串的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-05-05

最新评论