Go爬虫(http、goquery和colly)详解
更新时间：2022年09月05日 15:08:03 作者：Golang-Study
goquery可以避免操作复杂的正则表达式，它可以直接根据url获取一个Document对象，然后根据标签选择器、类选择器和id选择器获取相应的选择对象，进行自定义的操作，这篇文章主要介绍了Go爬虫(http、goquery和colly),需要的朋友可以参考下
1、net/http爬虫
net/http配合正则表达式爬虫。
package main
import (
"fmt"
"io/ioutil"
"log"
"net/http"
"os"
"regexp"
"strings"
"sync"
)
// 负责抓取页面的源代码(html)
// 通过http包实现
func fetch(url string) string {
// 得到一个客户端
client := &http.Client{}
request, _ := http.NewRequest("GET", url, nil)
request.Header.Set("User-Agent", "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Mobile Safari/537.36")
request.Header.Add("Cookie", "test_cookie=CheckForPermission; expires=Tue, 30-Aug-2022 01:04:32 GMT; path=/; domain=.doubleclick.net; Secure; HttpOnly; SameSite=none")
// 客户端发送请求，并且获取一个响应
response, err := client.Do(request)
if err != nil {
log.Println("Error: ", err)
return ""
}
// 如果状态码不是200，就是响应错误
if response.StatusCode != 200 {
log.Println("Error: ", response.StatusCode)
return ""
}
defer response.Body.Close() // 关闭
// 读取响应体中的所有数据到body中，这就是需要的部分
body, err := ioutil.ReadAll(response.Body)
if err != nil {
log.Println("Error: ", err)
return ""
}
// 转换为字符串(字节切片 --> 字符串)
return string(body)
}
var waitGroup sync.WaitGroup
// 解析页面源代码
func parseURL(body string) {
// 将body(响应结果)中的换行替换掉，防止正则匹配出错
html := strings.Replace(body, "\n", "", -1)
// 正则匹配
re_Img_div := regexp.MustCompile(`<div class="img_wrapper">(.*?)</div>`)
img_div := re_Img_div.FindAllString(html, -1) // 得到<div><img/></div>
for _, v := range img_div {
// img正则
re_link := regexp.MustCompile(`src="(.*?)"`)
// 找到所有的图片链接
links := re_link.FindAllString(v, -1) // 得到所有图片链接
// 遍历links，切掉不必要的部分src="和最后的"
for _, v := range links {
src := v[5 : len(v)-1]
src = "http:" + src
waitGroup.Add(1)
go downLoad(src)
}
}
}
// 下载
func downLoad(src string) {
fmt.Println("================================", src)
// 取一个文件名
filename := string(src[len(src)-8 : len(src)])
fmt.Println(filename)
response, _ := http.Get(src)
picdata, _ := ioutil.ReadAll(response.Body)
image, _ := os.Create("./files/" + filename)
image.Write(picdata)
defer func() {
image.Close()
waitGroup.Done()
}()
}
func main() {
url := "http://games.sina.com.cn/t/n/2021-01-15/kftpnnx7445951.shtml"
body := fetch(url)
// fmt.Println(body)
parseURL(body)
waitGroup.Wait()
}
2、goquery库爬虫
goquery可以避免操作复杂的正则表达式，它可以直接根据url获取一个Document对象，然后根据标签选择器、类选择器和id选择器获取相应的选择对象，进行自定义的操作。
goquery可以灵活的获取页面中的元素。
*** 一个简单的例子，引出goquery中的重要API
package main
import (
"fmt"
"strings"
"github.com/PuerkitoBio/goquery"
)
func main() {
url := "http://games.sina.com.cn/t/n/2021-01-15/kftpnnx7445951.shtml"
// 得到页面原文档对象
d, _ := goquery.NewDocument(url)
// 根据文档对象借助类选择器获取Selection对象，通过Each遍历所有的适配类选择器的对象
// Each的参数是一个函数，里面是处理逻辑
d.Find("img").Each(func(index int, s *goquery.Selection) {
// 根据属性名获取属性值 一个Selection对象 --> <img src="http://localhost:8080/images" > text </img>
text, _ := s.Attr("src")
// 只处理gif动态图片
if strings.HasSuffix(text, ".gif") {
text = "http:" + text
fmt.Println(text)
}
})
}
*** 操作一、获取html整个原文档
分别是goquery.NewDocument(url string)、goquery.NewDocumentFromResponse(*http.Response)、goquery.NewDocumentFromReader(*io.Reader)。三种方式的第一种比较最为方便使用。
package main
import (
"log"
"net/http"
"strings"
"github.com/PuerkitoBio/goquery"
)
/*
goquery得到Document对象的3种方式
*/
// 1、通过NewDocument传入一个URL地址
func GetDocument_1(url string) string {
document, _ := goquery.NewDocument(url)
document.Find("href")
return "document.Text()"
}
// 2、通过响应获取。第一种方式是第二种方式的封装
func GetDocument_2(url string) string {
client := &http.Client{}
request, _ := http.NewRequest("GET", url, nil)
response, _ := client.Do(request)
document, err := goquery.NewDocumentFromResponse(response)
if err != nil {
log.Fatalln(err)
}
document.Find("")
return ""
}
// 3、有一个html文本的情况下，读取转换为Document对象
func GetDocument_3(html string) string {
document, _ := goquery.NewDocumentFromReader(strings.NewReader(html))
document.Find("")
return ""
}
*** 操作二、选择器
同html的标识方式，在Find函数中。
*** 操作三、Selection相关方法
*** 最后来完成net/http中的网页爬虫
package main
import (
"fmt"
"io/ioutil"
"net/http"
"os"
"strings"
"sync"
"github.com/PuerkitoBio/goquery"
)
var lock sync.WaitGroup
func main() {
url := "http://games.sina.com.cn/t/n/2021-01-15/kftpnnx7445951.shtml"
// 得到页面原文档对象
d, _ := goquery.NewDocument(url)
// 根据文档对象借助类选择器获取Selection对象，通过Each遍历所有的适配类选择器的对象
// Each的参数是一个函数，里面是处理逻辑
d.Find("img").Each(func(index int, s *goquery.Selection) {
// 根据属性名获取属性值 一个Selection对象 --> <img src="http://localhost:8080/images" > text </img>
text, _ := s.Attr("src")
// 只处理gif动态图片
if strings.HasSuffix(text, ".gif") {
lock.Add(1)
http := "http:" + text
// 得到图片地址，开启协程下载图片
go downLoading(http)
}
})
lock.Wait()
}
func downLoading(src string) {
fmt.Println("================================", src)
// 取一个文件名
filename := string(src[len(src)-8 : len(src)])
fmt.Println(filename)
response, _ := http.Get(src)
picdata, _ := ioutil.ReadAll(response.Body)
image, _ := os.Create("./files/" + filename)
image.Write(picdata)
defer func() {
image.Close()
lock.Done()
}()
}
3、colly框架爬虫
首先要获取一个*colly.Collector对象；
然后注册处理函数OnXxx函数；
之后就可以访问url了。
*** OnXxx函数
主要操作都是由OnXxx函数的参数函数进行处理的
*** 完成图片的爬取
package main
import (
"fmt"
"io/ioutil"
"net/http"
"os"
"strings"
"sync"
"github.com/gocolly/colly"
)
var locker sync.WaitGroup
func main() {
col := colly.NewCollector()
// 检测请求
col.OnRequest(func(req *colly.Request) {
fmt.Println("检测一个请求......")
})
// 检测响应
col.OnResponse(func(r *colly.Response) {
fmt.Println("检测一个响应......")
})
// 定位img标签。注册该函数，框架内部回调
col.OnHTML("img", func(elem *colly.HTMLElement) {
fmt.Println("ONXHTML")
// 获取标签对应属性的值。
// 其他对标签的操作，可以查看对应的API
http := elem.Attr("src")
if strings.HasSuffix(http, ".gif") {
locker.Add(1)
http := "http:" + http
go DownLoad(http)
}
})
col.Visit("http://games.sina.com.cn/t/n/2021-01-15/kftpnnx7445951.shtml")
locker.Wait()
}
func DownLoad(src string) {
fmt.Println("================================", src)
// 取一个文件名
filename := string(src[len(src)-8 : len(src)])
fmt.Println(filename)
response, _ := http.Get(src)
picdata, _ := ioutil.ReadAll(response.Body)
image, _ := os.Create("./files/" + filename)
image.Write(picdata)
defer func() {
image.Close()
locker.Done()
}()
}
到此这篇关于Go爬虫(http、goquery和colly)的文章就介绍到这了,更多相关Go爬虫goquery和colly内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
Golang 支持交叉编译，在一个平台上生成另一个平台的可执行程序,只需要按照我下面的这个环境变量表设置对应的环境变量就可以了，下面文章将对该内容做详细介绍，感兴趣的小伙伴可以参考一下2021-10-10
这篇文章主要为大家介绍了go语言方法集以及为类型添加方法示例解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步早日升职加薪2022-04-04
这篇文章主要介绍了通过与Java功能上的对比来学习Go语言的相关资料,需要的朋友可以参考下2023-02-02
这篇文章主要介绍了golang实现redis的延时消息队列功能，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-11-11
这篇文章主要介绍了Go标准库http server优雅启动深入理解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2024-01-01
Channel管道提供了一种机制，它在两个并发执行的协程之间进行同步，并通过传递与该管道元素类型相符的值来进行通信。本文主要介绍了Channel的原理和使用技巧，需要的可以参考一下2022-11-11
Go语言中的sync包主要提供的对并发操作的支持,标志性的工具有cond（条件变量） once (原子性) 还有 锁,本文会主要向大家介绍Go语言中锁的特性和实现,感兴趣的可以了解下2024-03-03
Go语言提供了丰富的日期与时间处理函数,涵盖了从获取当前时间到格式化、时区转换、定时器和计时器的功能,这篇文章主要给大家介绍了关于Go语言中日期与时间用法的相关资料,需要的朋友可以参考下2024-06-06
在 Go 语言中,格式化输出是一个非常常用的功能,特别是在处理字符串、数字和其他数据类型时,本文将详细介绍 Go 语言中常用的格式化占位符及其用法,希望对大家有所帮助2024-10-10
在现代应用中,定时任务是非常常见的需求,无论是用于定时清理数据,还是定时执行系统维护任务,下面我们就来使用Go语言封装一个Cron定时任务管理器吧2024-12-12
最新评论