Go语言做爬虫状态码返回418的问题解决
更新时间：2021年12月14日 10:47:13 作者：我的名字豌豆
在使用Go语言做爬虫时，使用http.Get(url)去获取网页内容，状态码返回404，本文我们就详细的介绍一下解决方法，感兴趣的可以了解一下
背景
在使用Go语言做爬虫时，使用http.Get(url)去获取网页内容，状态码返回404，Body体为空。
原因分析
http.Get(url)是不需要设置header属性的http请求，比较简单快捷，但状态码返回418，表明我们需要设置其header属性，那么我们可以使用http.NewRequest，在设置其header属性即可~
代码部分
func main7() {
client := &http.Client{}
url := "https://movie.douban.com/top250?start=0&filter="
reqest, err := http.NewRequest("GET", url, nil)
//设置header属性
reqest.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36 OPR/66.0.3515.115")
if err!=nil {
fmt.Println(err)
return
}
response, _ := client.Do(reqest)
defer response.Body.Close()
buf := make([]byte,4096)
var result string
for {
n,err:=response.Body.Read(buf)
if n == 0 {
fmt.Println("读取网页完成")
break
}
if err!=nil && err!=io.EOF {
fmt.Println("resp body err",err)
return
}
result += string(buf[:n])
//打印读取的网页
fmt.Println(result)
}
}
到此这篇关于Go语言做爬虫状态码返回418的问题解决的文章就介绍到这了,更多相关Go语言爬虫返回418内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
您可能感兴趣的文章:
相关文章
这篇文章主要为大家详细介绍了Golang中for循环遍历会出现的一些小坑以及对应的解决办法，文中的示例代码讲解详细，感兴趣的可以了解一下2023-05-05
这篇文章主要介绍了Go语言中函数的闭包使用示例,函数闭包closure是编程语言中十分重要的特性,需要的朋友可以参考下2016-03-03
在 Go 语言中，Context 包是一种非常常用的工具，它被用来管理 goroutine 之间的通信和取消。本文将深入探讨Context 包的基本原理，包括使用场景、原理和一些最佳实践，需要的可以参考下2023-05-05
Golang 中的 interface 是一种非常重要的特性，可以让我们写出更加灵活的代码。在本篇文章中，我们将深入探讨 Golang 中interface 的原理和使用技巧，感兴趣的可以了解一下2023-04-04
你是否遇到过在无法准确确定json层级关系的情况下对json进行解析的需求呢？本文就来和大家介绍一次解析不确定的json对象的经历，以及遇到的问题和解决方法2023-02-02
Go 1.21.0 新增结构化日志记录标准库log/slog使用详解
这篇文章主要为大家介绍了Go 1.21.0 新增结构化日志记录标准库log/slog使用详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-11-11
goroutine是Go语言提供的语言级别的轻量级线程，在我们需要使用并发时，我们只需要通过 go 关键字来开启 goroutine 即可。这篇文章主要介绍了GoLang并发机制goroutine原理，感兴趣的可以了解一下2022-12-12
defer是golang中用的比较多的一个关键字，也是go面试题里经常出现的问题。今天就来整理一下关于defer的学习使用，希望对需要的朋友有所帮助2022-09-09
etcd是近几年比较火热的一个开源的、分布式的键值对数据存储系统，提供共享配置、服务的注册和发现，本文主要介绍etcd的安装和使用，感兴趣的可以了解一下2021-09-09
这篇文章主要为大家介绍了Go语言sort包函数使用示例，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-06-06
最新评论