golang爬虫colly 发送post请求

 更新时间:2022年07月11日 10:39:54   作者:liuyuncd  
本文主要介绍了golang爬虫colly 发送post请求实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

继续还是工作中使用colly,不管是官网,还是网上的一些文章(其实90%就是把官网的案例抄过去),都是一样的格式,没有讲到post,测试了几次,记录一下post的使用

    c := colly.NewCollector()
    type data struct {
        Phone string `json:"phone" binding:"required"`
    }
    d:=&data{
        Phone:"18190897361",
    }
    da,err:=json.Marshal(d)

    if err!=nil{
        fmt.Println(err)
    }
    c.OnResponse(func(response *colly.Response) {
        fmt.Println(string(response.Body))
    })
    c.OnRequest(func(r *colly.Request) {
        fmt.Println(r)
        fmt.Println(r.Method)
        r.Headers.Set("Content-Type", "application/json;charset=UTF-8")
        r.Headers.Set("User-Agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.113 Safari/537.36")
    })
    c.OnError(func(response *colly.Response, e error) {
        fmt.Println(e)
    })
    c.PostRaw("http://www.××××.com:×××/baseDevice/getUserInfo",da)
    //c.Visit("http://www.××××.com:×××/baseDevice/getUserInfo")

其实也没多少不一样,首先准备你要发送的json格式的数据(现在90%都是json格式请求了),

type data struct {
        Phone string `json:"phone" binding:"required"`
    }
    d:=&data{
        Phone:"18190897361",
    }
    da,err:=json.Marshal(d)

这里只发送一个电话号码,第二部就是最后的发送了

c.PostRaw("http://www.××××.com:×××/baseDevice/getUserInfo",da)

1:这句话一定要写到最后

c.Visit(“http://www.××××.com:×××/baseDevice/getUserInfo”)

Visit方法,点进去源码可以看到默认走的是get模式,我们这里发送post,就不需要写了
就这么简单—结束

到此这篇关于golang爬虫colly 发送post请求的文章就介绍到这了,更多相关golang colly 发送post请求内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Golang自旋锁的相关介绍

    Golang自旋锁的相关介绍

    自旋锁是指当一个线程在获取锁的时候,如果锁已经被其他线程获取,那么该线程将循环等待,然后不断地判断是否能够被成功获取,知直到获取到锁才会退出循环
    2022-10-10
  • GoFrame框架garray并发安全数组使用开箱体验

    GoFrame框架garray并发安全数组使用开箱体验

    这篇文章主要介绍了GoFrame框架garray并发安全数组使用开箱体验,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-06-06
  • Go语言的反射reflect使用大全

    Go语言的反射reflect使用大全

    Go语言中reflect包提供了运行时反射的功能,本文主要介绍了Go语言的反射reflect使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2024-08-08
  • Go语言判断文件或文件夹是否存在的方法

    Go语言判断文件或文件夹是否存在的方法

    这篇文章主要介绍了Go语言判断文件或文件夹是否存在的方法,结合具体实例形式对比分析了Go语言针对文件与目录判断的操作技巧与相关注意事项,需要的朋友可以参考下
    2017-05-05
  • 一文带你使用Golang实现SSH客户端

    一文带你使用Golang实现SSH客户端

    SSH 全称为 Secure Shell,是一种用于安全地远程登录到网络上的其他计算机的网络协议,本文主要为大家详细介绍了如何使用 Golang 实现 SSH 客户端,需要的可以参考下
    2023-11-11
  • vscode中安装Go插件和配置Go环境详细步骤

    vscode中安装Go插件和配置Go环境详细步骤

    要在VSCode中配置Go语言插件,首先需要确保你的电脑已经安装了Go环境和最新版本的VSCode,这篇文章主要给大家介绍了关于vscode中安装Go插件和配置Go环境的相关资料,需要的朋友可以参考下
    2024-01-01
  • go语言的四数相加等于指定数算法

    go语言的四数相加等于指定数算法

    这篇文章主要介绍了go语言的四数相加等于指定数算法的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-04-04
  • Go检查结构体中是否存在某个字段及创建结构体切片或映射

    Go检查结构体中是否存在某个字段及创建结构体切片或映射

    这篇文章主要为大家介绍了Go检查结构体中是否存在某个字段及创建结构体切片或映射实现示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2024-01-01
  • Golang timer可能造成的内存泄漏问题分析

    Golang timer可能造成的内存泄漏问题分析

    本文探讨了Golang中timer可能造成的内存泄漏问题,通过分析一段代码,解释了为什么协程在调用timer.Stop()后无法正常退出,文章指出,timer.Stop()并不关闭Channel,导致协程无法继续执行,最后,提出了一种修复方法,并呼吁大家关注和分享
    2024-12-12
  • Golang字符串类型原理及其使用方法

    Golang字符串类型原理及其使用方法

    本文主要介绍了Golang字符串类型原理及其使用方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-09-09

最新评论