解决golang处理http response碰到的问题和需要注意的点

更新时间：2020年12月15日 15:48:47 作者：jeffrey11223

这篇文章主要介绍了解决golang处理http response碰到的问题和需要注意的点，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

在处理http response的时候，偶然发现，body读取之后想再次读取的时候，发现读不到任何东西。

见下方代码：

response, err = ioutil.ReadAll(resp.Body)
  if err != nil {
    log.Println("ioutil ReadAll failed :", err.Error())
    return
  }

之后如果想再次ioutil.ReadAll(resp.Body)的时候会发现读到的是空。于是我决定去看一下这个resp.Body，发现它是一个io.ReadCloser接口，包含了Reader和Closer接口：

type ReadCloser interface {
  Reader
  Closer
}

于是我想到了文件，它也实现了io.Reader接口，所以用读文件试了下：

func readFile(path string)string{
  fi,err := os.Open(path)
  if err != nil{panic(err)}
  defer fi.Close()
  byte1,err := ioutil.ReadAll(fi)
  fmt.Println(string(byte1))
  byte2,err := ioutil.ReadAll(fi)
  fmt.Println(string(byte2))
  return string(fd)
}

发现结果是一致的，fmt.Println(string(fd2))打印不出任何结果。

我猜测应该是ioutil.ReadAll()是有记录偏移量，所以会出现第二次读取读不到的情况。

作为client端处理response的时候会碰到这个问题，作为server端要处理request body的时候，一样会遇到此问题，那么该如何解决这个问题呢？

有一个方法是再造一个io.ReadCloser，如下：

  fi2:= ioutil.NopCloser(bytes.NewBuffer(byte1))
  byte3,err := ioutil.ReadAll(fi2)
  fmt.Println(string(byte3))

此外，作为client端处理response的时候，有一点要注意的是，body一定要close，否则会造成GC回收不到，继而产生内存泄露。其实在go的官方源码注释中，也明确注明了response body需要调用方进行手动关闭：It is the caller's responsibility to close Body.

至于response body为什么需要进行关闭，这篇文章进行了解释：

https://www.jb51.net/article/146275.htm

那么作为client端生成的request body，需不需要手动关闭呢，答案是不需要的，net/http中的func (c *Client) Do(req *Request) (*Response, error)会调用Close()。

同样的，作为server端接收的request body，也是需要关闭，由Server自动进行关闭，The Server will close the request body. The ServeHTTP Handler does not need to.

补充：golang net/http包之设置 http response 响应头详解

01 设置WriteHeader的顺序问题

之前遇到个问题，在一段代码中这样设置WriteHeader,最后在header中取Name时怎么也取不到。

w.WriteHeader(201)

w.Header().Set("Name", "my name is smallsoup")

用 golang 写 http server 时，可以很方便可通过 w.Header.Set(k, v) 来设置 http response 中 header 的内容。但是需要特别注意的是：某些时候不仅要修改 response的header ，还要修改 response的StatusCode。修改response的StatusCode 可以通过：w.WriteHeader(code) 来实现，例如：

w.WriteHeader(404)

如果这两种修改一起做，就必须让 w.WriteHeader 在所有的 w.Header.Set 之后，因为 w.WriteHeader 后 Set Header 是无效的。

而且必须是在 w.Write([]byte("HelloWorld")) 之前，否则会报 http: multiple response.WriteHeader calls 因为其实调用w.Write的时候也会调用WriteHeader()方法，然后将w.wroteHeader置为true，再次调WriteHeader()则会判断wroteHeader，如果是true则会报错，而且本次调用不生效。

可以看以下源码说明WriteHeader必须在Write之前调用。

func (w *response) WriteHeader(code int) {
 if w.conn.hijacked() {
  w.conn.server.logf("http: response.WriteHeader on hijacked connection")
  return
 }
//第二次WriteHeader()进来满足if条件就报错直接return
 if w.wroteHeader {
  w.conn.server.logf("http: multiple response.WriteHeader calls")
  return
 }
//第一次write()进来这里会将w.wroteHeader置为true
 w.wroteHeader = true
 w.status = code
 if w.calledHeader && w.cw.header == nil {
  w.cw.header = w.handlerHeader.clone()
 }
 if cl := w.handlerHeader.get("Content-Length"); cl != "" {
  v, err := strconv.ParseInt(cl, 10, 64)
  if err == nil && v >= 0 {
   w.contentLength = v
  } else {
   w.conn.server.logf("http: invalid Content-Length of %q", cl)
   w.handlerHeader.Del("Content-Length")
  }
 }
}

2. go会对Header中的key进行规范化处理

go会对Header中的key进行规范化处理，所以在获取response的Header中的K,V值时一定要小心。

reader.go中非导出方法canonicalMIMEHeaderKey中有这样一段，会将header的key进行规范化处理。

1）reader.go中定义了isTokenTable数组，如果key的长度大于127或者包含不在isTokenTable中的字符，则该key不会被处理。

2）将key的首字母大写，字符 - 后的单词的首字母也大写。

分析如下源码，可以解释对key的大写处理：

for i, c := range a {
  // 规范化:首字母大写
  // - 之后单子的首字母大写
  // 如:(Host, User-Agent, If-Modified-Since).
  if upper && 'a' <= c && c <= 'z' {
   //大写转小写
   c -= toLower
  } else if !upper && 'A' <= c && c <= 'Z' {
   //小写转大写
   c += toLower
  }
  //重新给key数组赋值
  a[i] = c
  //设置大小写标志位
  upper = c == '-' // for next time
}

正确的调用方式：

服务器：

myServer.go

package main
import (
 "net/http"
)
func main() {
 http.HandleFunc("/", func (w http.ResponseWriter, r *http.Request){
  w.Header().Set("name", "my name is smallsoup")
  w.WriteHeader(500)
  w.Write([]byte("hello world\n"))
 })
 http.ListenAndServe(":8080", nil)
}

客户端：

myHttp.go：

package main
import (
 "fmt"
 "io/ioutil"
 "net/http"
)
func main() {
 myHttpGet()
}
func myHttpGet() {
 rsp, err := http.Get("http://localhost:8080")
 if err != nil {
  fmt.Println("myHttpGet error is ", err)
  return
 }
 defer rsp.Body.Close()
 body, err := ioutil.ReadAll(rsp.Body)
 if err != nil {
  fmt.Println("myHttpGet error is ", err)
  return
 }
 fmt.Println("response statuscode is ", rsp.StatusCode, 
     "\nhead[name]=", rsp.Header["Name"], 
      "\nbody is ", string(body))
}

1.运行服务器

go run myServer.go

2.运行客户端

go run myHttp.go

输出如下：statuscode是我们设置的500，Name也取到了值。

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。如有错误或未考虑完全的地方，望不吝赐教。

您可能感兴趣的文章:

go module化 import 调用本地模块 tidy的方法
这篇文章主要介绍了go module化 import 调用本地模块 tidy的相关知识，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
2022-09-09
Go语言HTTPServer开发的六种方式小结
Golang的Server开发显得非常简单，有很多种方式，本文就介绍了Go语言HTTPServer开发的六种方式，具有一定的参考价值，感兴趣的可以了解一下
2021-11-11
Golang实现Trie(前缀树)的示例
本文主要介绍了Golang实现Trie(前缀树)的示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-01-01
go语言实现二叉树的序例化与反序列化
这篇文章主要介绍了go语言实现二叉树的序例化与反序列化，文章围绕主题展开详细内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下
2022-05-05
Go实现替换(覆盖)文件某一行内容的示例代码
本文主要介绍了Go实现替换(覆盖)文件某一行内容的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2022-07-07
Go Java算法最大单词长度乘积示例详解
这篇文章主要为大家介绍了Go Java算法最大单词长度乘积示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2022-08-08
Golang中的panic之避免和处理程序中的异常情况
Golang中的panic是一种异常处理机制，可以在程序出现异常情况时终止程序并打印错误信息。为了避免panic对程序的影响，开发者可以采用一系列技巧，如defer+recover、编写可重入的代码、使用错误返回值等。这些技巧可以帮助开发者优雅地处理程序中的异常情况
2023-04-04
Go1.18都出泛型了速来围观
泛型允许程序员在强类型程序设计语言中编写代码时使用一些以后才指定的类型，在实例化时作为参数指明这些类型，本文通过例子给大家介绍下如何使用泛型，对Go1.18泛型相关知识感兴趣的朋友一起看看吧
2022-03-03
Golang通脉之方法详情
这篇文章主要介绍了Golang通脉方法，Go语言中的方法（Method）是一种作用于特定类型变量的函数。这种特定类型变量叫做接收者（Receiver）。接收者的概念就类似于，其他语言中的this或者 self，具体内容请和小编一起来学习下面文章内容吧
2021-10-10
深入探究Go语言中for range语句
为了更加便捷地遍历这些数据类型，Go语言引入了for...range语句，本文将以数组遍历为起点，逐步介绍for...range语句在不同数据类型中的应用，希望对大家有所帮助
2023-06-06