Go中Gzip与json搭配实现数据压缩demo

 更新时间:2023年05月25日 09:06:50   作者:goper  
这篇文章主要为大家介绍了Go中Gzip与json搭配使用压缩数据的实现demo,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

正文

在日常工作中,如果遇到数据量大的情况,在db中是不能直接存储某些字段的,一般会用json进行marshal为 byte存入。但是如果此时占用空间依旧过大,则可以考虑再用gzip 还进一步压缩。

demo

package main
import (
    "bytes"
    "compress/gzip"
    "encoding/json"
)
func main() {
}
type anyStruct struct {
}
// 压缩 与json搭配使用
func MarshalToJsonWithGzip(jsonData anyStruct) []byte {
    dataAfterMarshal, _ := json.Marshal(jsonData)
    dataAfterGzip, err := Encode(dataAfterMarshal)
    if err != nil {
        return nil
    }
    return dataAfterGzip
}
// 解压 与json搭配使用
func UnmarshalDataFromJsonWithGzip(msg []byte) (*anyStruct, error) {
    dataAfterDecode, err := Decode(msg)
    if err != nil {
        return nil, err
    }
    data := &anyStruct{}
    err = json.Unmarshal(dataAfterDecode, data)
    if err != nil {
        return nil, err
    }
    return data, nil
}
// Gzip用法 压缩数据
func Encode(input []byte) ([]byte, error) {
    // 创建一个新的 byte 输出流
    var buf bytes.Buffer
    // 创建一个新的 gzip 输出流
    gzipWriter := gzip.NewWriter(&buf)
    // 将 input byte 数组写入到此输出流中
    _, err := gzipWriter.Write(input)
    if err != nil {
        _ = gzipWriter.Close()
        return nil, err
    }
    if err := gzipWriter.Close(); err != nil {
        return nil, err
    }
    // 返回压缩后的 bytes 数组
    return buf.Bytes(), nil
}
// Gzip用法 解压数据
func Decode(input []byte) ([]byte, error) {
    // 创建一个新的 gzip.Reader
    bytesReader := bytes.NewReader(input)
    gzipReader, err := gzip.NewReader(bytesReader)
    if err != nil {
        return nil, err
    }
    defer func() {
        // defer 中关闭 gzipReader
        _ = gzipReader.Close()
    }()
    buf := new(bytes.Buffer)
    // 从 Reader 中读取出数据
    if _, err := buf.ReadFrom(gzipReader); err != nil {
        return nil, err
    }
    return buf.Bytes(), nil
}

以上就是Go中Gzip与json搭配实现数据压缩demo的详细内容,更多关于Go 压缩数据的资料请关注脚本之家其它相关文章!

相关文章

  • Go语言中的并发goroutine底层原理

    Go语言中的并发goroutine底层原理

    这篇文章主要介绍了Go语言中的并发goroutine底层原理,介绍Go语言并发底层原理,以及对比Go语言并发与其他语言并发的优劣,下文详细内容,需要的小伙伴可以参考一下
    2022-02-02
  • golang通过递归遍历生成树状结构的操作

    golang通过递归遍历生成树状结构的操作

    这篇文章主要介绍了golang通过递归遍历生成树状结构的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-04-04
  • Golang汇编之控制流深入分析讲解

    Golang汇编之控制流深入分析讲解

    这篇文章主要介绍了Golang汇编之控制流,程序执行的流程主要有顺序、分支和循环几种执行流程,本节主要讨论如何将Go语言的控制流比较直观地转译为汇编程序,或者说如何以汇编思维来编写Go语言代码,感兴趣的同学可以参考下文
    2023-05-05
  • golang基础之waitgroup用法以及使用要点

    golang基础之waitgroup用法以及使用要点

    WaitGroup是Golang并发的两种方式之一,一个是Channel,另一个是WaitGroup,下面这篇文章主要给大家介绍了关于golang基础之waitgroup用法以及使用要点的相关资料,需要的朋友可以参考下
    2023-01-01
  • Go语言中for和range的性能比较

    Go语言中for和range的性能比较

    这篇文章主要为大家详细介绍了Go语言中for和range语句的使用以及性能比较,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起了解一下
    2023-07-07
  • Go 微服务开发框架DMicro设计思路详解

    Go 微服务开发框架DMicro设计思路详解

    这篇文章主要为大家介绍了Go 微服务开发框架DMicro设计思路详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-10-10
  • Go语言生产环境最常用、最可靠的包清单

    Go语言生产环境最常用、最可靠的包清单

    在开发Go语言项目时,包管理是一个非常重要的环节,这篇文章主要介绍了Go语言生产环境最常用、最可靠包的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2026-03-03
  • 浅析Go中关于零值和空值判断的问题

    浅析Go中关于零值和空值判断的问题

    这篇文章主要是对零值和空值判断现状进行简单的梳理和分享,文中的示例代码讲解详细,对我们深入了解go语言有一定的帮助,感兴趣的小伙伴可以跟随小编一起学习一下
    2023-08-08
  • Golang中fsnotify包监听文件变化的原理详解

    Golang中fsnotify包监听文件变化的原理详解

    Golang提供了一个强大的fsnotify包,它能够帮助我们轻松实现文件系统的监控,本文将深入探讨fsnotify包的原理,感兴趣的小伙伴可以跟随小编一起学习一下
    2023-12-12
  • golang字符串本质与原理详解

    golang字符串本质与原理详解

    这篇文章主要介绍了golang字符串本质与原理详解,golang中的字符串指的是所有8比特位字节字符串的集合,通常是UTF-8编码的文本,更多相关内容需要的小伙伴可以参考一下
    2022-06-06

最新评论