脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → Golang → Go rand.Shuffle产生重复数据

Go切片导致rand.Shuffle产生重复数据的原因与解决方案

 更新时间：2025年02月17日 09:09:40   作者：飞川001  
在 Go 语言的实际开发中,切片（slice）是一种非常灵活的数据结构,然而,由于其底层数据共享的特性,在某些情况下可能会导致意想不到的 Bug,本文将详细分析 rand.Shuffle 之后,切片中的数据出现重复的问题,探讨其根本原因,并给出最佳解决方案,需要的朋友可以参考下

问题描述

在一个 Go 服务端 API 里，我们需要按照 curBatch 参数进行分页，从 interestCfg 里分批选取 interestTagNum 个兴趣标签，并在返回结果前对选中的数据进行随机打乱。

全部兴趣标签示例：

{
    "InterestTags": [
        {"interestName":"Daily Sharing"},
        {"interestName":"Gaming"},
        {"interestName":"AI"},
        {"interestName":"test"},
        {"interestName":"Sports"},
        {"interestName":"Cars"},
        {"interestName":"other"}
    ]
}

现象回顾

当 curBatch = 0 时，返回的数据是正确的：

{
    "InterestTags": [
        { "interestName": "Daily Sharing" },
        { "interestName": "Gaming" },
        { "interestName": "AI" }
    ]
}

但当 curBatch = 2 时，测试环境出现了数据重复的问题：（本地运行正常）

1. 不随机时（正确的结果）：

{
    "InterestTags": [
        { "interestName": "other" },
        { "interestName": "Daily Sharing" },
        { "interestName": "Gaming" }
    ]
}

2. 随机后（错误的结果）：

{
    "InterestTags": [
        { "interestName": "Gaming" },
        { "interestName": "Gaming" },
        { "interestName": "AI" }
    ]
}

问题：

  • “Gaming” 出现了两次，而 “test” 消失了！
  • 本地环境正常，但测试环境异常，导致调试变得困难。

问题排查

数据的选择和随机操作逻辑如下：

interestTags := make([]model.InterestConfig, 0, interestConfig.InterestTagNum)

// 处理interestConfig，根据curBatch分批次处理
if len(interestConfig.InterestCfg) > 0 && interestConfig.InterestTagNum > 0 {
    interestAllTags := interestConfig.InterestCfg
    numBatches := (len(interestAllTags) + int(interestConfig.InterestTagNum) - 1) / int(interestConfig.InterestTagNum)
    startIdx := (curBatch % numBatches) * int(interestConfig.InterestTagNum)
    endIdx := startIdx + int(interestConfig.InterestTagNum)

    if endIdx > len(interestAllTags) {
        interestTags = interestAllTags[startIdx:]
        interestTags = append(interestTags, interestAllTags[:(endIdx-len(interestAllTags))]...)
    } else {
        interestTags = interestAllTags[startIdx:endIdx]
    }
}

// 随机打乱 interestTags 顺序
r := rand.New(rand.NewSource(time.Now().UnixNano()))
r.Shuffle(len(interestTags), func(i, j int) {
    interestTags[i], interestTags[j] = interestTags[j], interestTags[i]
})

关键点分析

  1. interestTags = interestAllTags[startIdx:endIdx] 直接从 interestAllTags 取出数据，但切片是引用类型，因此 interestTags 共享了 interestAllTags 的底层数组。
  2. rand.Shuffle 随机交换 interestTags 里的元素，但 interestTags 指向 interestAllTags，可能导致原始数据被错误修改。
  3. 本地和测试环境不一致，可能与 Go 运行时的内存管理机制或高并发场景下的切片扩容行为有关。

代码验证

为了验证 interestTags 是否共享 interestAllTags 的底层数组，我们打印切片元素的内存地址：

fmt.Println("Before Shuffle:")
for i, tag := range interestTags {
    fmt.Printf("[%d] %p: %s\n", i, &interestTags[i], tag.InterestName)
}

r.Shuffle(len(interestTags), func(i, j int) {
    interestTags[i], interestTags[j] = interestTags[j], interestTags[i]
})

fmt.Println("After Shuffle:")
for i, tag := range interestTags {
    fmt.Printf("[%d] %p: %s\n", i, &interestTags[i], tag.InterestName)
}

解决方案

方案 1：使用 append 进行数据拷贝

为了避免 interestTags 共享 interestAllTags 的底层数组，我们需要显式拷贝数据：

interestTags = make([]model.InterestConfig, 0, interestConfig.InterestTagNum)
if endIdx > len(interestAllTags) {
    interestTags = append(interestTags, interestAllTags[startIdx:]...)
    interestTags = append(interestTags, interestAllTags[:(endIdx-len(interestAllTags))]...)
} else {
    interestTags = append(interestTags, interestAllTags[startIdx:endIdx]...)
}

为什么这样做？

  • append(..., interestAllTags[startIdx:endIdx]...) 创建新的切片，避免 interestTags 共享 interestAllTags 的底层数据。
  • 独立的数据拷贝 确保 rand.Shuffle 只影响 interestTags，不会破坏原始 interestAllTags。

总结

1. 问题原因

  • Go 切片是引用类型，直接赋值 interestTags = interestAllTags[startIdx:endIdx] 不会创建新数据，而是共享底层数组。
  • rand.Shuffle 可能影响 interestAllTags，导致元素重复。
  • 本地环境正常，但测试环境异常，可能与 Go 内存管理和切片扩容策略有关。

2. 解决方案

  • 使用 append 进行数据拷贝，确保 interestTags 是独立的数据，避免 rand.Shuffle 影响原始 interestAllTags。

经验总结

  1. Go 切片是引用类型，不能直接赋值，否则可能共享底层数据。
  2. 使用 rand.Shuffle 之前，必须确保数据是独立的副本。
  3. 尽量使用 append 创建新的切片，避免底层数组共享问题。
  4. 不同环境表现不一致时，应检查内存管理、并发情况及数据结构副作用。

以上就是Go切片导致rand.Shuffle产生重复数据的原因与解决方案的详细内容，更多关于Go rand.Shuffle产生重复数据的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

相关文章

  • Go语言学习教程之指针的示例详解

    Go语言学习教程之指针的示例详解

    这篇文章主要通过简单的练习来让大家对Go语言中的指针有所了解，文中的示例代码讲解详细，对我们学习Go语言有一定帮助，需要的可以参考一下
    2022-09-09
  • Go语言对接微信支付与退款指南(示例详解)

    Go语言对接微信支付与退款指南(示例详解)

    在互联网技术日益发展的背景下,Go语言凭借并发处理能力,在后端开发中大放异彩,本文详细介绍如何使用Go语言对接微信支付,完成支付和退款功能,包括准备工作、初始化微信支付客户端、实现支付功能,以及处理支付回调和退款等
    2024-10-10
  • Golang中的select语句及其应用实例

    Golang中的select语句及其应用实例

    本文将介绍Golang中的select语句的使用方法和作用,并通过代码示例展示其在并发编程中的实际应用,此外,还提供了一些与select相关的面试题,帮助读者更好地理解和应用select语句
    2023-12-12
  • GO实现文件上传操作

    GO实现文件上传操作

    这篇文章主要为大家详细介绍了GO实现文件上传操作，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2022-07-07
  • Golang rabbitMQ生产者消费者实现示例

    Golang rabbitMQ生产者消费者实现示例

    这篇文章主要为大家介绍了Golang rabbitMQ生产者消费者实现的示例，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步早日升职加薪
    2022-04-04
  • 基于golang中container/list包的用法说明

    基于golang中container/list包的用法说明

    这篇文章主要介绍了基于golang中container/list包的用法说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2021-04-04
  • Go语言bufio库的全面指南与实战技巧详解

    Go语言bufio库的全面指南与实战技巧详解

    这篇文章主要为大家全面介绍一下 bufio 库的核心组件与功能,包括 Reader、Writer 和 Scanner 等并深入探讨它们在实际编程中的运用场景和技巧,感兴趣的可以了解下
    2024-01-01
  • Go语言中json序列化优化技巧

    Go语言中json序列化优化技巧

    在Go语言开发中,JSON因其简洁和广泛的兼容性,通常被用作数据交换的主要序列化格式,本文将探讨JSON希望对大家有所帮助序列化的一些局限性,也算是一个小坑吧,并给出一些常用的解决方案,
    2024-11-11
  • 从errors到pkg-errors详解Go语言中的错误处理指南

    从errors到pkg-errors详解Go语言中的错误处理指南

    错误处理是编程语言中的重要组成部分,它直接影响程序的可靠性和可维护性,本文将深入探讨Go语言中的错误处理,从标准库的errors包到第三方的pkg-errors库,帮助开发者掌握错误处理的最佳实践,提高代码的质量和可维护性
    2026-04-04
  • go循环依赖的最佳解决方案

    go循环依赖的最佳解决方案

      import cycle not allowed（循环依赖不被允许）相信作为每一个golang语言使用研发,都遇到过这个令人头痛的报错,循环依赖是指两个或多个模块之间互相依赖,形成了一个闭环的情况,本文会结合部分案例对解决方案进行讲解,需要的朋友可以参考下
    2023-10-10

最新评论