Go语言Seeker接口与文件断点续传实战教程

 更新时间:2024年10月15日 14:34:43   作者:景天科技苑  
Go语言的io包中Seeker接口为大文件处理或需要随机访问的场景提供了强大的支持,本文通过具体案例详细介绍了Seeker接口的应用,包括随机访问大文件、断点续传等场景,以及如何使用Seeker接口进行有效的文件读写操作

Seeker接口

在现代软件开发中,高效的输入输出(I/O)操作是提高程序性能的关键之一。特别是在处理大量数据时,I/O操作的效率直接影响到应用程序的响应速度和用户体验。Go语言标准库中的io包提供了一系列接口,用于处理各种I/O操作,其中Seeker接口在处理大文件或需要随机访问的场景中非常有用。本文将结合具体案例,详细介绍Go语言中io包的Seeker接口的用法。

一、Seeker接口简介

设置光标的位置,通过设置的光标位置来读写文件
用于在数据流中将光标跳转到指定的位置

Seeker接口表示一个定位器,可以用来定位文件或流的位置。其定义如下:

type Seeker interface {  
    Seek(offset int64, whence int) (int64, error)  
}

Seek方法接受两个参数:

offset:相对位移量,表示从起始位置移动的字节数。
whence:起始位置,可以是以下三个常量之一:

  • io.SeekStart:从文件开头开始计算偏移量。
  • io.SeekCurrent:从当前文件指针位置开始计算偏移量。
  • io.SeekEnd:从文件末尾开始计算偏移量(此时offset通常为负数,表示向前移动)。

Seek方法返回两个值:

  • position:移动后的文件指针位置(相对于文件开头的字节数)。
  • err:可能发生的错误。

二、Seeker接口的应用场景

随机访问大文件:对于非常大的文件,通过Seek方法可以直接定位到文件的任意位置进行读写操作,而不需要从头开始遍历文件。
断点续传:在网络传输或文件复制等场景中,如果传输过程中断,可以通过Seek方法定位到上次传输的断点,继续传输剩余的数据。
日志文件分析:对于包含多条记录的日志文件,可以通过Seek方法快速定位到特定记录的位置,进行日志分析或错误排查。

三、Seeker接口的使用示例

以下是一个结合具体案例的示例代码,展示了如何使用Seeker接口来定位文件位置并进行读写操作。
File对象实现了Seeker接口

file对象可以直接调用Seek方法
我们先看下a.txt文件

代码示例:

package main
import (
    "fmt"
    "io"
    "os"
)
func main() {
    // 读取文件
    file, _ := os.OpenFile("F:\\goworks\\src\\jingtian\\yufa\\io操作\\a.txt", os.O_RDWR, os.ModePerm)
    // defer close
    defer file.Close()
    // 测试seek
    // 相对开始位置。io.SeekStart
    // 相对于文件末尾, io.SeekEnd
    // func (f *File) Seek(offset int64, whence int) (ret int64, err error)
    //相对于开始位置,光标偏移两个字节
    file.Seek(2, io.SeekStart)
    //创建一个字节的buffer
    buf := []byte{0}
    file.Read(buf)
    fmt.Println(string(buf)) // n
    //Read读了一个字节, 光标现在在3这个位置
    // 相对于当前位置
    file.Seek(3, io.SeekCurrent)
    file.Read(buf)
    fmt.Println(string(buf)) // a
    // 在结尾追加内容
    //相对于结束位置偏移0,光标就设在了结束位置
    file.Seek(0, io.SeekEnd)
    //写入内容
    file.WriteString("hahahaha")
}

运行

再看下a.txt,可见在末尾写入了我们指定的内容

四、断点续传

断点续传是在下载或上传时,将下载或上传任务(一个文件或一个压缩包)人为的划分为几个部分,每一个部分采用一个线程进行上传或下载,如果碰到网络故障,可以从已经上传或下载的部分开始继续上传或者下载未完成的部分,而没有必要从头开始上传或者下载。

go语言实现断点续传的思路:
使用临时文件记录中断位置.
1.文件上传时,先创建上传一个新的文件
2.创建记录中断位置的临时文件,需要记住上一次传递了多少数据、temp.txt
3.设置文件读写偏移量,如果被暂停或者中断了,我们就可以读取这个temp.txt的记录,恢复上传
4.上传完成后,删除临时文件

package main
import (
    "fmt"
    "io"
    "os"
    "strconv"
)
// 断点续传
func main() {
    // 传输源文件地址
    srcFile := "D:\\downloads\\mingw.7z"
    // 传输的目标位置
    destFile := "F:\\goworks\\src\\jingtian\\yufa\\io操作\\server\\mingw.7z"
    // 临时记录文件
    tempFile := "F:\\goworks\\src\\jingtian\\yufa\\io操作\\temp.txt"
    // 创建对应的file对象,连接起来
    file1, _ := os.Open(srcFile)
    file2, _ := os.OpenFile(destFile, os.O_CREATE|os.O_RDWR, os.ModePerm)
    file3, _ := os.OpenFile(tempFile, os.O_CREATE|os.O_RDWR, os.ModePerm)
    defer file1.Close()
    defer file2.Close()
    fmt.Println("file1/2/3 文件连接建立完毕")
    // 1、读取temp.txt
    file3.Seek(0, io.SeekStart)
    buf := make([]byte, 1024)
    n, _ := file3.Read(buf) //这里的n是读取file3中的字符的个数,比如1024,得到的n是4.所以要借助string转
    //查看返回的n的数据类型
    fmt.Printf("查看n的数据类型%T\n", n)
    fmt.Println("n的值为", n)
    // 2、先转换成string,然后再转换成数字。
    countStr := string(buf[:n])
    count, _ := strconv.ParseInt(countStr, 10, 64)
    fmt.Println("temp.txt中记录的值为:", count) // 5120
    // 3、设置读写的偏移量,offset是int64数据类型
    file1.Seek(count, io.SeekStart)
    file2.Seek(count, io.SeekStart)
    fmt.Println("file1/2 光标已经移动到了目标位置")
    // 4、开始读写(复制、上传)
    bufData := make([]byte, 1024)
    // 5、需要记录读取了多少个字节
    total := int(count)
    for {
        fmt.Println("传输了,", total)
        // 读取数据
        readNum, err := file1.Read(bufData)
        if err == io.EOF || readNum == 0 { // file1 读取完毕了
            fmt.Println("文件传输完毕了")
            //上传完文件再关闭临时文件file3
            file3.Close()
            os.Remove(tempFile)
            break
        }
        // 向目标文件中写入数据,返回写的字节数和错误
        writeNum, err := file2.Write(bufData[:readNum])
        // 将写入数据放到 total中, 在这里total 就是传输的进度
        total = total + writeNum
        // temp.txt 存放临时记录数据
        file3.Seek(0, io.SeekStart) // 将光标重置到开头
        //将数字转换成字符串写入,这里total逐渐变大不存在覆盖不完的问题。如果存在覆盖不完问题,使用os.Truncate(fileName, 0)来清空文件内容
        // os.Truncate(fileName, 0) 截取指定长度字节的内容,其余内容会被删除
        file3.WriteString(strconv.Itoa(total))
        //模拟断电
        //if total > 10000 {
        //    panic("断电了")
        //}
    }
}

模拟传输过程中出现问题,比如断电

恢复电后继续上传

到此这篇关于Go语言Seeker接口与文件断点续传实战的文章就介绍到这了,更多相关Go断点续传内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 用GO实现IP门禁优化网络流量管理

    用GO实现IP门禁优化网络流量管理

    这篇文章主要为大家介绍了用GO实现IP门禁优化网络流量管理,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-12-12
  • go语言结构体指针操作示例详解

    go语言结构体指针操作示例详解

    这篇文章主要为大家介绍了go语言结构体指针操作示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步早日升职加薪
    2022-04-04
  • 使用Golang实现加权负载均衡算法的实现代码

    使用Golang实现加权负载均衡算法的实现代码

    这篇文章主要介绍了使用Golang实现加权负载均衡算法的实现代码,详细说明权重转发算法的实现,通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-09-09
  • Go语言非main包编译为静态库并使用的示例代码

    Go语言非main包编译为静态库并使用的示例代码

    本文以Windows为例,介绍一下如何将Go的非main包编译为静态库,用户又将如何使用。通过实际项目创建常规工程,通过示例代码给大家介绍的非常详细,需要的朋友参考下吧
    2021-07-07
  • 8种超简单的Golang生成随机字符串方式分享

    8种超简单的Golang生成随机字符串方式分享

    这篇文章主要为大家详细介绍了8种超简单的Golang生成随机字符串方式,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
    2024-01-01
  • Golang有类型常量和无类型常量的区别

    Golang有类型常量和无类型常量的区别

    本文主要介绍了Golang有类型常量和无类型常量的区别,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-04-04
  • Golang Mutex互斥锁源码分析

    Golang Mutex互斥锁源码分析

    本篇文章,我们将一起来探究下Golang Mutex底层是如何实现的,知其然,更要知其所以然。文中的示例代码讲解详细,感兴趣的可以了解一下
    2022-10-10
  • go语言使用io和bufio包进行流操作示例详解

    go语言使用io和bufio包进行流操作示例详解

    这篇文章主要为大家介绍了go语言使用io和bufio包进行流操作示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-08-08
  • Go语言函数的延迟调用(Deferred Code)详解

    Go语言函数的延迟调用(Deferred Code)详解

    本文将介绍Go语言函数和方法中的延迟调用,正如名称一样,这部分定义不会立即执行,一般会在函数返回前再被调用,我们通过一些示例来了解一下延迟调用的使用场景
    2022-07-07
  • 一文让你理解go语言的Context

    一文让你理解go语言的Context

    在Go语言中,Context(上下文)是一个类型,用于在程序中传递请求范围的值、截止时间、取消信号和其他与请求相关的上下文信息,它在多个goroutine之间传递这些值,使得并发编程更加可靠和简单,本文详细介绍go语言的Context,需要的朋友可以参考下
    2023-05-05

最新评论