使用 go 实现多线程下载器的方法
更新时间：2021年10月08日 10:17:52 作者：qxcheng
本篇文章带领大家学习使用go实现一个简单的多线程下载器，给她家详细介绍了多线程下载原理及实例代码，感兴趣的朋友跟随小编一起看看吧
本篇文章我们用Go实现一个简单的多线程下载器。
1.多线程下载原理
通过判断下载文件链接返回头信息中的 Accept-Ranges 字段，如果为 bytes 则表示支持断点续传。
然后在请求头中设置 Range 字段为 bytes=[start]-[end]，以请求下载文件的分段部分，然后将所有分段合并为一个完整文件。
2.构造一个下载器
type HttpDownloader struct {
url string
filename string
contentLength int
acceptRanges bool // 是否支持断点续传
numThreads int // 同时下载线程数
}
2.1 为下载器提供初始化方法
func New(url string, numThreads int) *HttpDownloader {
var urlSplits []string = strings.Split(url, "/")
var filename string = urlSplits[len(urlSplits)-1]
res, err := http.Head(url)
check(err)
httpDownload := new(HttpDownloader)
httpDownload.url = url
httpDownload.contentLength = int(res.ContentLength)
httpDownload.numThreads = numThreads
httpDownload.filename = filename
if len(res.Header["Accept-Ranges"]) != 0 && res.Header["Accept-Ranges"][0] == "bytes" {
httpDownload.acceptRanges = true
} else {
httpDownload.acceptRanges = false
}
return httpDownload
}
3.实现下载综合调度逻辑
如果不支持多线程下载，就使用单线程下载。
func (h *HttpDownloader) Download() {
f, err := os.Create(h.filename)
check(err)
defer f.Close()
if h.acceptRanges == false {
fmt.Println("该文件不支持多线程下载，单线程下载中：")
resp, err := http.Get(h.url)
check(err)
save2file(h.filename, 0, resp)
} else {
var wg sync.WaitGroup
for _, ranges := range h.Split() {
fmt.Printf("多线程下载中:%d-%d\n", ranges[0], ranges[1])
wg.Add(1)
go func(start, end int) {
defer wg.Done()
h.download(start, end)
}(ranges[0], ranges[1])
}
wg.Wait()
}
}
3.1 下载文件分段
func (h *HttpDownloader) Split() [][]int {
ranges := [][]int{}
blockSize := h.contentLength / h.numThreads
for i:=0; i<h.numThreads; i++ {
var start int = i * blockSize
var end int = (i + 1) * blockSize - 1
if i == h.numThreads - 1 {
end = h.contentLength - 1
}
ranges = append(ranges, []int{start, end})
}
return ranges
}
3.2 子线程下载函数
func (h *HttpDownloader) download(start, end int) {
req, err := http.NewRequest("GET", h.url, nil)
check(err)
req.Header.Set("Range", fmt.Sprintf("bytes=%v-%v", start, end))
req.Header.Set("User-Agent", userAgent)
resp, err := http.DefaultClient.Do(req)
check(err)
defer resp.Body.Close()
save2file(h.filename, int64(start), resp)
}
4. 保存下载文件函数
func save2file(filename string, offset int64, resp *http.Response) {
f, err := os.OpenFile(filename, os.O_WRONLY, 0660)
check(err)
f.Seek(offset, 0)
defer f.Close()
content, err := ioutil.ReadAll(resp.Body)
check(err)
f.Write(content)
}
5.完整代码
package main
import (
"fmt"
"strings"
"log"
"os"
"net/http"
"sync"
"io/ioutil"
)
const (
userAgent = `Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36`
)
type HttpDownloader struct {
url string
filename string
contentLength int
acceptRanges bool // 是否支持断点续传
numThreads int // 同时下载线程数
}
func check(e error) {
if e != nil {
log.Println(e)
panic(e)
}
}
func New(url string, numThreads int) *HttpDownloader {
var urlSplits []string = strings.Split(url, "/")
var filename string = urlSplits[len(urlSplits)-1]
res, err := http.Head(url)
check(err)
httpDownload := new(HttpDownloader)
httpDownload.url = url
httpDownload.contentLength = int(res.ContentLength)
httpDownload.numThreads = numThreads
httpDownload.filename = filename
if len(res.Header["Accept-Ranges"]) != 0 && res.Header["Accept-Ranges"][0] == "bytes" {
httpDownload.acceptRanges = true
} else {
httpDownload.acceptRanges = false
}
return httpDownload
}
// 下载综合调度
func (h *HttpDownloader) Download() {
f, err := os.Create(h.filename)
check(err)
defer f.Close()
if h.acceptRanges == false {
fmt.Println("该文件不支持多线程下载，单线程下载中：")
resp, err := http.Get(h.url)
check(err)
save2file(h.filename, 0, resp)
} else {
var wg sync.WaitGroup
for _, ranges := range h.Split() {
fmt.Printf("多线程下载中:%d-%d\n", ranges[0], ranges[1])
wg.Add(1)
go func(start, end int) {
defer wg.Done()
h.download(start, end)
}(ranges[0], ranges[1])
}
wg.Wait()
}
}
// 下载文件分段
func (h *HttpDownloader) Split() [][]int {
ranges := [][]int{}
blockSize := h.contentLength / h.numThreads
for i:=0; i<h.numThreads; i++ {
var start int = i * blockSize
var end int = (i + 1) * blockSize - 1
if i == h.numThreads - 1 {
end = h.contentLength - 1
}
ranges = append(ranges, []int{start, end})
}
return ranges
}
// 多线程下载
func (h *HttpDownloader) download(start, end int) {
req, err := http.NewRequest("GET", h.url, nil)
check(err)
req.Header.Set("Range", fmt.Sprintf("bytes=%v-%v", start, end))
req.Header.Set("User-Agent", userAgent)
resp, err := http.DefaultClient.Do(req)
check(err)
defer resp.Body.Close()
save2file(h.filename, int64(start), resp)
}
// 保存文件
func save2file(filename string, offset int64, resp *http.Response) {
f, err := os.OpenFile(filename, os.O_WRONLY, 0660)
check(err)
f.Seek(offset, 0)
defer f.Close()
content, err := ioutil.ReadAll(resp.Body)
check(err)
f.Write(content)
}
func main() {
var url string = "https://dl.softmgr.qq.com/original/im/QQ9.5.0.27852.exe"
httpDownload := New(url, 4)
fmt.Printf("Bool:%v\nContent:%d\n", httpDownload.acceptRanges, httpDownload.contentLength)
httpDownload.Download()
}
到此这篇关于使用 go 实现多线程下载器的文章就介绍到这了,更多相关go多线程下载器内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
本篇文章将详细介绍如何正确地实现Redis分布式锁，下面通过一个项目基于 Redis 的分布式锁能够提供哪些分布锁特性，本文给大家介绍的非常详细，需要的朋友参考下吧2021-06-06
这篇文章主要为大家介绍了go sync Once实现原理示例解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-01-01
CSV（逗号分隔值）文件是一种常见的数据存储格式,广泛应用于数据导入、导出、分析和交换等场景,在Golang中,有许多库和工具可以帮助我们读取和写入CSV文件,使数据处理变得简单而高效,本文将深入探讨如何在Golang中使用标准库以及第三方库来读写CSV文件2023-11-11
在现代应用中,定时任务是非常常见的需求,无论是用于定时清理数据,还是定时执行系统维护任务,下面我们就来使用Go语言封装一个Cron定时任务管理器吧2024-12-12
这篇文章主要介绍了使用 Go 管理版本的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-10-10
这篇文章主要介绍了Go语言实现定时器的方法,涉及Go语言时间操作技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-02-02
或许您是从其他语言转到GO语言这边的,那麽在其他语言的影响下您可能会不太适应GO语言的数组,因为GO语言把数组给拆分成了array,slice和map,需要的朋友可以参考下2015-01-01
在Go 语言中,值接收者和指针接收者是方法定义中的两种接收者类型,本文主要介绍了go 指针接收者和值接收者的区别小结,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习吧2025-04-04
这篇文章主要介绍了使用Go语言创建WebSocket服务的实现示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-03-03
本文将会基于这个主题展开,讨论Go中的结构体tag究竟是什么,我们该如何利用它,另外,文末还提供了一个实际案例,实现结构体字段级别的访问,帮助我们进一步提升对struct tag的理解2024-02-02
最新评论