Golang 实现分片读取http超大文件流和并发控制

resp, err := http.Get(sendUrl)
if err != nil {
 fmt.Println("出错", err)
 return
}

for {
  n, err:= resp.Body.Read(buf)
 if err != nil || n == 0{
 fmt.Println("出现错误")
 break
 }
 result += string(buf[:n])
}

// 解析，编译正则表达式
ret := regexp.MustCompile(`<img width="100" alt="(?:(.*?))"`)
//提取需要信息
var fileName [][] string = ret.FindAllStringSubmatch(result, -1)

func toWork(start, end int) {
 //子Go程与主Go程完成同步，意思是子Go程没有全部执行完毕，主Go程不许退出。
 page := make(chan int) 

 for i:=start; i<=end; i++ {
 //开启子GO程
 go SpiderPage(i, page)
 }
 //主GO程开始消费管道中的数据
 for i:=start; i<=end; i++ {
 fmt.Println("爬取完成", <- page)
 }
}

func SpiderPage(index int, page chan int) {
 page <- index
}

func saveImag(sendUrl string, index int, imageChannel chan int) {
 //创建文件
 path := "C:/img/" + strconv.Itoa(index) + ".jpg"
 f, err := os.Create(path)
 if err != nil {
 return
 }
 defer f.Close()
 //获取http流
 resp, err :=http.Get(sendUrl)
 if err != nil {
 return
 }
 defer resp.Body.Close()
 //分片逐步写入
 buf := make([]byte, 4096)
 for {
 n, err := resp.Body.Read(buf)
 if err != nil {
  break
 }
 f.Write(buf[:n])
 }
 imageChannel <- index
}

func (d Data) GetFileBytes(key string) ([]byte, error) {
 fileHeader, found := d.Files[key]
 if !found {
 return nil, nil
 } else {
 file, err := fileHeader.Open()
 if err != nil {
  return nil, err
 }
 return ioutil.ReadAll(file)
 }
}

func (d Data) GetFileReader(key string) (io.Reader, error) {
 fileHeader, found := d.Files[key]
 if !found {
 return nil, nil
 } else {
 file, err := fileHeader.Open()
 if err != nil {
  return nil, err
 }
 return file, nil
 }
}

 userData, err := forms.Parse(c.Request)
  if err != nil {
  log.Printf("parse错误：%v", err)
  return
  }
  header := userData.GetFile("file")
  fileReader, err := userData.GetFileReader("file")
  if err != nil {
  log.Printf("获取reader错误：%v", err)
  return
  }
  file, _ := os.Create(header.Filename)
  io.Copy(file, fileReader)