JS前端分片上传大文件步骤(支持1G以上的超大文件)

 更新时间:2024年08月02日 09:20:09   作者:蟹黄汤包_  
当前端在开发过程中遇到上传文件需求,如果是小文件之类的可以正常按上传流程处理,但是当遇到上传大文件需求时就需要分片上传,这篇文章主要给大家介绍了关于JS前端分片上传大文件(支持1G以上的超大文件)的相关资料,需要的朋友可以参考下

什么时候需要分片上传?

如果将大文件一次性上传,耗时会非常长,甚至可能传输失败,那么我们怎么解决这个问题呢?既然大文件上传不适合一次性上传,那么我们可以尝试将文件分片散上传。

这样的技术就叫做分片上传。分片上传就是将大文件分成一个个小文件(切片),将切片进行上传,等到后端接收到所有切片,再将切片合并成大文件。通过将大文件拆分成多个小文件进行上传,确实就是解决了大文件上传的问题。因为请求时可以并发执行的,这样的话每个请求时间就会缩短,如果某个请求发送失败,也不需要全部重新发送。

分片上传流程

获取文件专属MD5码

import sparkMD5 from 'spark-md5' // 安装下spark-md5包
// 定义hash函数,接受一个名为chunks的数组作为参数
hash = (chunks) => {
  // 返回一个Promise,这样调用者可以使用.then()或async/await来处理结果
  return new Promise((resolve) => {
    // 创建一个新的sparkMD5实例,用于计算MD5哈希值
    const spark = new sparkMD5();

    // 定义一个递归函数_read,用于逐个处理chunks数组中的blob
    function _read(i) {
      // 如果索引i大于等于chunks数组的长度,说明所有blob都已经处理完毕
      if (i >= chunks.length) {
        // 调用sparkMD5实例的end方法,并传入resolve回调,以返回最终的哈希值
        resolve(spark.end());
        return; // 读取完成,退出函数
      }

      // 获取当前索引i对应的blob
      const blob = chunks[i];

      // 创建一个新的FileReader实例,用于读取blob的内容
      const reader = new FileReader();

      // 设置FileReader的onload事件处理函数,当blob内容读取完成后调用
      reader.onload = e => {
        // 从事件对象e中获取读取到的字节数组
        const bytes = e.target.result;

        // 将字节数组添加到sparkMD5实例中,用于计算哈希值
        spark.append(bytes);

        // 递归调用_read函数,处理下一个blob
        _read(i + 1);
      };

      // 以ArrayBuffer格式异步读取当前blob的内容
      reader.readAsArrayBuffer(blob); // 这里是读取操作开始的地方
    }

    // 从索引0开始,调用_read函数,处理chunks数组中的第一个blob
    _read(0);
  });
};

解析:

在这个函数中,_read 函数是一个递归函数,它会逐个处理 chunks 数组中的每个 blob。对于每个 blob,它使用 FileReader 的 readAsArrayBuffer 方法异步读取内容,并在内容读取完成后通过 onload 事件处理函数将读取到的字节数组添加到 sparkMD5 实例中。当所有 blob 都处理完毕后,sparkMD5 实例的 end 方法被调用,并返回最终的哈希值,这个值随后通过Promise的 resolve 方法传递给调用者。

在这个函数中,当用户选择一个文件后,readAsArrayBuffer开始异步读取文件内容。一旦文件内容被读取并转换为ArrayBuffer,onload事件处理程序就会被调用,你可以在这个事件处理程序中访问到ArrayBuffer对象,并对其进行处理。ArrayBuffer对象代表原始的二进制数据

接口1:传MD5码获取该文件已上传的片数

调用上面的方法hash()

const md5Str = await this.hash(chunksList);
/* 这里写发送md5Str【接口1】 的方法,获取已上传片数 */

接口2:将文件分片成promise请求数组

1.文件分片

chunkFile = (file, chunksize) => {  
    const chunks = Math.ceil(file.size / chunksize);  
    const chunksList = [];  
    let currentChunk = 0;  
    while (currentChunk < chunks) {  
        const start = currentChunk * chunksize;  
        const end = Math.min(file.size, start + chunksize);  
        const chunk = file.slice(start, end);  
        chunksList.push(chunk);  
        currentChunk++;  
    }  
    return chunksList;  
};

2.封装成promise请求

chunkPromise = data => { //每个分片的请求
	return new Promise((resolve, reject) => { 
		/* 这里写上传的 【接口2】,传data过去*/
	}).catch(err => {
		message.error(err.msg);
		reject();
	})
}
	 const promiseList = []
	 const chunkList = chunkFile(file, size)
	 chunkList.map(item => {
	 const formData = new FormData();
	 formData.append('file', item)
	 // limit是线程池组件 后面会写
	 promiseList.push(limit(() => this.chunkPromise(formData, chunks)))
})

promise请求数组做线程池限制处理 p-limit

p-limit npm 包是一个实用工具,它允许你限制同时运行的 Promise 数量。当你拥有可以在并行中运行的操作,但由于资源限制想要限制这些操作的数量时,这个工具就很有用,有助于控制并发性。

p-limit npm地址官方案例:

const pLimit = require('p-limit');
const limit = pLimit(2);

const input = [
  limit(() => fetchSomething('foo')),
  limit(() => fetchSomething('bar')),
  limit(() => doSomethingElse()),
];

// Only two promises will run at once, the rest will be queued
Promise.all(input).then(results => {
  console.log(results);
});

接口3:promise.all执行结束后,请求一个是否合并成功的接口

	Promise.all(promiseList).then(res =>{
		// 这里写接口3 问后端是否合并成功了
	}).catch(err => {
		message.error(err.msg);
	})

完整主函数

分片大小建议不超过最大不超过5M

const md5Str = await this.hash(chunksList);
/* 这里写发送md5Str【接口1】 的方法,获取已上传片数 */
const promiseList = []
const chunkList = this.chunkFile(file, size)
chunkList.map(item => {
	const formData = new FormData();
	formData.append('file', item)
	promiseList.push(limit(() => this.chunkPromise(formData, chunks))) // 【接口2 在this.chunkPromise里】
}
Promise.all(promiseList).then(res =>{
		// 这里写【接口3】 问后端是否合并成功了
	}).catch(err => {
		message.error(err.msg);
	})

待优化的地方: 使用Web Workers进行分片上传

Web Workers在后台线程中运行,它们不会阻塞主线程,这意味着主线程可以继续响应用户的操作,如界面渲染和交互。在分片上传过程中,每个文件块可以在单独的Worker中处理,从而实现并行处理,大大提高了上传速度。同时,由于Worker不会与主线程共享内存,因此可以避免内存竞争和阻塞,进一步提升了性能。

总结

到此这篇关于JS前端分片上传大文件的文章就介绍到这了,更多相关JS前端分片上传大文件内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • JavaScript获取页面上被选中文字的方法技巧

    JavaScript获取页面上被选中文字的方法技巧

    这篇文章主要介绍了JavaScript获取页面上被选中文字的方法技巧,本文直接给出实现代码和运行效果,需要的朋友可以参考下
    2015-03-03
  • javascript parseInt() 函数的进制转换注意细节

    javascript parseInt() 函数的进制转换注意细节

    parseInt(string, radix) 有2个参数,第一个string 是传入的数值,第二个radix是 传入数值的进制,参数radix 可以忽略,默认为 10,各种进制的数转换为 十进制整数,接下来详细介绍,感兴趣的朋友可以了解下哦
    2013-01-01
  • 实用的Javascript调试技巧整理

    实用的Javascript调试技巧整理

    这篇文章介绍了Javascript的调试技巧,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-06-06
  • JavaScript console对象与控制台使用示例详解

    JavaScript console对象与控制台使用示例详解

    这篇文章主要介绍了JavaScript console对象与控制台的使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习吧
    2022-10-10
  • js如何改变文章的字体大小

    js如何改变文章的字体大小

    这篇文章主要介绍了js改变文章字体大小的方法,大家在使用word文档时工具栏为大家提供更改字体大小的选项,那js是如何改变文章字体大小,下文为大家揭晓,需要的朋友可以参考下
    2016-01-01
  • 使用electron实现百度网盘悬浮窗口功能的示例代码

    使用electron实现百度网盘悬浮窗口功能的示例代码

    这篇文章主要介绍了使用electron实现百度网盘悬浮窗口功能的示例代码,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-10-10
  • MQTT.js 入门使用教程

    MQTT.js 入门使用教程

    MQTT.js 是一个开源的 MQTT 协议的客户端库,使用 JavaScript 编写,主要用于 Node.js 和 浏览器环境中,这篇文章主要介绍了MQTT.js 入门教程,需要的朋友可以参考下
    2023-04-04
  • IE事件对象(The Internet Explorer Event Object)

    IE事件对象(The Internet Explorer Event Object)

    不同于DOM事件对象,基于Event Handler授权这种方式,IE事件对象可以用不同的方式进行访问。当一个事件Handler通过DOM 0 级的方式被授权,则这个事件对象将作为window对象的属性而存在
    2012-06-06
  • 解决localstorage存储boolean类型值的小坑

    解决localstorage存储boolean类型值的小坑

    这篇文章主要介绍了解决localstorage存储boolean类型值的小坑,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-06-06
  • javascript实现画板功能

    javascript实现画板功能

    这篇文章主要为大家详细介绍了javascript实现画板功能,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-04-04

最新评论