断点续传

Leo_wlCnBlogs Leo_wlCnBlogs     2022-08-09     648

关键词:

早就听说过断点续传这种东西,前端也可以实现一下

断点续传在前端的实现主要依赖着HTML5的新特性,所以一般来说在老旧浏览器上支持度是不高的

本文通过断点续传的简单例子(前端文件提交+后端PHP文件接收),理解其大致的实现过程

还是先以图片为例,看看最后的样子

 

一、一些知识准备

断点续传,既然有断,那就应该有文件分割的过程,一段一段的传。

以前文件无法分割,但随着HTML5新特性的引入,类似普通字符串、数组的分割,我们可以可以使用slice方法来分割文件。

所以断点续传的最基本实现也就是:前端通过FileList对象获取到相应的文件,按照指定的分割方式将大文件分段,然后一段一段地传给后端,后端再按顺序一段段将文件进行拼接。

而我们需要对FileList对象进行修改再提交,在之前的文章中知晓了这种提交的一些注意点,因为FileList对象不能直接更改,所以不能直接通过表单的.submit()方法上传提交,需要结合FormData对象生成一个新的数据,通过Ajax进行上传操作。

 

二、实现过程

这个例子实现了文件断点续传的基本功能,不过手动的“暂停上传”操作还未实现成功,可以在上传过程中刷新页面来模拟上传的中断,体验“断点续传”、

有可能还有其他一些小bug,但基本逻辑大致如此。

 

1. 前端实现

首先选择文件,列出选中的文件列表信息,然后可以自定义的做上传操作

(1)所以先设置好页面DOM结构

复制代码
        <!-- 上传的表单 -->
        <form method="post" id="myForm" action="/fileTest.php" enctype="multipart/form-data">
            <input type="file" id="myFile" multiple>
            <!-- 上传的文件列表 -->
            <table id="upload-list">
                <thead>
                    <tr>
                        <th width="35%">文件名</th>
                        <th width="15%">文件类型</th>
                        <th width="15%">文件大小</th>
                        <th width="20%">上传进度</th>
                        <th width="15%">
                            <input type="button" id="upload-all-btn" value="全部上传">
                        </th>
                    </tr>
                </thead>
                <tbody>
                </tbody>
            </table>
        </form>
        <!-- 上传文件列表中每个文件的信息模版 -->
        <script type="text/template" id="file-upload-tpl">
            <tr>
                <td>{{fileName}}</td>
                  <td>{{fileType}}</td>
                  <td>{{fileSize}}</td>
                  <td class="upload-progress">{{progress}}</td>
                  <td>
                      <input type="button" class="upload-item-btn"  data-name="{{fileName}}" data-size="{{totalSize}}" data-state="default" value="{{uploadVal}}">
                  </td>
              </tr>
        </script>
复制代码

这里一并将CSS样式扔出来

 View Code

 

(2)接下来是JS的实现解析

通过FileList对象我们能获取到文件的一些信息

其中的size就是文件的大小,文件的分分割分片需要依赖这个

这里的size是字节数,所以在界面显示文件大小时,可以这样转化

复制代码
             // 计算文件大小
                    size = file.size > 1024
                        ? file.size / 1024  > 1024
                        ? file.size / (1024 * 1024) > 1024
                        ? (file.size / (1024 * 1024 * 1024)).toFixed(2) + 'GB'
                        : (file.size / (1024 * 1024)).toFixed(2) + 'MB'
                        : (file.size / 1024).toFixed(2) + 'KB'
                        : (file.size).toFixed(2) + 'B';            
复制代码

选择文件后显示文件的信息,在模版中替换一下数据

复制代码
                    // 更新文件信息列表
                    uploadItem.push(uploadItemTpl
                        .replace(/{{fileName}}/g, file.name)
                        .replace('{{fileType}}', file.type || file.name.match(/\.\w+$/) + '文件')
                        .replace('{{fileSize}}', size)
                        .replace('{{progress}}', progress)
                        .replace('{{totalSize}}', file.size)
                        .replace('{{uploadVal}}', uploadVal)
                    );            
复制代码

不过,在显示文件信息的时候,可能这个文件之前之前已经上传过了,为了断点续传,需要判断并在界面上做出提示

通过查询本地看是否有相应的数据(这里的做法是当本地记录的是已经上传100%时,就直接是重新上传而不是继续上传了)

复制代码
             // 初始通过本地记录,判断该文件是否曾经上传过
                    percent = window.localStorage.getItem(file.name + '_p');

                    if (percent && percent !== '100.0') {
                        progress = '已上传 ' + percent + '%';
                        uploadVal = '继续上传';
                    }    
复制代码

显示了文件信息列表

点击开始上传,可以上传相应的文件

上传文件的时候需要就将文件进行分片分段

比如这里配置的每段1024B,总共chunks段(用来判断是否为末段),第chunk段,当前已上传的百分比percent等

需要提一下的是这个暂停上传的操作,其实我还没实现出来,暂停不了无奈ing...

 

接下来是分段过程

复制代码
            // 设置分片的开始结尾
                    var blobFrom = chunk * eachSize, // 分段开始
                        blobTo = (chunk + 1) * eachSize > totalSize ? totalSize : (chunk + 1) * eachSize, // 分段结尾
                        percent = (100 * blobTo / totalSize).toFixed(1), // 已上传的百分比
                        timeout = 5000, // 超时时间
                        fd = new FormData($('#myForm')[0]);

                    fd.append('theFile', findTheFile(fileName).slice(blobFrom, blobTo)); // 分好段的文件
                    fd.append('fileName', fileName); // 文件名
                    fd.append('totalSize', totalSize); // 文件总大小
                    fd.append('isLastChunk', isLastChunk); // 是否为末段
                    fd.append('isFirstUpload', times === 'first' ? 1 : 0); // 是否是第一段(第一次上传)
复制代码
            // 上传之前查询是否以及上传过分片
                    chunk = window.localStorage.getItem(fileName + '_chunk') || 0;
                    chunk = parseInt(chunk, 10);

文件应该支持覆盖上传,所以如果文件以及上传完了,现在再上传,应该重置数据以支持覆盖(不然后端就直接追加blob数据了)

            // 如果第一次上传就为末分片,即文件已经上传完成,则重新覆盖上传
                    if (times === 'first' && isLastChunk === 1) {
                        window.localStorage.setItem(fileName + '_chunk', 0);
                        chunk = 0;
                        isLastChunk = 0;
                    }

这个times其实就是个参数,因为要在上一分段传完之后再传下一分段,所以这里的做法是在回调中继续调用这个上传操作

接下来就是真正的文件上传操作了,用Ajax上传,因为用到了FormData对象,所以不要忘了在$.ajax({}加上这个配置processData: false

上传了一个分段,通过返回的结果判断是否上传完毕,是否继续上传

复制代码
                    success: function(rs) {
                            rs = JSON.parse(rs);

                            // 上传成功
                            if (rs.status === 200) {
                                // 记录已经上传的百分比
                                window.localStorage.setItem(fileName + '_p', percent);

                                // 已经上传完毕
                                if (chunk === (chunks - 1)) {
                                    $progress.text(msg['done']);
                                    $this.val('已经上传').prop('disabled', true).css('cursor', 'not-allowed');
                                    if (!$('#upload-list').find('.upload-item-btn:not(:disabled)').length) {
                                        $('#upload-all-btn').val('已经上传').prop('disabled', true).css('cursor', 'not-allowed');
                                    }
                                } else {
                                    // 记录已经上传的分片
                                    window.localStorage.setItem(fileName + '_chunk', ++chunk);

                                    $progress.text(msg['in'] + percent + '%');
                                    // 这样设置可以暂停,但点击后动态的设置就暂停不了..
                                    // if (chunk == 10) {
                                    //     isPaused = 1;
                                    // }
                                    console.log(isPaused);
                                    if (!isPaused) {
                                        startUpload();
                                    }

                                }
                            }
                            // 上传失败,上传失败分很多种情况,具体按实际来设置
                            else if (rs.status === 500) {
                                $progress.text(msg['failed']);
                            }
                        },
                        error: function() {
                            $progress.text(msg['failed']);
                        }
复制代码

继续下一分段的上传时,就进行了递归操作,按顺序地上传下一分段

截个图..

这是完整的JS逻辑,代码有点儿注释了应该不难看懂吧哈哈

 View Code

 

2. 后端实现

这里的后端实现还是比较简单的,主要用依赖了 file_put_contents、file_get_contents 这两个方法

要注意一下,通过FormData对象上传的文件对象,在PHP中也是通过$_FILES全局对象获取的,还有为了避免上传后文件中文的乱码,用一下iconv

断点续传支持文件的覆盖,所以如果已经存在完整的文件,就将其删除

    // 如果第一次上传的时候,该文件已经存在,则删除文件重新上传
        if ($isFirstUpload == '1' && file_exists('upload/'. $fileName) && filesize('upload/'. $fileName) == $totalSize) {
            unlink('upload/'. $fileName);
        }

使用上述的两个方法,进行文件信息的追加,别忘了加上 FILE_APPEND 这个参数~

复制代码
      // 继续追加文件数据
        if (!file_put_contents('upload/'. $fileName, file_get_contents($_FILES['theFile']['tmp_name']), FILE_APPEND)) {
            $status = 501;
        } else {
            // 在上传的最后片段时,检测文件是否完整(大小是否一致)
            if ($isLastChunk === '1') {
                if (filesize('upload/'. $fileName) == $totalSize) {
                    $status = 200;
                } else {
                    $status = 502;
                }
            } else {
                $status = 200;
            }
        }
复制代码

一般在传完后都需要进行文件的校验吧,所以这里简单校验了文件大小是否一致

根据实际需求的不同有不同的错误处理方法,这里就先不多处理了

 

完整的PHP部分

 View Code

 

先到这儿~

 

[-_-]眼睛累了吧,注意劳逸结合呀[-_-]
 
分类: JavaScript

断点续传基本原理初了解

断点续传的理解可以分为两部分:一部分是断点,一部分是续传。断点的由来是在下载过程中,将一个下载文件分成了多个部分,同时进行多个部分一起的下载,当某个时间点,任务被暂停了,此时下载暂停的位置就是断点了。... 查看详情

前端实现文件的断点续传

 早就听说过断点续传这种东西,前端也可以实现一下断点续传在前端的实现主要依赖着HTML5的新特性,所以一般来说在老旧浏览器上支持度是不高的 本文通过断点续传的简单例子(前端文件提交+后端PHP文件接收),理解... 查看详情

前端实现文件的断点续传

早就听说过断点续传这种东西,前端也可以实现一下断点续传在前端的实现主要依赖着HTML5的新特性,所以一般来说在老旧浏览器上支持度是不高的本文通过断点续传的简单例子(前端文件提交+后端PHP文件接收),理解其大致的... 查看详情

前端实现文件的断点续传

早就听说过断点续传这种东西,前端也可以实现一下断点续传在前端的实现主要依赖着HTML5的新特性,所以一般来说在老旧浏览器上支持度是不高的本文通过断点续传的简单例子(前端文件提交+后端PHP文件接收),理解其大致的... 查看详情

ftp之断点续传

os.path.exists(abs_path) 查看详情

断点续传实现

断点续传实现:简单来说应该分为两个角度来看待:1、将要续传的文件2、续传的文件一、将要续传的文件先说说将要续传的文件,既然是续传,那么肯定要有个标识,举例说明一下:  事先准备一个文件,大小是1852... 查看详情

掀开断点续传那一层面纱(下载篇)

1、简介  这一篇文章主要介绍的是http协议下载时的断点续传,详细到各个步骤。主要步骤有:DNS查找、TCP三次握手、http请求发送、TCP协议数据传输、暂停后的状态、继续下载、TCP三次握手、http请求发送、数据传输、。。。... 查看详情

断点续传

虽然断点续传已经会了,也知道一些原理,但是总感觉没有吃透,就像别人给我一个东西,告诉我要这么做,但却不是很明白为什么要这么做,这里看到一篇文章,不算难,也不多,算是对理论... 查看详情

为啥chrome还不支持断点续传

参考技术Achrome内建下载是支持断点续传的只是有些下载服务器不支持而已 查看详情

scp断点续传

linux命令rsync-P--rsh=sshhomefile.zip[email protected]:/home/remote.zip这个命令的含义:-P断点续传-rshssh远程shellhomefile.zip本地文件[email protected]:/home/remote.zip 远程主机上的目的文件root是远程用户名 查看详情

文件下载之断点续传(客户端与服务端的实现)

【转】文件下载之断点续传(客户端与服务端的实现)【转】文件下载之断点续传(客户端与服务端的实现)前面讲了文件的上传,今天来聊聊文件的下载。老规矩,还是从最简单粗暴的开始。那么多简单算简单?多粗暴算粗暴... 查看详情

断点续传下载原理实现

...览器显示下载进度动态创建的文件希望能够分段下载HTTP断点续传报文要实现HTTP断点续传必须要简单了解以下几个报文。Accept-Ranges告诉客户端(浏览器..)服务器端支持断点续传 服务器端返回Range客户端告诉服务器端从指定的的... 查看详情

如何让chrome断点续传

...也有自己的下载系统,而且速度还不错,只是好像不支持断点续传。你可以在迅雷的链接上面点右键,复制链接地址,然后到迅雷里面去新建一个任务,把地址复制到目标地址上面就可以了参考技术A看了GOOGLE还在研究这个功能... 查看详情

http断点续传原理

这周完成了一个断点续传的功能。我们的游戏里加载地图的逻辑简化而言是这样:1.首先用本地的md5文件校验地图文件(很多文件)是否完整。(中间有很多步骤,任何步骤失败都认为地图不完整)2.如果完整,直接加载地图。3.... 查看详情

http协议断点续传

usingSystem;usingSystem.Collections.Generic;usingSystem.IO;usingSystem.Linq;usingSystem.Net;usingSystem.Text;namespaceHttpDemo{   classProgram   {     查看详情

断点续传和分块上传

#pragmamark 异步上传-(void)uploadObjectAsync:(NSString*)FileURLobjectKey:(NSString*)objectKey{  OSSPutObjectRequest*put=[OSSPutObjectRequestnew];  NSLog(@"objectKeyis%@",objectKey 查看详情

csharphttp断点续传功能测试(代码片段)

查看详情

java下载断点续传

 1importjava.io.BufferedInputStream;2importjava.io.File;3importjava.io.FileInputStream;4importjava.io.IOException;5importjava.io.InputStream;6importjava.io.OutputStream;78importjavax.servlet.Serv 查看详情