支持断点续传的大文件传输协议

author author     2023-01-03     306

关键词:

文件传输协议(FTP)是一个被广泛应用的网络协议,FTP技术作为文件传输的重要手段,在数据通信领域一直发挥着举足轻重的作用,不支持断点续传,是Internet上最早也是最广泛使用的应用之一.

技术分享图片
从1971年A.K.Bhushan提出第一个FTP协议版本(RFC114)到现在,人们对FTP的应用已经历了40余年的时间,同时,许多基于FTP协议的数据传输软件也应运而生。如Windows操作系统下经常使用的支持FTP协议的软件有:CuteFTP、FlashFXP、迅雷(Thunder)、快车(FlashGet)、网络蚂蚁(NetAnts)等;Linux操作系统中经常使用的支持FTP协议的软件有:FileZilla、gFTP、wget等,这些软件中有些是GUI图形界面的,有的只有简单的命令行界面;有些是开源免费的,有的是收费的商业软件,不管属于以上哪个类型,这些支持FTP协议的软件都有一个共同的特点:不支持断点续传。断点续传是指在文件传输或者下载的过程中,如果发生意外中断,在重新建立连接后,可以直接从未传输或未下载的部分继续传输任务,而不必重复传输已传输的内容,断点续传文件的功能需要 FTP服务器的支持。

大文件传输协议(Raysync)是针对大文件传输的网络协议,Raysync作为在广域网上进行大文件传输的重要手段,在用户数据报协议(UDP)上进行了优化,支持断点续传,是大数据远距离传输的重要协议。

技术分享图片

然而,随着互联网的飞速发展,海量信息数据需要通过网络传输,企业经常需要向服务器传输以GB为单位的大文件,如多媒体文件网络共享等实际应用。提高大容量文件传输的效率对于多媒体文件的网络共享等应用显得越来越重要。但是,由于这些文件容量巨大,使用传统FTP传输的方式耗时长,而且在传输过程中,可能会发生意外断电或网络连接中断等不可预知的情况,导致文件重新传输的操作频繁,极大影响了数据共享的效率。再如:利用某超级计算机中心(以下简称:超算中心)的计算机进行高性能相关的计算时,客户端的用户需要通过xxx传输大容量的计算数据,如果使用传统FTP传输,效率会很低,严重影响高性能计算的效率,不能完全体现超级计算机的性能优势。由此可见,大文件传输技术对于促进网络应用的发展有着重大的意义。

大文件传输协议(Raysync),是基于UDP协议进行的开发优化,可以支持断点续传,能尽量减少了数据的重复传输量。实际应用中,有时用户传输或者下载一个大文件需要数小时,网络中断或电脑死机、重启等不可预测的意外情况发生导致传输中断时,而具有断点续传功能的Raysync服务器与客户端软件允许用户从传输或下载断线的地方继续传输,此时只需要传输之前还未传输的文件部分,减少了数据传输量,节约了时间,提高了企业的效率。

超大文件上传和断点续传的源代码

总结一下大文件分片上传和断点续传的问题。因为文件过大(比如1G以上),必须要考虑上传过程网络中断的情况。http的网络请求中本身就已经具备了分片上传功能,当传输的文件比较大时,http协议自动会将文件切片(分块)... 查看详情

超大文件上传和断点续传的组件

...经下载的地方开始继续下载。在以前版本的HTTP协议是不支持断点的,HTTP/1.1开始就支持了。一般断点下载时才用到Range和Content-Range实体头。HTTP协议本身不支持断点上传,需要自己实现。 二、Range  用于请求头中,指定... 查看详情

一个好用的大文件传输工具:支持选点续传错误重传

数据正在爆炸式增长,几乎每两年翻一番。这些数据和文件可能是组织机构重要的业务数据,也可能是其重要的信息资源。通常情况下,组织机构使用邮件、QQ、FTP等常规方式传输文件,但是当文件容量在2-3G以上时,上述方法就... 查看详情

html超大文件上传和断点续传的实现

需求:项目要支持大文件上传功能,经过讨论,初步将文件上传大小控制在500M内,因此自己需要在项目中进行文件上传部分的调整和配置,自己将大小都以501M来进行限制。 第一步:前端修改由于项目使用的是BJUI前端框架,... 查看详情

java中文件大小超过多大需要断点续传

...文件,就是说A方不是你实现的,那么你要先确认A方支不支持断电续传功能(HTTP1.1),然后你查阅下HTTP1.1协议,在HTTP1.1版本里,可以通过设置请求包头某个字段的信息(使用URLConnection创建连接并使用setRequestProperty(Stringkey,Stringv... 查看详情

html大文件传输方法

​IE的自带下载功能中没有断点续传功能,要实现断点续传功能,需要用到HTTP协议中鲜为人知的几个响应头和请求头。 一. 两个必要响应头Accept-Ranges、ETag        客户端每次提交下载请求时,... 查看详情

超大文件上传和断点续传的源代码

总结一下大文件分片上传和断点续传的问题。因为文件过大(比如1G以上),必须要考虑上传过程网络中断的情况。http的网络请求中本身就已经具备了分片上传功能,当传输的文件比较大时,http协议自动会将文件切片(分块)... 查看详情

掀开断点续传那一层面纱(下载篇)

1、简介  这一篇文章主要介绍的是http协议下载时的断点续传,详细到各个步骤。主要步骤有:DNS查找、TCP三次握手、http请求发送、TCP协议数据传输、暂停后的状态、继续下载、TCP三次握手、http请求发送、数据传输、。。。... 查看详情

http断点续传原理

这周完成了一个断点续传的功能。我们的游戏里加载地图的逻辑简化而言是这样:1.首先用本地的md5文件校验地图文件(很多文件)是否完整。(中间有很多步骤,任何步骤失败都认为地图不完整)2.如果完整,直接加载地图。3.... 查看详情

断点续传实现

断点续传实现:简单来说应该分为两个角度来看待:1、将要续传的文件2、续传的文件一、将要续传的文件先说说将要续传的文件,既然是续传,那么肯定要有个标识,举例说明一下:  事先准备一个文件,大小是1852... 查看详情

⭐python实现多线程并发下载大文件(制作支持断点续传的下载器的绝佳参考⁉️)⭐(代码片段)

不知道各位童鞋们是否遇到过需要使用python下载大文件的需求,或者需要从一些网速很慢的网站上下载文件。如果你在实际下载过程碰到下载不稳定经常失败的情况,本文的方法将会给你带来一些解决思路和方案。本文... 查看详情

局域网超大文件上传和断点续传的实现

...的思路。实现文件夹上传,要求:服务端保留层级结构,支持10w级别的文件夹上传。大文件上传及断点续传,要求:支持50G级的单个文件上传和续传。续传要求:在刷新浏览器后能够续传上传,在重启浏览器后能够继续上传上(... 查看详情

局域网超大文件上传和断点续传的实现

...的思路。实现文件夹上传,要求:服务端保留层级结构,支持10w级别的文件夹上传。大文件上传及断点续传,要求:支持50G级的单个文件上传和续传。续传要求:在刷新浏览器后能够续传上传,在重启浏览器后能够继续上传上(... 查看详情

ios大文件分片上传和断点续传

总结一下大文件分片上传和断点续传的问题。因为文件过大(比如1G以上),必须要考虑上传过程网络中断的情况。http的网络请求中本身就已经具备了分片上传功能,当传输的文件比较大时,http协议自动会将文件切片(分块)... 查看详情

用c实现断点续传的功能,详细点的实现原理是啥嘞

参考技术A用C实现断点续传的功能,详细点的实现原理是什么嘞于HTTP协议的多执行绪下载和断点续传的实现学生:叶升路指导教师:覃颖(三峡大学电气资讯学院)摘要:本文介绍了网路下载软体中的最新技术——多执行绪下载... 查看详情

断点续传

...主要依赖着HTML5的新特性,所以一般来说在老旧浏览器上支持度是不高的本文通过断点续传的简单例子(前端文件提交+后端PHP文件接收),理解其大致的实现过程还是先以图片为例,看看最后的样子 一、一些知识准备断点续... 查看详情

为啥chrome还不支持断点续传

参考技术Achrome内建下载是支持断点续传的只是有些下载服务器不支持而已 查看详情

前端实现文件的断点续传

...主要依赖着HTML5的新特性,所以一般来说在老旧浏览器上支持度是不高的 本文通过断点续传的简单例子(前端文件提交+后端PHP文件接收),理解其大致的实现过程 还是先以图片为例,看看最后的样子  一、一些知... 查看详情