正文

pilicat-dfs霹雳猫-分布式文件系统

专注一件事情  专注一件事情  2022-09-09  342

关键词：

pilicat-dfs

霹雳猫-分布式文件系统

一种可以将网站图片或上传的文件，进行分布式存放的服务，可自动复制到多台物理机器，可满足高可用和负载均衡

已编译好的程序包

http://git.oschina.net/tavenli/pilicat-dfs/releases

功能介绍

支持多个dfs-node

支持对上传的文件自动复制到多个dfs-node

支持 RestfulAPI 接口，方便各种语言调用

可以对dfs-node进行分组

为什么要使用pilicat-dfs

可使每个应用系统上传的附件，不存放在应用系统目录下，即使上传了图片木马，也执行不了，因为dfs是纯静态
可同时满足多个应用系统上传附件的需求，将多个应用上传的附件存放在统一的一组服务器，方便管理
可以更好的实现CDN，加速对静态资源的访问，因为这里都是纯静态
同一份文件，自动分发到多台物理节点，并支持通过 lvs 或 nginx 实现负载均衡，实现高可用和物理容灾
还有很多优点，就不全部阐述了...

功能使用

dfs-node当做单节点使用，非集群高可用方式

启动dfs-node

cd dfs-node_linux64_v1.0.0
./start.sh

上传文件测试

curl -X POST -F [email protected]/app/test.jpg http://127.0.0.1:8800/api/file

服务返回信息

{
    "Code": 0,
    "Msg": "success",
    "Data": {
        "FileUrlPath": "/file/2017/07/21/5e30cf328e44824ece5ddc52b629b73c.jpg",
        "OrgFileName": "test.jpg",
        "PubUrl": "http://dsf.hicode.top/file/2017/07/21/5e30cf328e44824ece5ddc52b629b73c.jpg"
    }
}

dfs-node配置文件说明

node.name = "dfs-node-1"    //节点名称，在同一个center中唯一
node.public.addr = "0.0.0.0:8700"    //用于对外访问端口，主要供web访问上传后的文件，如果是80端口直接对外，可直接绑到80端口上
node.api.addr = "0.0.0.0:8800"    //用于内网接口，文件上传、覆盖、删除等操作，都通过该端口，通常绑定在内网IP
node.auth.type = "IpWhiteList"    //内网接口的鉴权方式，目前支持 SecretAuth 和 IpWhiteList两种方式，如果不需要鉴权，该项内容留空，或不配置即可
node.auth.token = "26CCD056107481F45D1AC805A24A9E59"    //当鉴权类型为 SecretAuth 时，需要配置该项
node.ip.white.list = "127.0.0.1,192.168.1.0/24"    //当鉴权类型为 IpWhiteList 时，需要配置该项

dfs.center = "192.168.1.200:8000"    //集群高可用服务所在位置，用于自动注册dfs-node
dfs.public.url = "http://dsf.hicode.top:8700"    //用于对外访问的域名

冰河联合猫大人又出版一本分布式事务领域的开山之作，这是要再次起飞了吗？(代码片段)

...0c;冰河联合猫大人一起推出了另一部硬核书籍《深入理解分布式事务：原理与实战》。随着互联网的不断发展，互联网企业的业务在飞速变化，推动着系统架构也在不断地发生变化。总体来说，系统架构大致经历... 查看详情

分布式系统概述

...操作系统用于存储设备或分区上的文件的方法和数据结构分布式文件系统文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过网络与节点相连2.分布式文件系统 3.常见的分布式文件系统有：GFS：Google基于Linux... 查看详情

fastdfs--分布式文件系统

分布式文件系统什么是分布式文件系统？(1)分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连(2)分布式文件系统的设计基于客户机/服务器模式分布式文件系统的特... 查看详情

分布式文件系统-glusterfs

1.1分布式文件系统1.1.1什么是分布式文件系统　　相对于本机端的文件系统而言，分布式文件系统（英语：Distributedfilesystem, DFS），或是网络文件系统（英语：NetworkFileSystem），是一种允许文件通过网络在多台主机上分享的文... 查看详情

分布式文件系统

　　常见的分布式文件系统有，GFS、HDFS、Lustre、Ceph、GridFS、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。 Google学术论文，这是众多分布式文件系... 查看详情

分布式文件系统

1.分布式文件系统概述分布式文件系统是一种通过网络实现文件在多台主机上进行分布式存储的文件系统。普通的文件系统只需要单个计算机节点就可以完成文件的存储和处理，而分布式文件系统把文件分成一定量的数据块，分... 查看详情

常见分布式文件系统

常见的分布式文件系统有，GFS、HDFS、Lustre、Ceph、GridFS、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。Google学术论文，这是众多分布式文件系统的起源=... 查看详情

分布式文件系统介绍

搭建mfs分布式文件系统(代码片段)

MFS分布式文件系统　MFS是一种半分布式文件系统，它是由波兰人开发的。MFS文件系统能够实现RAID的功能，不但能够更节约存储成本，而且不比专业的存储系统差，它还可以实现在线扩展。　分布式文件系统是指文件系统管理的... 查看详情

fastdfs分布式文件系统搭建部署

搭建部署FastDFS分布式文件系统什么是分布式文件系统分布式文件系统(DistributedFileSystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连分布是文件系统的设计基于客户机/服务器... 查看详情

glusterfs分布式文件系统(代码片段)

GlusterFS分布式文件系统,用于存储、管理磁盘文件文件系统（FS）文件系统组成1、文件系统接口2、对对像管理的软件集合3、对象及属性文件系统作用从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配... 查看详情

三分钟读懂tt猫分布式微服务和集群之路

...用Linux，浏览大概需要3-5分钟的时间，结尾有彩蛋。目录分布式微服务负载均衡集群高可用集群弹性云故障转移总结分布式小马正在经营一个在线购物网站，名叫TT猫，有商品管理、订单管理、用户管理、支付管理、购物车等等... 查看详情

各种分布式文件系统简介

from:http://elf8848.iteye.com/blog/1724382 常见的分布式文件系统有，GFS、HDFS、Lustre、Ceph、GridFS、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。&nbs... 查看详情

分布式文件系统介绍

基础介绍分布式文件系统（DistributedFileSystem）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连，也就是集群文件系统，可以支持大数量的... 查看详情

glusterfs分布式文件系统

glusterfs第1章什么是分布式文件系统?相对于本极端的文件系统而言,分布式文件系统DFS,伙食网络文件系统NFS,是一种允许文件通过网络在多台主机上分享的文件系统你那个,可以让多机器上的多用户分享指定问加你和存储空间在这样... 查看详情

mfs分布式文件系统

MFS分布式文件系统实验环境：在公司内部通过nfs方式共享一个服务器的存储空间，使得nfs服务器不堪重负，经常出现超时问题，为了提高整个系统的性能，所以采用mfs分布式文件系统，mfs分布式文件系统是一个具有容错功能... 查看详情

mfs分布式文件系统

mfs分布式文件系统本文出自“卢春宁”博客，谢绝转载！查看详情

mfs分布式文件系统部署

分布式文件系统是指文件系统管理的物理存储资源通过计算机网络与各节点相连。简单将，就是把一些分散的共享文件夹，集合到一个文件夹内。对于用户来说，只需要打开该虚拟文件夹，就可以使用这些分散的文件夹进行数据... 查看详情