fastdfs--分布式文件系统

author author     2022-10-12     199

关键词:

分布式文件系统

什么是分布式文件系统?

    (1)分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连
    (2)分布式文件系统的设计基于客户机/服务器模式

分布式文件系统的特点

(1)将固定于某个地点的某个文件系统,扩展到任意多个地点/多个文件系统
(2)每个节点可以分布在不同地点,通过网络进行节点间的通信和数据传输 

基础架构
客户端--------------主控服务器
                      |
                      |
                      |
    数据服务器1  数据服务器2  数据服务器3  ...数据服务器n
    (把数据存放在一个服务器集群上,由集群中的服务器提供整个文件系统服务)

    主控服务器
    ——master管理各个数据服务器,分配任务
     —主控服务器上放着所有的文件目录信息,要找文件,必须访问它
     数据服务器
     —存放数据
     —冗余模式

FastDFS

  FastDFS服务端有两个角色: 跟踪器(tracker)和存储节点(storage)
  —跟踪器: 主要做调度工作,在访问上起负载均衡作用
  —存储节点: 完成文件管理的所有功能,即存储、同步和提供存取接口,同时对文件的元数据进行管理
  FastDFS采用了分组存储方式
  —集群由一个或多个组构成,集群存储总容量为集群中所有组的存储容量之和

FastDFS搭建

  [tracker50]
  #yum -y install gcc libevent make
  #unzip fastdfs.zip
  #tar zxf FastDFS_v4.06.tar.gz         
  #rpm -ivh libevent-*             
  #cd FastDFS
  #./make.sh
  #./make.sh install
  #cd init.d/
  #cp fdfs_trackerd /etc/init.d/
  #cp storage_ids.conf /etc/fdfs/
  修改配置文件
  #vim /etc/fdfs/tracler.conf
  base_path=/data/fastdfs       存储路径
  store_lookup=0            存储组采用轮询模式 0轮询 1指定 2根据哪个空闲选则存储
  use_storage_id = true     使用定义的stoaged_id
  #vim /etc/fdfs/storage_ids.conf
  # <id>  <group_name>  <ip_or_hostname>
    100001   group1  192.168.4.51
    100002   group1  192.168.4.52
  #/etc/init.d/fdfs_tracker start
  #chkconfig fdfs_tracker on
  #netstat -lnptu | grep 22122

  [storage51:52]
  #yum -y install gcc libevent make
  #unzip fastdfs.zip
  #tar zxf FastDFS_v4.06.tar.gz         
  #rpm -ivh libevent-*             
  #cd FastDFS
  #./make.sh
  #./make.sh install
  #cd init.d/
  #cp fdfs_storaged /etc/init.d/
  修改配置文件
  #group_name=group1    定义组名
  #base_path=/data/fastdfs   存储路径
  #store_path0=/data/fastdfs
  #tracker_server=192.168.4.50:22122  指定跟踪器tracker路径
  #/etc/init.d/fdfs_storaged start
  #chkconfig fdfs_storaged on 
  #netstat -lnptu | grep 23000

  [客户端254]
  #mkdir /etc/fdfs
  #cp client.conf /etc/fdfs
  #vim etc/fdfs/client.conf
  #base_path=/data/fastdfs
  #tracker_server=192.168.4.50:22122
  scp 192.168.4.50:/usr/local/bin/* /usr/bin
  验证
  #fdfs_upload_file /etc/fdfs/clients.conf a.txt
  group1/M00/00/00/wKgEM1ppWBCAJdssAACwEV-ILDc175.jpg

  使用web查看上传文件
  [storage51:52]
  #tar zxf fastdfs-nginx-module_v1.16.tar.gz
  #tar zxf nginx-1.7.10.tar.gz 
  #yum -y install pcre-devel openssl-devel
  #cd nginx
  #useradd -s /sbin/nologin nginx
  #./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --add-module=../fastdfs-nginx-module/src/ --with-http_ssl_module
  #cp mod_fastdfs.conf /etc/fdfs/
  修改配置文件
  #vim /etc/fdfs/mod_fastdfs.conf
  tracker_server=192.168.4.50:22122
  group_name=group1
  url_have_group_name = true
  store_path0=/data/fastdfs
  修改nginx配置文件
  #vim /usr/local/nginx/conf/nginx.conf
    server {
        listen 80;
        server_name localhost;
        location / {
            ngx_fastfds_module;
            }
        }
  #/usr/local/nginx/sbin/nginx 
  #/etc/init.d/fdfs_storaged start

  验证
  firefox http:192.168.4.51/group1/M00/00/00/wKgEM1ppWBCAJdssAACwEV-ILDc175.jpg

fastdfs分布式文件系统

摘要:FastDFS简介?FastDFS是一个轻量级的开源分布式文件系统?FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡?FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储?支持存储服务器在线... 查看详情

fastdfs分布式文件系统

摘要:FastDFS简介?FastDFS是一个轻量级的开源分布式文件系统?FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡?FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储?支持存储服务器在线... 查看详情

fastdfs分布式文件系统

摘要:FastDFS简介?FastDFS是一个轻量级的开源分布式文件系统?FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡?FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储?支持存储服务器在线... 查看详情

fastdfs分布式文件系统

FastDFS简介?FastDFS是一个轻量级的开源分布式文件系统?FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡?FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储?支持存储服务器在线扩容?... 查看详情

fastdfs分布式文件系统

FastDFS介绍:  FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标。 FastDFS功能:文件存储、文件同步、文件访问... 查看详情

fastdfs分布式文件系统

 FastDFS简介FastDFS是一个轻量级的开源分布式文件系统FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储支持存储服务器在线扩容... 查看详情

fastdfs分布式文件系统

摘要:FastDFS简介FastDFS是一个轻量级的开源分布式文件系统FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储支持存储服务器在线扩容... 查看详情

fastdfs(分布式文件系统)使用介绍(代码片段)

FastDFS(分布式文件系统)使用介绍一、基本介绍1.FastDFS的特性2.FastDFS的存储策略二、使用FastDFS实现分布式文件存储1.安装FastDFS软件2.验证上传/下载等操作3.通过Nginx实现URL访问一、基本介绍FastDFS是用C语言编写的一款开源... 查看详情

fastdfs分布式文件系统

fastdfs安装      安装手册 查看详情

fastdfs分布式文件系统

一.FastDFS:  是一个分布式文件系统,具有文件存储,文件同步,文件访问解决了大量文件存储问题二.FastDFS:架构   Client:   客户端   Tracker:   tracker是一个追踪服务器,它时刻的关注着Storage服务器,它是storage... 查看详情

fastdfs分布式文件系统集群安装与配置

FastDFS分布式文件系统集群安装与配置原文链接:http://blog.csdn.net/xyang81/article/details/52928230 1.FastDFS简单介绍FastDFS是由淘宝的余庆先生所开发,是一个轻量级、高性能的开源分布式文件系统,用纯C语言开发,包括文件存储、文... 查看详情

05:分布式文件系统fastdfs原理fastdfs配置及应用

部署分布式存储服务一、分布式文件系统介绍二、配置分布式存储服务2.1配置主控节点(111)装包修改配置文件启动服务查看端口]#yum-yinstallgccgcc-c++libevent]#cdfastdfs]#yum-yinstalllibevent-*.rpm]#tar-zxfFastDFS_v4.06.tar.gz]#cdFastDFS]#./make.sh]#./make.sh... 查看详情

fastdfs分布式文件系统搭建部署

搭建部署FastDFS分布式文件系统什么是分布式文件系统分布式文件系统(DistributedFileSystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连分布是文件系统的设计基于客户机/服务器... 查看详情

fastdfs分布式文件系统配置

FastDFS三大角色跟踪服务器(tracker):主要做调度作用,起负载作用存储服务器(storage):提供存储和备份客户端(client):上传下载数据的服务器,例如一会要做例子演示的nginx服务器搭建环境操作系统:Centos7.2FastDFS: &nb... 查看详情

fastdfs--分布式文件系统

分布式文件系统什么是分布式文件系统?(1)分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连(2)分布式文件系统的设计基于客户机/服务器模式分布式文件系统的特... 查看详情

简单搭建fastdfs分布式文件系统(简单易懂)

一.什么是FastDFS  FastDFS一个开源的轻量级分布式文件系统,它对文件进行管理,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,功能包括:文件存储、文件同步、文件访问(文件上传、文件... 查看详情

分布式文件系统fastdfs简介

FastDFS基本介绍:1.开源的轻量级分布式文件系统2.C++语言研发3个角色:(1)tracker(2)storage server(3)clienttrackerserver:跟踪服务器,调度:在内存中记录所有存储组和存储服务器的状态信息,不会保留任何元数据storageserver:存储服务器,... 查看详情

fastdfs分布式文件系统入门

...S的简介和特点FastDFS(FastDistributedFileSystem)是一款开源的分布式文件系统,它提供了高性能、高可靠性、高扩展性和高容错性的分布式文件存储解决方案。FastDFS采用了类似于GoogleFileSystem(GFS)的架构,它的设计目标是解决大规... 查看详情