Fastdfs+Nginx集群部署

什么是fastdfs

  • fastdfs是一个轻量级的开源分布式文件系统；
  • fastdfs主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡；
  • fastdfs实现了软件方式的RAID，可以使用廉价的IDE硬盘进行存储支持存储服务器在线扩容支持相同内容的文件只保存一份，节约磁盘空间；
  • fastdfs只能通过Client API访问，不支持POSIX访问方式；
  • fastdfs特别适合大中型网站使用，用来存储资源文件（如：图片、文档、音频、视频等等）。

fastdfs各组件介绍

  • Client：客户端，上传下载数据的服务器，也就是我们自己的项目所部署在的服务器。
  • tracker server：跟踪服务器，主要起调度和均衡的作用。storage主动链接到tracker并周期性保持心跳链接。
  • storage server：存储服务器，主要提供容量和备份服务；以group为单位，每个group有多台storage server数据相互备份同步。


1.环境准备
2.编译环境
3.数据存储路径
4.安装libfastcommon组件
5.安装FastDFS
6.安装fastdfs-nginx-module组件
7.安装nginx
8.分布式部署
(1)tracker配置
(2)storage配置
(3)启动tracker和storage
(4)client测试
9配置nginx访问
10.关闭防火墙
11.启动nginx
12.检测集群是否启动成功
13.配置文件说明
14.模拟集群主节点故障
15.可能遇到的问题

1.环境准备

节点IP 系统版本 部署说明
172.16.4.48 Centos7.4 nginx+traceker+ storage
172.16.4.49 Centos7.4 traceker+ storage
172.16.4.50 Centos7.4 traceker+storage

备注：目录上第6/7/9/11相关nginx部署仅需在主节点172.16.4.48上操作！其他部署3个节点都需要执行

2.  编译环境

安装相关依赖组件

yum install git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget vim –y

3.  数据存储路径

说明 位置
所有安装包 /usr/local/src
数据存储位置 /home/dfs
数据路径 /home/dfs/data
日志路径 /home/dfs/logs 
mkdir /home/dfs #创建数据存储目录
cd /usr/local/src #切换到安装目录准备下载安装包
 

4.安装libfastcommon组件

git clone https://github.com/happyfish100/libfastcommon.git --depth 1
cd libfastcommon/
./make.sh && ./make.sh install #编译安装

5.安装FastDFS

cd ../ #返回上一级目录
git clone https://github.com/happyfish100/fastdfs.git --depth 1
cd fastdfs/
./make.sh && ./make.sh install #编译安装
#配置文件准备
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf #客户端文件，测试用
cp /usr/local/src/fastdfs/conf/http.conf /etc/fdfs/ #供nginx访问使用
cp /usr/local/src/fastdfs/conf/mime.types /etc/fdfs/ #供nginx访问使用
 

6.安装fastdfs-nginx-module组件

cd /usr/local/src/ #返回src目录
git clone https://github.com/happyfish100/fastdfs-nginx-module.git --depth 1
cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs

7.安装nginx

wget http://nginx.org/download/nginx-1.15.4.tar.gz #下载nginx压缩包
tar -zxvf nginx-1.15.4.tar.gz #解压
cd nginx-1.15.4/
#添加fastdfs-nginx-module模块
./configure --add-module=/usr/local/src/fastdfs-nginx-module/src/
make && make install #编译安装

8.分布式部署

(1)tracker配置

#服务器ip为 172.16.4.48,172.16.4.49,172.16.4.50
#我建议用ftp下载下来这些文件 本地修改
vim /etc/fdfs/tracker.conf
#需要修改的内容如下
port=22122  # tracker服务器端口（默认22122,一般不修改）
base_path=/home/dfs  # 存储日志和数据的根目录

(2)storage配置

vim /etc/fdfs/storage.conf
#需要修改的内容如下
port=23000  # storage服务端口（默认23000,一般不修改）
base_path=/home/dfs  # 数据和日志文件存储根目录
store_path0=/home/dfs  # 第一个存储目录
tracker_server=172.16.4.48:22122  # 服务器1
tracker_server=172.16.4.49:22122  # 服务器2
tracker_server=172.16.4.50:22122  # 服务器3
http.server_port=8888  # http访问文件的端口(默认8888,看情况修改,和nginx中保持一致)

(3)启动tracker和storage

/etc/init.d/fdfs_trackerd start #启动tracker服务
/etc/init.d/fdfs_trackerd restart #重启动tracker服务
/etc/init.d/fdfs_trackerd stop #停止tracker服务
chkconfig fdfs_trackerd on #自启动tracker服务
 
/etc/init.d/fdfs_storaged start #启动storage服务
/etc/init.d/fdfs_storaged restart #重动storage服务
/etc/init.d/fdfs_storaged stop #停止动storage服务
chkconfig fdfs_storaged on #自启动storage服务

(4)client测试

vim /etc/fdfs/client.conf
#需要修改的内容如下
base_path=/home/moe/dfs
tracker_server=172.16.4.48:22122  # 服务器1
tracker_server=172.16.4.49:22122  # 服务器2
tracker_server=172.16.4.50:22122  # 服务器3
#保存后测试,返回ID表示成功 如：group1/M00/00/00/xx.tar.gz
fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/nginx-1.15.4.tar.gz

9配置nginx访问

vim /etc/fdfs/mod_fastdfs.conf
#需要修改的内容如下
tracker_server=172.16.4.48:22122  # 服务器1
tracker_server=172.16.4.49:22122  # 服务器2
tracker_server=172.16.4.50:22122  # 服务器3
url_have_group_name=true
store_path0=/home/dfs
#配置nginx.config
vim /usr/local/nginx/conf/nginx.conf
#添加如下配置
server {
    listen       8888;    ## 该端口为storage.conf中的http.server_port相同
    server_name  172.16.4.48;
    location ~/group[0-9]/ {
        ngx_fastdfs_module;
    }
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
    root   html;
    }
}

10.关闭防火墙

#不关闭防火墙的话无法使用
systemctl stop firewalld.service #关闭
systemctl restart firewalld.service #重启

11.启动Nginx

/usr/local/nginx/sbin/nginx #启动nginx
/usr/local/nginx/sbin/nginx -s reload #重启nginx
/usr/local/nginx/sbin/nginx -s stop #停止nginx

12.检测集群是否启动成功

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
PS：显示会有几台服务器 有3个节点就会显示 Storage 1-Storage 3的详细信息

13.配置文件说明

tracker_server #有几台服务器写几个
group_name #storage分组名字
bind_addr #服务器ip绑定
store_path_count #store_path(数字)有几个写几个
store_path(数字) #设置几个储存地址写几个 从0开始

14.模拟集群主节点故障

(1)kill 掉fastdfs  storage 和 tracker进程

可以看到主节点上传文件显示172.16.4.48节点已经报错了

(2)检测集群是否出现故障

可以看到主节点已经离线了。

(3)检测其他节点是否能正常上传文件

[root@rabbit01 src]# fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/nginx-1.15.4.tar.gz

[2021-01-05 14:15:57] ERROR - file: connection_pool.c, line: 140, connect to server 172.16.4.48:22122 fail, errno: 111, error info: Connection refused

group1/M00/00/00/rBAEMV_0BB2AVnoOAA-itrfn0m4.tar.gz

节点一：

节点二：

节点三：

可以看到除了故障节点一，另外两个节点文件都上传成功了。

（4）检测文件是否能正常访问

显示文件能正常下载。

 (5)恢复主节点后数据自动恢复

总结：在主节点172.16.4.48出现故障后，数据上传能正常保存在172.16.4.49和172.16.4.50节点，数据下载不受影响。

在主节点172.16.4.48故障恢复后，数据能正常同步至故障节点。

15.可能遇到的问题

如果不是root 用户 你必须在除了cd的命令之外 全部加sudo
如果不是root 用户 编译和安装分开进行 先编译再安装
如果上传成功 但是nginx报错404 先检查mod_fastdfs.conf文件中的store_path0是否一致
如果nginx无法访问 先检查防火墙 和 mod_fastdfs.conf文件tracker_server是否一致
如果不是在/usr/local/src文件夹下安装 可能会编译出错
如果 unknown directive "ngx_fastdfs_module" in /usr/local/nginx/conf/nginx.conf:151，可能是nginx一直是启动的，必须要重启

您还未添加分享代码，请到主题选项中，添加百度分享代码！

您可以选择一种方式赞助本站

支付宝转账赞助

支付宝扫一扫赞助

微信钱包扫描赞助

┊. 恋小布 。

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

图片 表情