高性能分布式对象存储——MinIO（环境部署）-六虎

一、概述

MinIO 是在 GNU Affero 通用公共许可证 v3.0 下发布的高功用目标存储。它与 Amazon S3 云存储服务 API 兼容。运用 MinIO 为机器学习、分析和运用程序数据工作负载构建高功用基础架构。

官方文档：docs.min.io/ 中文文档：docs.minio.org.cn/docs/ GitHub地址：github.com/minio/minio

特点：

数据维护——散布式Minio采用纠删码来防备多个节点宕机和位衰减bit rot。散布式Minio至少需求4个硬盘，运用散布式Minio主动引入了纠删码功用。
高可用——单机Minio服务存在单点故障，相反，假如是一个有N块硬盘的散布式Minio,只需有N/2硬盘在线，你的数据就是安全的。不过你需求至少有N/2+1个硬盘来创立新的目标。

例如，一个16节点的Minio集群，每个节点16块硬盘，就算8台服務器宕机，这个集群依然是可读的，不过你需求9台服務器才能写数据。

【温馨提示】只需遵守散布式Minio的约束，你能够组合不同的节点和每个节点几块硬盘。比方，你能够运用2个节点，每个节点4块硬盘，也能够运用4个节点，每个节点两块硬盘，诸如此类。

一致性——Minio在散布式和单机形式下，一切读写操作都严格遵守read-after-write一致性模型。

MinIO的长处如下：

布置简略，一个二进制文件（minio）即是全部，还能够支撑各种平台
支撑海量存储，能够按zone扩展，支撑单个目标最大5TB
低冗余且磁盘损坏高容忍，规范且最高的数据冗余系数为2(即存储一个1M的数据目标，实践占用磁盘空间为2M)。但在恣意n/2块disk损坏的情况下依然能够读出数据(n为一个纠删码调集中的disk数量)。并且这种损坏恢复是依据单个目标的，而不是依据整个存储卷的
读写功用优异

二、MinIO 基础概念

S3——Simple Storage Service，简略存储服务，这个概念是Amazon在2006年推出的，目标存储就是从那个时候诞生的。S3供给了一个简略Web服务接口，可用于随时在Web上的任何方位存储和检索任何数量的数据。
Object——存储到 Minio 的根本目标，如文件、字节流，Anything…
Bucket——用来存储 Object 的逻辑空间。每个 Bucket 之间的数据是相互阻隔的。
Drive——布置 Minio 时设置的磁盘，Minio 中一切的目标数据都会存储在 Drive 里。
Set——一组 Drive 的调集，散布式布置依据集群规模主动区分一个或多个 Set ，每个 Set 中的 Drive 散布在不同方位。
- 一个目标存储在一个Set上
- 一个集群区分为多个Set
- 一个Set包含的Drive数量是固定的，默许由体系依据集群规模主动计算得出
- 一个SET中的Drive尽可能散布在不同的节点上

Set /Drive 的联系

Set /Drive 这两个概念是 MINIO 里边最重要的两个概念，一个目标最终是存储在 Set 上面的。
Set 是别的一个概念，Set 是一组 Drive 的调集，图中，一切蓝色、橙色背景的Drive（硬盘）的就组成了一个 Set。

三、纠删码（Erasure Code）

纠删码（Erasure Code）简称EC，是一种数据维护方法，它将数据切割成片段，把冗余数据块扩展、编码，并将其存储在不同的方位，比方磁盘、存储节点或许其它地理方位。

纠删码是一种恢复丢失和损坏数据的数学算法，目前，纠删码技能在散布式存储体系中的运用首要有三类，阵列纠删码（Array Code: RAID5、RAID6等）、RS(Reed-Solomon)里德-所罗门类纠删码和LDPC(LowDensity Parity Check Code)低密度奇偶校验纠删码。
Erasure Code是一种编码技能，它能够将n份原始数据，增加m份校验数据，并能经过n+m份中的恣意n份原始数据，还原为原始数据。
即假如有恣意小于等于m份的校验数据失效，依然能经过剩余的数据还原出来。
Minio采用Reed-Solomon code将目标拆分红N/2数据和N/2 奇偶校验块。
在同一集群内，MinIO 自己会主动生成若干纠删组（Set），用于散布寄存桶数据。一个纠删组中的必定数量的磁盘发生的故障（故障磁盘的数量小于等于校验盘的数量），经过纠删码校验算法能够恢复出正确的数据。

四、MinIO 架构

1）单主机，单硬盘形式

该形式下，Minio只在一台服务器上建立服务，且数据都存在单块磁盘上，该形式存在单点危险，首要用作开发、测验等运用

2）单主机，多硬盘形式

该形式下，Minio在一台服务器上建立服务，但数据涣散在多块（大于4块）磁盘上，供给了数据上的安全保障。

3）多主机、多硬盘形式（散布式）

该形式是Minio服务最常用的架构，经过同享一个access_key和secret_key,在多台服务器上建立服务，且数据涣散在多块（大于4块，无上限）磁盘上，供给了较为强壮的数据冗余机制（Reed-Solomon纠删码）。

五、MinIO 环境布置（散布式）

1）环境准备

主机名	IP	data
local-168-182-110	192.168.182.110	/opt/bigdata/minio/data/export{1,2,3,4}
local-168-182-111	192.168.182.111	/opt/bigdata/minio/data/export{1,2,3,4}
local-168-182-112	192.168.182.112	/opt/bigdata/minio/data/export{1,2,3,4}

2）下载

mkdir -p /opt/bigdata/minio ; cd /opt/bigdata/minio
# 下载rpm包进行布置
#wget https://dl.min.io/server/minio/release/linux-amd64/archive/minio-20220802235916.0.0.x86_64.rpm -O minio.rpm
# yum -y install minio.rpm
# 下载二进制包布置
wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x /opt/bigdata/minio
# 加在/etc/profile
export PATH=$PATH:/opt/bigdata/minio
minio --help

3）每台新加四块磁盘

# 不重启，直接刷新磁盘数据总线，获取新加的磁盘
for host in $(ls /sys/class/scsi_host) ; do echo "- - -" > /sys/class/scsi_host/$host/scan; done
lsblk
# 格式化
mkfs.ext4 /dev/sdb
mkfs.ext4 /dev/sdc
mkfs.ext4 /dev/sdd
mkfs.ext4 /dev/sde
# 挂载
mount /dev/sdb /opt/bigdata/minio/data/export1
mount /dev/sdc /opt/bigdata/minio/data/export2
mount /dev/sdd /opt/bigdata/minio/data/export3
mount /dev/sde /opt/bigdata/minio/data/export4

【温馨提示】磁盘大小必须>1G，这里我增加的是4*2G的盘

4）装备

Minio默许9000端口，在装备文件中参加–address “127.0.0.1:9029” 可更改端口

MINIO_ACCESS_KEY：用户名，长度最小是5个字符
MINIO_SECRET_KEY：暗码，暗码不能设置过于简略，不然minio会发动失利，长度最小是8个字符
–config-dir：指定集群装备文件目录
–address： api的端口，默许是9000
--console-address ：web端口，默许随机

编写发动脚本（/opt/bigdata/minio/run.sh）

#!/bin/bash
# 创立日志存储目录
mkdir -p /opt/bigdata/minio/logs
# 别离在三个节点上创立存储目录
mkdir -p /opt/bigdata/minio/data/export{1,2,3,4}
# 创立装备目录
mkdir -p /etc/minio
export MINIO_ROOT_USER=admin
export MINIO_ROOT_PASSWORD=admin123456
# 在三台机器上都执行该文件，即以散布式的方式发动了MINIO
# --address "0.0.0.0:9000" 挂载9001端口为api端口（如Java客户端）拜访的端口
# --console-address ":9000" 挂载9000端口为web端口； 
/opt/bigdata/minio/minio server --address 0.0.0.0:9000 --console-address 0.0.0.0:9001 --config-dir /etc/minio \
http://local-168-182-110/opt/bigdata/minio/data/export1 \
http://local-168-182-110/opt/bigdata/minio/data/export2 \
http://local-168-182-110/opt/bigdata/minio/data/export3 \
http://local-168-182-110/opt/bigdata/minio/data/export4 \
http://local-168-182-111/opt/bigdata/minio/data/export1 \
http://local-168-182-111/opt/bigdata/minio/data/export2 \
http://local-168-182-111/opt/bigdata/minio/data/export3 \
http://local-168-182-111/opt/bigdata/minio/data/export4 \
http://local-168-182-112/opt/bigdata/minio/data/export1 \
http://local-168-182-112/opt/bigdata/minio/data/export2 \
http://local-168-182-112/opt/bigdata/minio/data/export3 \
http://local-168-182-112/opt/bigdata/minio/data/export4 > /opt/bigdata/minio/logs/minio_server.log

【温馨提示】下面脚本复制时 \ 后不要有空格，还有就是上面的目录是对应的一块磁盘，而非简略的在/opt/bigdata/minio/data目录下创立四个目录，要不然会报如下过错，看提示以为是root权限问题。part of root disk, will not be used (*errors.errorString)

5）发动服务

# 在三台机器上都执行该文件，即以散布式的方式发动了MINIO
sh /opt/bigdata/minio/run.sh

增加或修正minio.service，经过systemctl启停服务（推荐）

WorkingDirectory：二进制文件目录
ExecStart：指定集群发动脚本

# 假如运用rpm装置，minio.service就会主动生成，只需修正就行
cat > /usr/lib/systemd/system/minio.service <<EOF
[Unit]
Description=Minio service
Documentation=https://docs.minio.io/
[Service]
WorkingDirectory=/opt/bigdata/minio
ExecStart=/opt/bigdata/minio/run.sh
Restart=on-failure
RestartSec=5
[Install]
WantedBy=multi-user.target
EOF

修正文件权限

chmod +x /usr/lib/systemd/system/minio.service && chmod +x /opt/bigdata/minio/minio && chmod +x /opt/bigdata/minio/run.sh
# 将文件copy其它节点local-168-182-111，local-168-182-112
scp -r /usr/lib/systemd/system/minio.servicee local-168-182-111:/usr/lib/systemd/system/minio.service
scp -r /opt/bigdata/minio local-168-182-111:/opt/bigdata/
scp -r /usr/lib/systemd/system/minio.service local-168-182-112:/usr/lib/systemd/system/minio.service
scp -r /opt/bigdata/minio local-168-182-112:/opt/bigdata/

发动集群

 #重新加载服务
systemctl daemon-reload
#发动服务
systemctl start minio
#参加自发动
systemctl enable minio

拜访MinIO，三个节点都能够拜访 http://local-168-182-110:9001 http://local-168-182-111:9001 http://local-168-182-112:9001

账号暗码：admin/admin123456

6）运用 nginx 负载均衡

单独对每个节点进行拜访显然不合理，经过运用 nginx 代理，进行负载均衡则很有必要。简略的装备如下：

# 装置nginx
yum install epel-release -y
yum install nginx -y
systemctl start nginx
systemctl status nginx
systemctl enable nginx

增加装备文件，装备内容如下：

vi  /etc/nginx/conf.d/minio.conf
upstream minio_api {
    server 192.168.182.110:9000;
    server 192.168.182.111:9000;
    server 192.168.182.112:9000;
}
upstream minio_console {
    server 192.168.182.110:9001;
    server 192.168.182.111:9001;
    server 192.168.182.112:9001;
}
server{
    listen       19000;
    server_name  192.168.182.110;
    ignore_invalid_headers off;
    client_max_body_size 0;
    proxy_buffering off;
    location / {
        proxy_set_header   X-Forwarded-Proto $scheme;
        proxy_set_header   Host              $http_host;
        proxy_set_header   X-Real-IP         $remote_addr;
        proxy_connect_timeout 300;
        proxy_http_version 1.1;
        chunked_transfer_encoding off;
        proxy_ignore_client_abort on;
        proxy_pass http://minio_api;
    }
}
server{
    listen       19001;
    server_name  192.168.182.110;
    ignore_invalid_headers off;
    client_max_body_size 0;
    proxy_buffering off;
    location / {
        proxy_set_header   X-Forwarded-Proto $scheme;
        proxy_set_header   Host              $http_host;
        proxy_set_header   X-Real-IP         $remote_addr;
        proxy_connect_timeout 300;
        proxy_http_version 1.1;
        chunked_transfer_encoding off;
        proxy_ignore_client_abort on;
        proxy_pass http://minio_console;
    }
}

重启加载装备

nginx -t
nginx -s reload
#或许 
systemctl reload nginx

拜访：http://local-168-182-110:19001

六、MinIO 客户端 ( mc)

MinIO Client mc命令行工具为 UNIX 命令（如ls、cat、cp、mirror和）供给了一种现代替代计划，并diff支撑文件体系和兼容 Amazon S3 的云存储服务。
mc命令行工具是为与 AWS S3 API 兼容而构建的，并针对预期的功用和行为测验了 MinIO 和 AWS S3。
MinIO 不为其他与 S3 兼容的服务供给任何保证，由于它们的 S3 API 实现是未知的，因而不受支撑。尽管mc 命令能够按文档阐明工作，但任何此类运用都需求您自担危险。

1）下载

cd /opt/bigdata/minio/
wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod +x mc
./mc --help

2）增加MinIO存储服务

MinIO服务器显示URL，拜访权和秘密密钥。【用法】

mc config host add <ALIAS> <YOUR-MINIO-ENDPOINT> [YOUR-ACCESS-KEY] [YOUR-SECRET-KEY]

【示例】

cd /opt/bigdata/minio/
# 明文输入
./mc config host add minio http://local-168-182-110:19000 admin admin123456
# 密文输入（推荐）
./mc config host add minio http://local-168-182-110:19000
Enter Access Key: admin
Enter Secret Key: admin123456

3）测验

cd /opt/bigdata/minio/
# 获取已装备别号“ minio”的MinIO服务器信息
./mc admin info minio
# 增加外壳别号以获取信息，以便恢复。
alias minfo='/opt/bigdata/minio/mc admin info'
alias mheal='/opt/bigdata/minio/mc admin heal'

更多示例操作，能够参考官方文档：docs.minio.org.cn/docs/master…

【温馨提示】假如有条件，也能够运用腾讯云的cos（Cloud Object Storage：云目标存储）和阿里云的oss（Object Storage Service：目标存储服务）等公有云产品。

到这里MinIO的根本概念和环境布置就到这完毕了，后续会更新MinIO的实战操作，请小伙伴耐心等待，有疑问的小伙伴欢迎给我留言哦~

高性能分布式对象存储——MinIO（环境部署）