Hadoop on k8s 快速部署进阶精简篇

一、概述

前面一篇文章已经很具体的介绍了Hadoop on k8s布置了，这儿首要针对布置时可能会调整的当地和注意事项进行解说，想具体了解具体布置进程可参阅我上一篇文章：Hadoop on k8s 编列布置进阶篇

二、快速布置步骤如下

1）装置 git

yum -y install git

2）布置 mysql

假如小伙伴已经有mysql了，这一步就能够忽略，假如想快速布置mysql能够参阅我以下几篇文章：

• 经过 docker-compose 快速布置 MySQL保姆级教程
• 【云原生】MySQL on k8s 环境布置

这儿以 docker-compose 布置 mysql 为例：

# 装置 docker-compose
curl -SL https://github.com/docker/compose/releases/download/v2.16.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
docker-compose --version
# 下载布置包
git clone https://gitee.com/hadoop-bigdata/docker-compose-mysql.git
cd docker-compose-mysql
# 创立网络
docker network create hadoop-network
# 布置
docker-compose -f docker-compose.yaml up -d
# 查看
docker-compose -f docker-compose.yaml ps
# 卸载
docker-compose -f docker-compose.yaml down

【温馨提示】这儿的 mysql 是 5.7，假如 mysql 是 8 则需求更换 mysql driver 包（即：mysql-connector-java-*-bin.jar）。需求从头构建镜像，如不理解的，能够重视我大众号：大数据与云原生技能共享，进行咨询~

3）创立存储目录（一切节点）

# 这儿默认使用hostPath挂载方法，假如使用pv，pvc挂载方法，就不需求在宿主机上创立目录了，非高可用可不用创立jn。根据自己的情况创立目录。假如目录不同，则需求更改编列。下面会解说。
mkdir -p /opt/bigdata/servers/hadoop/{nn,jn,dn}/data/data{1..3}
chmod 777 -R /opt/bigdata/servers/hadoop/

4）下载 hadoop-on-k8s 布置包

git clone https://gitee.com/hadoop-bigdata/hadoop-on-kubernetes.git
cd hadoop-on-kubernetes
cat values.yaml

nameNode：

5）修正 hadoop configmap

假如需求修正database和 nodemanager 的节点数，记住修正 comfigmap 配置：templates/hadoop-configmap.yaml

6）修正 hive configmap （MySQL 配置）

假如需求修正hive 配置，记住修正hive comfigmap 配置：templates/hive/hive-configmap.yaml

7）装置 helm

下载地址：github.com/helm/helm/r…

# 下载包
wget https://get.helm.sh/helm-v3.9.4-linux-amd64.tar.gz
# 解压压缩包
tar -xf helm-v3.9.4-linux-amd64.tar.gz
# 制作软连接
ln -s /opt/helm/linux-amd64/helm /usr/local/bin/helm
# 验证
helm version
helm help

8）开端布置

# 装置
helm install hadoop ./ -n hadoop --create-namespace
# 更新
# helm upgrade hadoop ./ -n hadoop
# 卸载
# helm uninstall hadoop -n hadoop
# 查看
kubectl get pods,svc -n hadoop -owide

【温馨提示】上面还有几个pod没起来，那是因为资源缺乏导致，假如小伙伴资源满足是不会呈现这个问题的。

9）测验验证

hdfs web：http://ip:30870

kubectl exec -it hadoop-hadoop-hive-hiveserver2-0 -n hadoop -- bash
beeline -u jdbc:hive2://hadoop-hadoop-hive-hiveserver2:10000  -n hadoop
# 建表
CREATE TABLE mytable (
  id INT,
  name STRING,
  age INT,
  address STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n';
# 添加数据
INSERT INTO mytable VALUES (1, 'Alice', 25, 'F'), (2, 'Bob', 30, 'M'), (3, 'Charlie', 35, 'M');