百度360必应搜狗淘宝本站头条
tomcat 乱码无法与服务器建立安全连接是什么意思sysv-rc-confdocker映射容器目录到宿主机internet explorer 增强的安全配置已启用
当前位置：网站首页 > 技术文章 > 正文

搭建大数据运行环境之一（大数据开发环境搭建）

nanshan 2024-10-15 11:26 15 浏览 0 评论

前言

一键搭建 zookeeper/hadoop/hive/hbase/sqoop/kafka/spark/kylin

服务器资源

本地Mac有3个虚拟机
server1  192.168.84.128
server2  192.168.84.131
server3  192.168.84.132
yum install wget
yum install unzip

安装docker

mkdir /opt/bigdata
cd /opt/bigdata
# 上传docker-hadoop-test.zip
rz
unzip docker-hadoop-test.zip
cd /opt/bigdata/docker-hadoop-test
chmod 777 docker.install.sh 
chmod 777 compose.install 
bash docker.install.sh 
bash compose.install
systemctl start docker
docker -v

安装zk


依次在3个服务器上做如下操作
chmod 777 zookeeper.sh
# 修改下服务器ip
vi zookeeper/instances.yml 

./zookeeper.sh 

确认是否启动成功

安装hadoop集群

思路


  • 免密登陆
./hadoop/ssh下面默认有一份私钥、公钥
这里建议删除默认秘钥改为自己的私钥  
秘钥生成方法参考hadoop-key.sh脚本 
  • 依赖资源包下载
链接:https://pan.baidu.com/s/1PtdIYT2Np4MfDg4oB08urw  
密码:iu5w

下载之后根据启动脚本修改文件名后放入/hadoop/tar/即可

  • 修改集群信息
修改hadoop/instances.yml，配置集群信息，用于生成hosts文件

编译镜像并上传阿里镜像库

分别在服务器上启动该docker镜像

cd /opt/bigdata/docker-hadoop-test
./hadoop.sh

截止目前搭建好了zk集群环境 将每一个大数据组件安装在了一个docker中

后记

下篇文章咱再介绍下 
如何启动每一个组件及组件之间数据如何流转的

源码

https://gitee.com/pingfanrenbiji/docker-hadoop-test

相关推荐

服务器数据恢复—Raid5数据灾难不用愁，Raid5数据恢复原理了解下

Raid5数据恢复算法原理：分布式奇偶校验的独立磁盘结构（被称之为raid5）的数据恢复有一个“奇偶校验”的概念。可以简单的理解为二进制运算中的“异或运算”，通常使用的标识是xor。运算规则：若二者值...

服务器数据恢复—多次异常断电导致服务器raid不可用的数据恢复

服务器数据恢复环境&故障：由于机房多次断电导致一台服务器中raid阵列信息丢失。该阵列中存放的是文档，上层安装的是Windowsserver操作系统，没有配置ups。因为服务器异常断电重启后，rai...

服务器数据恢复-V7000存储更换磁盘数据同步失败的数据恢复案例

服务器数据恢复环境：P740+AIX+Sybase+V7000存储，存储阵列柜上共12块SAS机械硬盘（其中一块为热备盘）。服务器故障：存储阵列柜中有磁盘出现故障，工作人员发现后更换磁盘，新更换的磁盘...

「服务器数据恢复」重装系统导致XFS文件系统分区丢失的数据恢复

服务器数据恢复环境：DellPowerVault系列磁盘柜；用RAID卡创建的一组RAID5；分配一个LUN。服务器故障：在Linux系统层面对LUN进行分区，划分sdc1和sdc2两个分区。将sd...

服务器数据恢复-ESXi虚拟机被误删的数据恢复案例

服务器数据恢复环境：一台服务器安装的ESXi虚拟化系统，该虚拟化系统连接了多个LUN，其中一个LUN上运行了数台虚拟机，虚拟机安装WindowsServer操作系统。服务器故障&分析：管理员因误操作...

「服务器数据恢复」Raid5阵列两块硬盘亮黄灯掉线的数据恢复案例

服务器数据恢复环境：HPStorageWorks某型号存储；虚拟化平台为vmwareexsi；10块磁盘组成raid5(有1块热备盘)。服务器故障：raid5阵列中两块硬盘指示灯变黄掉线，无法读取...

服务器数据恢复—基于oracle数据库的SAP数据恢复案例

服务器存储数据恢复环境：某品牌服务器存储中有一组由6块SAS硬盘组建的RAID5阵列，其中有1块硬盘作为热备盘使用。上层划分若干lun，存放Oracle数据库数据。服务器存储故障&分析：该RAID5阵...

「服务器虚拟化数据恢复」Xen Server环境下数据库数据恢复案例

服务器虚拟化数据恢复环境：Dell某型号服务器；数块STAT硬盘通过raid卡组建的RAID10；XenServer服务器虚拟化系统；故障虚拟机操作系统：WindowsServer，部署Web服务...

服务器数据恢复—RAID故障导致oracle无法启动的数据恢复案例

服务器数据恢复环境：某品牌服务器中有一组由4块SAS磁盘做的RAID5磁盘阵列。该服务器操作系统为windowsserver，运行了一个单节点Oracle，数据存储为文件系统，无归档。该oracle...

服务器数据恢复—服务器磁盘阵列常见故障表现&解决方案

RAID（磁盘阵列）是一种将多块物理硬盘整合成一个虚拟存储的技术，raid模块相当于一个存储管理的中间层，上层接收并执行操作系统及文件系统的数据读写指令，下层管理数据在各个物理硬盘上的存储及读写。相对...

「服务器数据恢复」IBM某型号服务器RAID5磁盘阵列数据恢复案例

服务器数据恢复环境：IBM某型号服务器；5块SAS硬盘组成RAID5磁盘阵列；存储划分为1个LUN和3个分区：第一个分区存放windowsserver系统，第二个分区存放SQLServer数据库，...

服务器数据恢复—Zfs文件系统下误删除文件如何恢复数据?

服务器故障：一台zfs文件系统服务器，管理员误操作删除服务器上的数据。服务器数据恢复过程：1、将故障服务器所有磁盘编号后取出，硬件工程师检测所有硬盘后没有发现有磁盘存在硬件故障。以只读方式将全部磁盘做...

服务器数据恢复—Linux+raid5服务器数据恢复案例

服务器数据恢复环境：某品牌linux操作系统服务器，服务器中有4块SAS接口硬盘组建一组raid5阵列。服务器中存放的数据有数据库、办公文档、代码文件等。服务器故障&检测：服务器在运行过程中突然瘫痪，...

服务器数据恢复—Sql Server数据库数据恢复案例

服务器数据恢复环境：一台安装windowsserver操作系统的服务器。一组由8块硬盘组建的RAID5，划分LUN供这台服务器使用。在windows服务器内装有SqlServer数据库。存储空间LU...

服务器数据恢复—阿里云ECS网站服务器数据恢复案例

云服务器数据恢复环境：阿里云ECS网站服务器，linux操作系统+mysql数据库。云服务器故障：在执行数据库版本更新测试时，在生产库误执行了本来应该在测试库执行的sql脚本，导致生产库部分表被tru...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表