正文

利用vmware搭建分布式集群

open_sesame  open_sesame  2022-08-13  363

关键词：

前言：

我们需要至少3台服务器来实现分布式，鉴于没那么多钱买真机器，从学习和开发的角度看，只有虚拟机一条路了。

软件选择：

虚拟机使用VMware软件，因为主流而且资料比较多，学习成本较低。软件在【链接：http://pan.baidu.com/s/1jI4pppc 密码：zvtt 】下，破解文件也在里面。

虚拟OS毫无疑问是linux，鉴于centos开源，下载方便又不需要破解，故而采用之。【‪CentOS-7-x86_64-Everything-1511.iso】

此外还有redhat版本【shrike-i386-disc2.iso】，centOs是开源系统，可以自己去官网下载。

OS安装：

新建虚拟机，一般都是默认，只是需要选择镜像文件和虚拟机配置，master主机可以内存硬盘稍稍大些3/20，其他可以不用太大1/15，看你内存多少了。

创建硬盘的时候可以选择定容量模式，预占可以防止虚拟机硬盘后期占用无限大，但是假如没有用到这么大的空间，其它部分就浪费了。

一系列设置完毕后进入VM，开始安装OS。选择语言和区域，接下来选择安装选项、网络配置等。虚拟机集群里最多只需要一个带有UI界面的，

因为可能需要安装一些开发工具。选择尽量从简，需要的再自行安装（最小安装）。

安装过程中可以不必配置网络和用户只需要设置root密码

安装结束后进入系统设置，对于某些插件来说可能需要接受协议，选择1/2，continue，只要确定已经选择了正确的选项，其他的不需要管，重启即可。

设置网络（静态ip、为了方便连接外网，采用NAT方式而非桥接）：

1.网络适配器设置：

虚拟机有虚拟机网卡，在网络连接适配器中，手动设置虚拟机ip，包括子网掩码和网关。

网关可以认为：前3数字位与ip一致，最后一个多数情况下是2.表示这一个网段的所有的ip都由这个网关管理。或者说由这个网关去映射网络中的ip。

2.VMware的虚拟网络编辑器：

在编辑中选择虚拟网络编辑器，如果没有，就新增一条，连接方式为NAT，不使用DHCP自动ip，子网ip在这个网段之内都行？

在NAT设置里，设置正确的ip、网关、子网掩码

端口映射应该是设置一些特殊的端口，这里暂时不用。这样，这个虚拟网络就设置好了。后面需要将这个虚拟网络添加到虚拟OS中去。

3.虚拟OS的设置

通过以上的设置，外部环境已经设置好了，下面需要设置一下虚拟机的网卡。参考：

【http://www.centoscn.com/CentosBug/osbug/2015/1224/6568.html】

【http://www.cnblogs.com/magialmoon/archive/2013/08/10/3250393.html 】

【http://www.linuxidc.com/Linux/2013-07/86881.htm 】

步骤：

ifconfig -a
如果命令不可用，就用ip addr
在结果中找到网卡名称，ens33、eth0等等格式。我这里是ens34
vi /etc/sysconfig/network-scripts/ifcfg-之前的网卡名。
在网卡里输入内容【参考资料里有详细内容】
最后需要修改
/etc/sysconfig/network

实测可以主机能够ping通虚拟机，虚拟机可以ping通baidu，设置完毕。

系统软件安装

有GUI界面的：

安装VMtools，可实现本机向虚拟机传递文件，点击安装即可，原则是只要能拖文件就行了，不需要在虚拟机里手动安装

裸控制台的是最小安装，许多功能都没有。没有鼠标导致控制台几乎不可用。解决办法如下：

首先通过ip addr拿到网卡信息，参照上面的网络配置，调通网络。接下来：

yum install -y gpm
chkconfig -add gpm --可有可无
reboot
问题是：鼠标指针延迟太高，可用性极差。

虽然鼠标比较卡，但是幸运的是可以通过xshell/secureCRT终端连接到VMOS上，这样就不存在不好用的问题了。

应用软件安装：

鉴于虚拟机可以克隆，所以我们只需要在一台机器上安装我们需要的东西即可。

目前主要有：java，带UI的OS可以通过VM tools来拖到OS里，不带UI的裸控制台可以通过sftp命令来下载其他OS里的文件：

sftp：sftp root@192.168.204.3 输入密码然后get 远程目录本地目录即可下载文件，或者put来发送文件，最后quit离开sftp。

解压java的tar包，最好放到/usr/local下面。可以通过 mv 源文件名修改后文件名，来实现重命名。

vi /etc/profile 在后面添加环境变量

JAVA_HOME=/usr/local/java/jdk1.7
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH

source /etc/profile 使其生效最后java -version来测试环境是否安装好。

除了java之外，还需要安装zookeeper和jstorm等软件，这放到后面详细写。

虚拟机克隆，搭建集群

虚拟机基本软件安装好之后，关闭电源，为了防止出现其他问题选择完全克隆(看了很多完全克隆和链接克隆的区别，还是不太理解)，建议克隆轻量的裸控制台的，因为带UI的太大，启动太慢。

克隆虚拟机之后，按照之前的网络设置：

ip addr 查看网卡和MAC地址，然后再网卡设置里，vi /etc/sysconfig/network-scripts/ifcfg-之前的网卡名，主要修改IPADDR地址和HWADDR。

之后设置vi /etc/hosts vi /etc/sysconfig/network等，重启即可。

来自为知笔记(Wiz)

hadoop伪分布式集群搭建

一linux环境的搭建由于笔者这里使用的是vmware虚拟机采用centos7linux操作系统进行搭建，所以一下示例均以centos7进行示例1. 搭建vmware虚拟机（1）创建好虚拟机后采用linuxISO镜像文件启动安装centos7操作系统（其它方... 查看详情

伪分布式集群搭建（hadoop）(代码片段)

1.安装VMwareTools 创建文件，实现挂载创建文件夹software装软件的安装包、module装解压后的安装包将VMwareTools的安装包移动到software文件中进行解压解压后运行./vmware-install.pl ... 查看详情

docker进阶-利用dcokerswarm搭建简单集群(代码片段)

...ker环境。Docker-Compose:Docker官网编排工具。负责快速的部署分布式应用Docker-Swarm:Docker容器集群服务，是Docker官方对容器云生态进行支持的核心方案。??Swarm翻译中文的意思是蜂群的意思。大家都知道蜂群是很很多多蜜蜂查看详情

搭建hadoop分布式存储高性能集群

Hadoop概述 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop的框架最核心的设计就是：HDFS... 查看详情

redis-分布式缓存

一、单机Redis的问题二、Redis分片集群1、Redis分片集群的优势2、搭建Redis分片集群3、散列插槽4、集群伸缩5、故障转移/数据迁移6、RedisTemplate访问分片集群一、单机Redis的问题1、数据丢失问题实现Redis数据持久化；2、并发能力问... 查看详情

搭建solrcloud集群服务(代码片段)

...Master-Slaver方式、Cloud方式。SolrCloud是基于Solr和Zookeeper的分布式搜索方案。当索引越来越大，一个单一的系统无法满足磁盘需求，查询速度缓慢，此时就需要分布式索引。在分布式索引中，原来的大索引，将会分成查看详情

大数据运维hadoop完全分布式环境搭建(代码片段)

文章目录一、准备工作1.1安装VMware并设置网络1.2.安装centos虚拟机(这里就不详细说了，网上太多了)1.3虚拟机配置（三台虚拟机同理）二、集群规划2.1编写同步脚本xsync2.2安装JAVA环境JDK2.3hadoop安装2.3.1配置hadoop2.4启动hado... 查看详情

spark的ha集群搭建(代码片段)

分布式集群搭建：http://blog.51cto.com/14048416/2327802?上面试spark普通的分布式集群搭建，存在master节点的单点故障问题。Hadoop2.x开始，已经使用zookeeper解决了单点故障。同样的策略，spark也利用了zookeeper解决了spark集群的单点故障问题... 查看详情

hbase完全分布式搭建|集群建表测试(代码片段)

...ff1a;“大数据小禅”🚀简介：详细讲解HBase的集群分布式搭建，附带过程截图。🚀安装包获取：获取对应的安装包可以通过最下方公众号联系我备注获取。1.HBase简介HBase是一个分布式的、面向列的开源数据库&#... 查看详情

hbase完全分布式搭建|集群建表测试(代码片段)

hadoop集群的搭建及配置

本文章对虚拟机的安装配置、jdk的安装以及hadoop完全分布式集群的搭建进行了讲解。1、安装虚拟机、操作系统2、设置IP、虚拟机在线安装软件3、搭建hadoop完全分布式集群修改配置文件克隆虚拟机配置ssh免密码登录... 查看详情

zookeeper的伪分布式集群搭建以及真分布式集群搭建(代码片段)

zk集群的一些基本概念zookeeper集群搭建：zk集群，主从节点，心跳机制（选举模式）配置数据文件myid1/2/3对应server.1/2/3通过zkCli.sh-server[ip]:[port]命令检测集群是否配置成功和其他大多数集群结构一样，zookeeper集群也是主从结构。搭... 查看详情

hbase集群搭建一（mesos搭建）

...sp;10.110.110.12slave2 操作用户准备：root，hbase Mesos：分布式内核系统，apachemesos在整个数据中心根据资源利用率和资源占用情况在整个数据中心进行任查看详情

redis-分布式缓存

目录：一、单机Redis的问题二、Redis哨兵机制1、认识Redis哨兵机制2、主观下线和客观下线3、新master选举4、故障转移步骤5、搭建哨兵集群6、RedisTemplate的哨兵模式一、单机Redis的问题1、数据丢失问题实现Redis数据持久化；2、并... 查看详情

搭建hadoop3.x分布式集群(代码片段)

如今Hadoop已经升级为第3个大版本，相比Hadoop2.x，Hadoop3.x没有在架构上进行大的改动，而是提高了系统的可扩展性和资源利用率上，因此，Hadoop3.x有更高的性能、更强的容错能力和更高效的数据处理能力。到现... 查看详情

hadoop伪分布式集群搭建总结

Hadoop伪分布式集群搭建总结一、所需软件VMware15!CentOS6.5JDK1.8Hadoop2.7.3二、安装注意：对文件进行编辑：输入a，表示对该文件进行编辑，最后保存该文件，操作为：点击键盘上的Esc按钮，然后输入英文的:字符，再输入wq，点击回车... 查看详情

聊聊pulsar：pulsar分布式集群搭建(代码片段)

一、集群搭建要求1.1搭建设计搭建Pulsar集群至少需要3个组件：ZooKeeper集群、Bookkeeper集群和Broker集群（Broker是Pulsar的自身实例）。这三个集群组件如下：ZooKeeper集群（3个ZooKeeper节点组成）Broker集群（3个... 查看详情

hadoop搭建伪分布式集群

前言　　前面只是大概介绍了一下Hadoop，现在就开始搭建集群了。我们下尝试一下搭建一个最简单的集群。之后为什么要这样搭建会慢慢的分享，先要看一下效果吧！一、Hadoop的三种运行模式（启动模式）1.1、单机模式（独立模... 查看详情