正文 

当前位置： 首页 > 程序 > java教程

vmware环境配置(代码片段)

3+2=小5？ 3+2=小5？     2022-12-14     497

关键词：

文章目录

一、环境配置

1、修改主机名，然后切换到root用户

sudo hostnamectl set-hostname Master001
su -l root

2、确认主机网关

a.确认windows主机网关

b.确认虚拟机主机网关

3、修改网络配置

vi /etc/sysconfig/network-scripts/ifcfg-ens33 

ONBOOT=yes
IPADDR=192.168.241.101
NETWASK=255.255.255.0
PREFIX=24
GATEWAY=192.168.241.2
BOOTPROTO=static

修改主机名

4、设置DNS域名解析的配置文件resolv.conf。

vi /etc/resolv.conf

5、修改hosts文件

vi /etc/hosts

6、重启网络服务

nmcli connection reload
nmcli connection up ens33
nmcli d connect ens33

7、验证网络服务

a.虚拟机ping百度

b.主机ping虚拟机

二、Hadoop伪分布式安装

1、创建hadoop用户

a.新建用户

 adduser hadoop
 passwd hadoop

b.添加用户组

usermod -a -G hadoop hadoop

c.赋予root权限

vi /etc/sudoers
hadoop	ALL=(ALL)	ALL

2、切换到hadoop，创建压缩包上传文件和安装文件目录

3、上传压缩包

4、解压jdk和hadoop

tar -zxf jdk-8u221-linux-x64.tar.gz -C /home/hadoop/module/
tar -zxf hadoop-3.3.1.tar.gz -C /home/hadoop/module/

5、配置jdk、hadoop环境变量

vi /etc/profile

#JAVA
export JAVA_HOME=/home/hadoop/module/jdk1.8.0_221
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP
export HADOOP_HOME=/home/hadoop/module/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

6、修改hadoop配置文件

core-site.xml

        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/module/hadoop-3.3.1/tmp</value>
        </property>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>

hdfs-site.xml

        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/home/hadoop/module/hadoop-3.3.1/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/home/hadoop/module/hadoop-3.3.1/tmp/dfs/data</value>
        </property>

hadoop-env.xml

7、执行NameNode的格式化

如果要多次执行格式化，要删除data目录，否则datanode进程无法启动

hdfs namenode -format


格式化成功后name目录多了一个current文件夹

8、配置免密登录

ssh-keygen -t rsa -P ''


将密钥传给Master001

ssh-copy-id Master001

9、启动hadoop集群


hadoop配置安装完成

三、hive安装

1、上传安装包

安装包下载：https://hive.apache.org/downloads.html

Hive安装

2、上传安装包并解压

3、将hive添加到环境变量

export HIVE_HOME=/home/hadoop/module/hive-3.1.2
export PATH=$PATH:$HIVE_HOME/bin

4、修改hive配置文件

Hive.env.xml

Hive.site.xml

hive-log4j2.properties

5、安装mysql

查看linux系统中是否自带数据库

rpm –qa | grep mysql

安装mysql 数据库

yum install –y mysql-server mysql mysql-devel


使mysql开机启动

systemctl enable mysqld.service

启动mysql服务，查看状态

service mysqld start
Service mysqld status


初始化mysql
创建管理员用户密码

登录mysql数据库

mysql –u root -p


创建存放元数据的数据库

6\\配置Hive相关配置文件

下载mysql-connector-java-8.0.26.java,上传到hive安装目录lib目录下

cp mysql-connector-java-8.0.26.jar /home/hadoop/module/hive-3.1.2/lib/

7、初始化hive

schematool -dbType mysql -initSchema

8、Hive启动

四、redis安装

！！！出现的问题！！！

1、Master001: ERROR: Unable to write in /home/hadoop/module/hadoop-3.3.1/logs. Aborting.

2、Warning: Permanently added ‘localhost’ (ECDSA) to the list of known hosts

3、root用户hadoop启动报错：Attempting to operate on hdfs namenode as root

4、执行yum install -y mysql-server mysql mysql-devel报错
为 repo ‘appstream’ 下载元数据失败 : Cannot prepare internal mirrorlist: No URLs in mirrorlist

5、Underlying cause: java.sql.SQLException : null, message from server: “Host ‘Master001’ is not allowed to connect to this MySQL server”

！！！解决！！！

1、权限不够，授予权限

sudo chmod 777 /home/hadoop/module/hadoop-3.3.1/logs/

2、设置免密登录

3、在环境变量中添加如下几个配置：

vi /etc/profile

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=roo

使环境变量生效

source /etc/profile

4、可以在/etc/yum.repos.d中更新一下源。使用vault.centos.org代替mirror.centos.org。
执行一下两行代码进行修改

sudo sed -i -e "s|mirrorlist=|#mirrorlist=|g" /etc/yum.repos.d/CentOS-*
sudo sed -i -e "s|#baseurl=http://mirror.centos.org|baseurl=http://vault.centos.org|g" /etc/yum.repos.d/CentOS-*

5、进入mysql，更新权限

update user set host ='%' where user ='root';

重启mysql：

service mysqld stop;
service mysqld start;

vmware虚拟机克隆管理(代码片段)

通过Vmware虚拟机，快速的搭建测试环境，通过可以将多个系统独立，互不影响。Vmware完整克隆，可以快速复制系统环境，避免了重复工作。克隆后，需要做一些配置，方便使用。修改HostName，禁用sudo网络校验1.修改cloud.cfg文件，... 查看详情

vmware构建内网域环境(代码片段)

VMware构建内网域环境环境准备：镜像下载WindowsServer2019:192.168.138.128Windows10:192.168.138.130VMware®Workstation16ProVMnet3仅主机模式搭建域环境WindowsServer2019域控服务器（192.168.138.128）1、设置服务器设置域控IP及DNS 查看详情

真华为云计算hcie实验-fcd环境搭建(代码片段)

文章目录VMware网卡配置安装操作系统选择时区（openstack需要）选择磁盘配置网络配置root密码（略）完成进入目录查看编辑fcd_config.ini截图截这张VMware网卡配置安装操作系统选择时区（openstack需要）选择磁盘... 查看详情

kali系统及frida环境配置(代码片段)

...ida环境配置前言一、Kali环境基本配置1.下载Kali系统，Vmware打开。2.环境配置二、多版本环境控制之pyenv安装1.pyenv安装2.安装Python三.多版本控制平台之Anaconda安装1.Anaconda安装2.配置Python环境及Frida四、安装Nodejs五、安装adbshell和f... 查看详情

虚拟机网络配置(代码片段)

VMware网卡配置模式虚拟机网卡默认有三种配置模式:桥接模式、NAT模式、仅主机模式，在本次配置中，我们配置的是NAT模式。桥接模式需要依赖外部网络环境，VMware虚拟出来的操作系统就像是局域网中的一台独立的主... 查看详情

虚拟机网络配置(代码片段)

VMware网卡配置模式虚拟机网卡默认有三种配置模式:桥接模式、NAT模式、仅主机模式，在本课程中，我们配置的是NAT模式。桥接模式需要依赖外部网络环境，VMware虚拟出来的操作系统就像是局域网中的一台独立的主机&#... 查看详情

openwrt软路由在vmware环境的搭建(代码片段)

...载镜像文件。三、下载安装StarWindConverter,把IMG文件转换成Vmware虚拟硬盘镜像(IDE格式)，并导入到Vmware。　　四、开启电源　五、页面加载完成按下Enter键会显示这样此时输入passwd修改root密码， 查看详情

基于bitnamigitlabova包的gitlab环境搭建(代码片段)

...gitlab，本篇记录搭建的过程方便以后查找环境Windowsserver+VMware安装为方便本次我们直接采用Bitnami的VOA安装包(VOA格式可同时兼容VirtualBox和VMware)，可以直接在虚拟机导入即可。安装包位于这里。打开VMwareWorkstation,File->Open,选择刚... 查看详情

真华为云计算hcie实验-fcd环境搭建(代码片段)

文章目录VMware网卡配置安装操作系统选择时区（openstack需要）选择磁盘配置网络配置root密码（略）完成进入目录查看编辑fcd_config.ini截图截这张VMware网卡配置安装操作系统选择时区（openstack需要）选择磁盘... 查看详情

vagrant初识(代码片段)

...，帮助测试人员构建测试环境。　　vagrant支持VirtualBox，VMware,AWS等虚拟机。　　vagrant关键字　　host——宿主机，安装虚拟机软件和vagrant的系统　　guest/vm——虚拟机　　　　安装Vagrant　　u 查看详情

大数据运维hadoop完全分布式环境搭建(代码片段)

文章目录一、准备工作1.1安装VMware并设置网络1.2.安装centos虚拟机(这里就不详细说了，网上太多了)1.3虚拟机配置（三台虚拟机同理）二、集群规划2.1编写同步脚本xsync2.2安装JAVA环境JDK2.3hadoop安装2.3.1配置hadoop2.4启动hado... 查看详情

虚拟机网络配置(代码片段)

VMware网卡配置模式虚拟机网卡默认有三种配置模式:桥接模式、NAT模式、仅主机模式，在本次配置中，我们配置的是NAT模式。桥接模式需要依赖外部网络环境，VMware虚拟出来的操作系统就像是局域网中的一台独立的主... 查看详情

使用vmware虚拟机搭建panabit透明网桥环境(代码片段)

本文参考：PanabitSupportBoard!-成功在VMwareWorkstation虚拟机中搭建Panabit和iXCache测试环境-PoweredbyDiscuz!论坛链接是14年的，新的几乎网络上没有。原文的网络配置实际上有点问题。Panabit的管理口需要改宿主机本身的ip会造成前面... 查看详情

vmware安装centos7配置环境安装虚拟机选择cd/dvd的方式安装系统系统安装引导界面需要定制化的内容配置磁盘分区修改主机名网络配置修改windows的主机映射文件（host(代码片段)

文章目录想看远程终端工具Xshell、Xftp传输工具、VMware安装的点这里1.CentOS1.1安装虚拟机1.2选择cd/dvd的方式安装系统1.3系统安装引导界面1.4需要定制化的内容1.4.1调整时间差1.4.2安装GHOME（图形化界面的方式）注意图上标注... 查看详情

vmwareapt本地源快速配置(代码片段)

.../apt/source.list）    1.2操作系统##其实适用于VMWare下的所有虚拟机，但是本着严谨的原则，还是附上本文操作系统##本文操作系统Ubuntu16.04amd64#lsb_release-a    2、VMWare设置    在图形界面（Win... 查看详情

vmware快速克隆出多个linuxcentos7环境(代码片段)

  这样一台系统就已经克隆好了，但是，现在还没有完，因为是克隆的，里面的ip地址和创建的主机名都是一样，需要进行修改 登录服务器，然后使用【ifcfg-ens33需根据实际情况而定】vi/etc/sysconfig/network.-scripts/ifcfg-ens3... 查看详情

redis一主二从sentinel监控配置（保姆级教程）(代码片段)

...8;一主二）。服务器资源有限的朋友们，可以通过VMware启动虚拟机的方式来构建环境，关于如何使用VMware安装虚拟机，网络配置、克隆、单实例Redis的安装在我的博文中都有保 查看详情

linux基础（04）功能配置（调整防火墙静态ip环境变量）(代码片段)

　　目录一、centos防火墙二、VMware网络连接方式　　2.1、连接方式：桥接、NAT、仅主机　　2.2、常见问题三、centos配置静态IP四、环境变量 一些笔记：　　直接命令改环境变量是临时的，如exportPATH=aaa　　进入/etc/profile的文... 查看详情