正文 

当前位置： 首页 > 开发 > java教程

大数据linux必知必会-02(代码片段)

：Concerto ：Concerto     2022-11-29     716

关键词：

8 网络配置

8.1 静态ip设置

  1. 配置文件地址：/etc/sysconfig/network-scripts/ifcfg-ens33

  2. 修改如下
  • 原来

  • 改成

  1. reboot重启下生效

8.2 修改linux主机名

  1. 修改配置文件下的主机名/etc/hostname
[root@hadoop ~]# vim /etc/hostname
  1. 修改映射文件/etc/sysconfig/network
[root@hadoop ~]# vim /etc/sysconfig/network
  1. 增加ip和主机名的映射/etc/hosts
[root@hadoop ~]# vim /etc/hosts
  1. 重启然后ping一下

8.3 windows下通过主机名来连接虚拟机

  1. 修改映射文件：C:\\Windows\\System32\\drivers\\etc找到hosts文件

  1. 然后用windows的cmd ping看看

9 进程管理

9.1 查看进程

  1. 查看进程执行
  • ps -aux
  • 实例
[root@hadoop ~]# ps -aux | more
USER        PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root          2  0.0  0.0      0     0 ?        S    04:25   0:00 [kthreadd]
root          3  0.0  0.0      0     0 ?        S    04:25   0:00 [ksoftirqd/0]

[root@hadoop ~]# ps -aux | grep sshd
root       9199  0.0  0.1 112756  4312 ?        Ss   04:25   0:00 /usr/sbin/sshd -D
root       9771  0.0  0.1 157152  5904 ?        Ss   04:33   0:00 sshd: root@pts/0
root       9795  0.0  0.0 112708   972 pts/0    R+   04:36   0:00 grep --color=auto sshd
  1. 查看父进程
  • ps -ef
  • 实例
[root@hadoop ~]# ps -ef | more
UID         PID   PPID  C STIME TTY          TIME CMD
root          2      0  0 04:25 ?        00:00:00 [kthreadd]
root          3      2  0 04:25 ?        00:00:00 [ksoftirqd/0]
  1. 以树状形式显示进程
  • pstree -p 显示进程ID
  • pstree -u 显示进程所属用户
  • 实例
[root@hadoop ~]# pstree -p | more
systemd(1)-+-NetworkManager(8492)-+-NetworkManager(8602)
           |                      `-NetworkManager(8608)
           |-agetty(8588)
           |-anacron(9932)
           |-auditd(7936)---auditd(7938)
           |-crond(8534)

[root@hadoop ~]# pstree -u | more
systemd-+-NetworkManager---2*[NetworkManager]
        |-agetty
        |-anacron
        |-auditd---auditd

9.2 终止进程

  1. kill 进程号
  2. kill -9 进程号
  3. 实例
[root@hadoop ~]# yum install pstree
Loaded plugins: fastestmirror
Existing lock /var/run/yum.pid: another copy is running as pid 9803.
Another app is currently holding the yum lock; waiting for it to exit...

[root@hadoop ~]# kill -9 9803
[root@hadoop ~]# yum -y install psmisc
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile

9.3 服务管理

  1. 查看与修改防火墙情况
  • systemctl status firewalld 查看防火墙情况 老版：service iptables status
    • systemctl start status 打开防火墙 老版：service iptables restart
    • systemctl stop status 关闭防火墙 老版：service iptables stop
  • 实例
[root@hadoop ~]# systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)
     Docs: man:firewalld(1)

[root@hadoop ~]# systemctl start firewalld

[root@hadoop ~]# systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: active (running) since Tue 2022-07-26 05:36:20 CST; 32s ago

[root@hadoop ~]# systemctl stop firewalld
  1. (了解)用windows查看linux的端口监听情况
  • firewall-cmd --list-ports
  • firewall-cmd --zone=public --add-port=88/tcp --permanent
  • firewall-cmd --zone=public --remove-port=88/tcp --permanent

  • 使用windows telnet客户端登录，在cmd中输入：ip 端口号

  1. 查看自启动列表
  • systemctl list-unit-files
  • 实例
[root@hadoop ~]# systemctl list-unit-files | more
UNIT FILE                                     STATE   
proc-sys-fs-binfmt_misc.automount             static  
dev-hugepages.mount                           static

9.4 监控服务

  1. 动态监控进程top
  • top
  • top -d 秒数 没几秒就更新
  • 实例
[root@hadoop ~]# top
top - 06:07:15 up  1:41,  1 user,  load average: 0.00, 0.01, 0.05
Tasks:  98 total,   1 running,  97 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.0 us,  0.0 sy,  0.0 ni,100.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem :  3861492 total,  3094872 free,   331136 used,   435484 buff/cache
KiB Swap:  2097148 total,  2097148 free,        0 used.  3270292 avail Mem 

   PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND                                    
 10709 root      20   0  161880   2188   1556 R  0.3  0.1   0:00.02 top                                        
     1 root      20   0  125460   3872   2604 S  0.0  0.1   0:01.12 systemd   
[root@hadoop ~]# top -d 3

  • 其他说明

    • 第一行：当前时间 开机截至运行时间 3个用户 负载均衡

    • 第二行：总任务数 运行数 休眠数 停止数 僵尸进程数

    • 第三行：cpu用户占用率 系统占用率 cpu空闲率

    • 第四行：内存总和 内存使用 内存空闲

    • 第五行：swap分区 当内存不够用了，才会用swap分区
    • 输入u可以选择看哪一位用户
    • 输入k终止指定的进程号
    • 可以按照cpu使用率(P)，内存(M),PID排序(N),退出(Q)
  1. 查看系统网络情况
  • netstat -anp

  • netstat -tunlp 端口占用情况

  • 实例
[root@hadoop ~]# netstat -anp | more
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      9199/sshd           
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      9510/master         
tcp        0     36 192.168.60.102:22       192.168.60.1:12424      ESTABLISHED 10690/sshd: root@pt 

看下内容表示：linux有个端口22在监听，是192.168.60.1通过xshell远程登陆了
[root@hadoop ~]# netstat -tunlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      9199/sshd           
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      9510/master         
tcp6       0      0 :::3306                 :::*                    LISTEN      9301/mysqld         
tcp6       0      0 :::22                   :::*                    LISTEN      9199/sshd           
tcp6       0      0 ::1:25                  :::*                    LISTEN      9510/master

10 RPM包和YUM包管理

10.1 rpm包的管理

  1. rpm包的查看

  • rpm -qa 查看已安装的列表

  • rpm -qi 软件包名 查询已安装的rpm包软件的版本信息
  • rpm -ql 软件包名 查询软件包中的文件

  • rpm -qf 文件全路径 查询文件所属的哪个软件包

  • 实例
[root@hadoop ~]# rpm -qa | grep ssh
openssh-clients-7.4p1-16.el7.x86_64
openssh-server-7.4p1-16.el7.x86_64
libssh2-1.4.3-12.el7.x86_64
openssh-7.4p1-16.el7.x86_64

[root@hadoop ~]# rpm -qi openssh
Name        : openssh
Version     : 7.4p1
Release     : 16.el7

[root@hadoop ~]# rpm -ql openssh
/etc/ssh
/etc/ssh/moduli
/usr/bin/ssh-keygen
/usr/libexec/openssh

[root@hadoop ~]# rpm -qf /etc/passwd
setup-2.8.71-10.el7.noarch
  1. rpm包的卸载
  • rpm -e 软件包名
  • 实例
[root@hadoop ~]# rpm -e firefox
  • 其他说明

  1. rpm包的安装

  • rpm -lvh 包全路径名称

  • 步骤 :

    • 虚拟机：光驱挂载

    • 然后挂载完成会显示再media中，查看


    • 拷贝到/opt

    • 安装

10.2 YUM包

  1. yum list | grep 软件名 查看yum服务器是否有需要安装的软件
  2. yum install xxx 下载安装
  3. rm -f /var/run/yum.pid 出现yum占用的解决方法
  4. 实例
[root@hadoop ~]# yum list | more
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirrors.dgut.edu.cn
 * extras: mirrors.dgut.edu.cn
 * updates: mirrors.ustc.edu.cn
Installed Packages
GeoIP.x86_64                              1.5.0-13.el7                 @anaconda

[root@hadoop ~]# yum install firefox
Complete!
[root@hadoop ~]# rm -f /var/run/yum.pid

大数据必知必会的-linux命令(代码片段)

用户的创建和删除命令用户创建和密码设置useradd用户名passwd用户名useradditheima#创建新用户itheimapasswditheima#设置用户itheima密码用户删除user-r用户名userdel-ritheima#删除用户itheima权限管理命令文件权限概述Linux操作系统是多任务多用... 查看详情

大数据必知必会的-linux命令(代码片段)

终端命令格式command[-options][parameter]说明:command:命令名,相应功能的英文单词或单词的缩写[-options]:选项,可用来对命令进行控制,也可以省略parameter:传给命令的参数,可以是零个、一个或者多个显示文件列表命令ls是英文单词list的简... 查看详情

大数据必知必会的-linux命令(代码片段)

终端命令格式command[-options][parameter]说明:command:命令名,相应功能的英文单词或单词的缩写[-options]:选项,可用来对命令进行控制,也可以省略parameter:传给命令的参数,可以是零个、一个或者多个显示文件列表命令ls是英文单词list的简... 查看详情

大数据必知必会的-linux命令(代码片段)

文件操作命令touch命令touch命令创建文件touch文件路径toucha.txt#在当前目录创建a.txt文件touch/root/a.txt#在/root目录创建a.txt文件mv命令通过mv命令可以用来移动文件或目录,也可以给文件或目录重命名1）将文件移动另一个目录中࿱... 查看详情

大数据必知必会：hadoop单机环境安装(代码片段)

(大数据必知必会：Hadoop（1）单机环境安装)安装前准备操作系统准备本次安装采用的操作系统是Ubuntu20.04。更新一下软件包列表。sudoapt-getupdate安装Java8+使用命令安装Java8。sudoapt-getinstall-yopenjdk-8-jdk配置环境变量。vi~/.bashrcexportJAVA... 查看详情

大数据必知必会：hadoop高可用集群安装(代码片段)

(大数据必知必会：Hadoop（4）高可用集群安装)安装前准备高可用集群环境下，至少需要3台服务器，这里准备5台。IP地址主机名称角色10.0.0.5node1JournalNode、NameNode、ResourceManager10.0.0.6node2JournalNode、NameNode、ResourceManager10.0.0.7node3Journa... 查看详情

大数据必知必会：hadoop伪分布式安装(代码片段)

(大数据必知必会：Hadoop（2）伪分布式安装)安装前准备操作系统准备本次安装采用的操作系统是Ubuntu20.04。更新一下软件包列表。sudoapt-getupdate安装Java8+使用命令安装Java8。sudoapt-getinstall-yopenjdk-8-jdk配置环境变量。vi~/.bashrcexportJAVA... 查看详情

大数据必知必会：hadoop分布式集群环境安装(代码片段)

(大数据必知必会：Hadoop（3）分布式集群环境安装)安装前准备集群环境下，至少需要3台服务器。IP地址主机名称10.0.0.5node110.0.0.6node210.0.0.7node3需要保证每台服务器的配置都一致，以下步骤在3台服务器上都需要做一次。操作系统... 查看详情

大数据必知必会|hive架构设计和原理(代码片段)

前言        大家好，我是梦想家Alex。在上一篇文章简单介绍HDFS，MapReduce，Yarn的架构思想和原理，收获和反响还不错，那本篇内容，我们继续，本篇文章，我来为大家介绍Hive架构思想和设计原... 查看详情

大数据必知必会|hive架构设计和原理(代码片段)

前言        大家好，我是梦想家Alex。在上一篇文章简单介绍HDFS，MapReduce，Yarn的架构思想和原理，收获和反响还不错，那本篇内容，我们继续，本篇文章，我来为大家介绍Hive架构思想和设计原... 查看详情

mysql必知必会语法和基础知识大总结(代码片段)

...f08;不可重复，不允许nullmysql：基于客户-服务器的数据库系统使用mysqlmysql是部署在主机上的，可以通过ssh建立mysql连接#显示数据库showdatabases;#选择数据库usedatabases;#显示库中的表showtables;#显示表中的列showcolumnsfrom[t 查看详情

mysql必知必会语法和基础知识大总结(代码片段)

...f08;不可重复，不允许nullmysql：基于客户-服务器的数据库系统使用mysqlmysql是部署在主机上的，可以通过ssh建立mysql连接#显示数据库showdatabases;#选择数据库usedatabases;#显示库中的表showtables;#显示表中的列showcolumnsfrom[t 查看详情

mysql学习--mysql必知必会(代码片段)

?上图为数据库操作分类：??下面的操作參考（mysql必知必会）创建数据库运行脚本建表：mysql>createdatabasemytest;QueryOK,1rowaffected(0.07sec)mysql>showdatabases;+--------------------+|Database|+--------------------+|infor 查看详情

大数据必知必会的-linux命令(代码片段)

用户的创建和删除命令用户创建和密码设置useradd用户名passwd用户名useradditheima#创建新用户itheimapasswditheima#设置用户itheima密码用户删除user-r用户名userdel-ritheima#删除用户itheima权限管理命令文件权限概述Linux操作系统是多任务多用... 查看详情

mysql必知必会(代码片段)

姊妹篇——Hive必知必会(数据仓库)：https://hiszm.blog.csdn.net/article/details/119907136文章目录第一章：数据库基础基本概念什么是SQL第二章：MySQL简介第三章：了解数据库和表第四章：检索数据SELECT语句第五章：... 查看详情

hive必知必会(代码片段)

hive： 基于hadoop，数据仓库软件，用作OLAPOLAP：onlineanalyzeprocess 在线分析处理OLTP：onlinetransactionprocess在线事务处理 事务： ACID A：atomic 原子性 C:consistent 一致性 I：isolation 隔离性 D:durability 持久性 1读未提交 　　脏读 //事务... 查看详情

读书笔记sql必知必会(代码片段)

章节标题页数进度完成时间1了解SQL1~9100%2022-04-08 2检索数据SELECT10~22100%2022-04-103排序检索数据ORDERBY23~30100%2022-04-114过滤数据WHERE31~38100%2022-04-115高级数据过滤（组合WHERE，NOT，IN）39~49100%2022-04-166用 查看详情

mysql必知必会（初级篇）(代码片段)

mysql1.基本概念2.SQL语言2.1DCL(数据控制语言)2.1.1创建用户2.1.2使用grant命令给用户授权2.1.3使用revoke命令撤销权限2.2DDL(数据定义语言)2.2.1mysql常用约束类型2.2.2使用alter命令修改表结构2.2.3使用drop命令删除表2.3DML(数据操纵语言)2.3.1使... 查看详情