centos7.x安装elk(elasticsearch+logstash+kibana)

让编程成为一种习惯 让编程成为一种习惯     2022-08-20     168

关键词:

 

第一次听到ELK,是新浪的@ARGV 介绍内部使用ELK的情况和场景,当时触动很大,原来有那么方便的方式来收集日志和展现,有了这样的工具,你干完坏事,删除日志,就已经没啥作用了。

 

很多企业都表示出他们很关心安全,不过他们压根就没看过和关注过自己服务器的日志,这是有点讽刺的。先把日志管理好,然后我们再去深入讨论安全。

Mirantis的Fuel,已经引入ELK作为OpenStack的监控工具,所以我们也需要重点去学习一下ELK。

刚好看到一个老外的视频,介绍CentOS 7安装ELK,讲的很实在,至少我比较喜欢这种形式。

视频地址 http://yunpan.cn/cd5feBr4diFDn 访问密码 019a 文档的内容,我基本是完全照搬视频的内容。

动手验证一遍,顺便把CentOS 7也熟悉一下,真的是第一次在CentOS7下来装东西。目前文档还有问题。正在完善中。都是使用当前最新的版本软件。kibana,估计需要投入很大的精力去配置,才能实现很好的展现。

基本介绍

Elasticsearch  目前最新的版本是1.7.1 ,

Logstash  目前最新版本是1.5.3

kibana  目前最新版本是:4.1.1

Logstash Forwarder,目前最新的版本是0.4.0

技术分享

安装过程

创建一个虚拟机CentOS7.1,分配公网IP,来进行测试

准备

查看操作系统版本

cat /etc/redhat-release 
CentOS Linux release 7.1.1503 (Core)

查看Selinux状态

sestatus
SELinux status:                 disabled

FQDN

设置FQDN,其实有两种方法,http://www.opsers.org/base/linux-fqdn-set.html 这位朋友总结的很好。

记住:创建SSL证书的时候需要用到,这是必做

 cat /etc/hostname
#i-2053f7hj
elk
# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6



# hostname loopback address
127.0.1.1       i-2053f7hj
10.70.26.187    elk.chenshake.com       elk

然后运行

hostname -F /etc/hostname

这时候你可以查看自己的FQDN名字

# hostname -f
elk.chenshake.com
# hostname
elk

安装Firewall

CentOS7有一个重大改变,用firewalld取代iptables,大家都习惯iptables,所以青云默认的镜像,就是使用iptables,没有安装firewalld。

yum install firewalld firewall-config
systemctl start firewalld.service
systemctl enable firewalld.service
systemctl status firewalld

查看是否生效

firewall-cmd --state

安装java

yum install java-1.7.0-openjdk

Elasticsearch

wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.noarch.rpm

安装

yum localinstall elasticsearch-1.7.1.noarch.rpm

启动相关服务

技术分享

照提示做就可以。

systemctl daemon-reload
systemctl enable elasticsearch.service
systemctl start elasticsearch
systemctl status elasticsearch

查看Elasticsearch的配置文件

# rpm -qc elasticsearch
/etc/elasticsearch/elasticsearch.yml
/etc/elasticsearch/logging.yml
/etc/init.d/elasticsearch
/etc/sysconfig/elasticsearch
/usr/lib/sysctl.d/elasticsearch.conf
/usr/lib/systemd/system/elasticsearch.service
/usr/lib/tmpfiles.d/elasticsearch.conf

查看端口使用情况

# netstat -nltp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      606/sshd            
tcp6       0      0 :::9200                 :::*                    LISTEN      3051/java           
tcp6       0      0 :::9300                 :::*                    LISTEN      3051/java           
tcp6       0      0 :::22                   :::*                    LISTEN      606/sshd

在使用9200和9300端口,防火墙打开端口

firewall-cmd --permanent --add-port={9200/tcp,9300/tcp}
firewall-cmd --reload

查看防火墙端口情况

# firewall-cmd --list-all
public (default, active)
  interfaces: eth0
  sources: 
  services: dhcpv6-client ssh
  ports: 9200/tcp 9300/tcp
  masquerade: no
  forward-ports: 
  icmp-blocks: 
  rich rules:

 

kibana

下载tar包

wget https://download.elastic.co/kibana/kibana/kibana-4.1.1-linux-x64.tar.gz

解压

tar zxf kibana-4.1.1-linux-x64.tar.gz -C /usr/local/
cd /usr/local/
mv kibana-4.1.1-linux-x64 kibana

创建启动文件

创建一个kibana.service文件。

cat > /etc/systemd/system/kibana.service <<EOF
[Service]
ExecStart=/usr/local/kibana/bin/kibana


[Install]
WantedBy=multi-user.target
EOF

启动kibana服务

systemctl enable kibana
systemctl start kibana
systemctl status kibana

查看端口

# netstat -nltp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:5601            0.0.0.0:*               LISTEN      3830/node           
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      977/sshd            
tcp6       0      0 :::9200                 :::*                    LISTEN      978/java            
tcp6       0      0 :::9300                 :::*                    LISTEN      978/java            
tcp6       0      0 :::22                   :::*                    LISTEN      977/sshd

操作过程基本一样,打开5601端口

firewall-cmd –permanent –add-port=5601/tcp firewall-cmd –reload firewall-cmd –list-all

这个时候,访%9

elk

https://www.elastic.co/elasticsearch:可以看成一个分布式的NoSql数据库,基于Lucene,开放了restfulapi和多种语言的编程接口。             支持复杂的查询,而且查询高效,sql能查的东西elasti... 查看详情

震惊全网的elk日志分析系统(齐全详细理论+搭建步骤图释)(代码片段)

...、前言概述与基础理论1.1ELK系统简介1.2ELK日志工作原理1.3Elasticsearch、Logstash、Kibana详细介绍1.3.1Elasticsearch1.3.2Logstash1.3.3Kibana二、ELK日志分析系统搭建2.1实验环境2.2部署Elasticsearch软件(node1和node2都需部署)2.3安装elasticsea 查看详情

centos7.x安装lamp

CentOS7.x安装apache[[email protected]~]#yum-yinstallhttpdhttpd-devel[[email protected]~]#systemctlstart httpd[[email protected]~]#systemctlenable httpd CentOS7.x安装Mariadb数据 查看详情

centos7.x安装zabbix3.x

系统环境:    VMwareWorkstation12Pro12.5.0CentOS7.3_1611Zabbix3.2---以下操作均以root身份操作---1:设置网卡为开机启动Shell>ifconfig1.  [[email protected] ~]# ifconfig   查看详情

35.centos7.x系统安装

镜像下载地址:http://mirrors.sohu.com/centos/7/isos/x86_64/            http://mirrors.163.com//centos/7/isos/x86_64/开源镜像网北京理工大学:http://mirror.bit.e 查看详情

vsftpd配置ftp服务器(centos7.x安装)

安装配置1.安装vsftpd检查是否安装了vsftpd#rpm-qa|grepvsftpdvsftpd-2.2.2-24.el6.x86_64如果有展示则已经安装,不需要重新安装安装vsftpdyum-yinstallvsftpd//-y表示不用输入确定,直接一路安装 查看详情

centos7.x安装docker1.17.x

CentOSLinuxrelease7.0.1406(Core)Linux10-4-21-1013.10.0-123.4.4.el7.x86_64一、安装基础依赖1、卸载老版本sudorpm-e$(rpm-qa|grepdocker)2、设置仓库sudoyuminstall-yyum-utilsdevice-mapper-persistent-datalvm23、启动extras额外的依赖库sud 查看详情

centos6.x和centos7.x字符界面安装图形界面方法

CentOS6.x和CentOS7.x字符界面安装图形界面方法一、centos6.x字符界面安装图形界面方法1、配置好yum源,可以使用光盘镜像源,也可以使用网络源都可以(1)配置本地光盘镜像源方法   [[email protected]~]#cd/etc/yum.repos.d/&nbs... 查看详情

centos7.x下环境搭建—nodejs安装(代码片段)

有3种方式可以安装nodejsyum安装源码包安装nvm方式安装一、方式1:yum安装这里我们指定安装8.x以上的版本#curl--silent--locationhttps://rpm.nodesource.com/setup_8.x|sudobash-#yuminstall-ynodejs一般在安装完node之后,默认已经帮我们安装好npm了,使... 查看详情

centos7.x安装图形化界面(代码片段)

系统安装完成后,选择了最小化安装。安装完成后想使用图形化界面,需要使用命令安装。1、配置yum进行安装。确保yum源可以正常使用后。使用yumgrouplist查看可以软件组。(软件组就是我们安装系统工程中的那些内容)主要安... 查看详情

centos7.x安装kickstart

 kickstart简介kickstartkickstart是RedHat公司开源的软件,所以对CentOS兼容性最好,是一种无人值守的安装方式就是将手动安装配置的步骤,记录到文件中,然后通过kickstart安装系统时,读取写好的配置文件即可。cobbler时kickstart升... 查看详情

2021年大数据elk:elasticsearch架构原理(代码片段)

...历史文章目录,帮助大家回顾前面的知识重点。目录Elasticsearch架构原理一、Elasticsearch的节点类型1、Master节点2、DataNode节点二、分片和副本机制1、分片(Shard)2、副本3、指定分片、副本数量三、Elasticsea 查看详情

centos7.x安装docker(代码片段)

安装之前确保之前没有安装过docker为此首先删除存在的docker程序sudoyumremovedockerdocker-commondocker-selinuxdocker-engine这里我们需要安装的是社区版本 DockerCE,而非DockerEE(企业版)企业版是收费版本首次在新的主机上安装DockerCE之前,您... 查看详情

centos7.x安装扩展包并更新系统内核

[[email protected]~]#yuminstallepel-release-y[[email protected]~]#yumupdate-y 查看详情

centos7.x之yum安装zabbix

1、安装LAMP#关闭防火墙方便测试yum install epel-release -ysystemctl stop firewalld.servicesystemctl disable firewalld.servicesetenforce 0#安装httpdyum install httpds 查看详情

centos7.x通过rpm包安装docker

...bbitMQ、K8s)等方便学习和使用。今天记录下如何通过rpm在centos7.x系统里面安装Docke 查看详情

centos7.x安装docker-ce

Centos下安装Docker-ceCentOS7.0,CentOS7.2:cat>/etc/yum.repos.d/docker-main.repo<<-‘EOF‘[docker-main-repo]name=DockermainRepositorybaseurl=https://yum.dockerproject.org/repo/main/centos/7enabled=1 查看详情

3分钟教你学会虚拟机上centos7.x系统安装(代码片段)

文章目录生产环境如何安装Centos7.x操作系统前言服务器操作系统发展历史linux发展历史介绍linux发展重要节点linux发行版本介绍操作系统镜像下载官方网站下载镜像平台下载操作系统部署系统安配置说明初始化修改网卡名为eth0安... 查看详情