elk收集网络设备日志(代码片段)

关键词：

ELK版本：elasticsearch-5.2.2 kibana-5.2.2 logstash-2.4.1 all plugins

部署环境为单台服务器，未配置集群

一、官网下载地址：https://www.elastic.co/downloads

二、elasticsearch安装

1、由于安装ELK需要jdk,因此没有jdk的，先安装1.8版本以上

[root@ELK-1 ~]# rpm -ivh jdk-8u121-linux-x64.rpm

2 、下载并安装Elasticsearch

[root@ELK-1 ~]# rpm -ivh elasticsearch-5.2.2.rpm

3、 编辑配置文件,主要修改以下几项

[root@ELK-1 ~]# vi /etc/elasticsearch/elasticsearch.yml

path.data: /data/elasticsearch #日志存储目录
path.logs: /data/elasticsearch/log #elasticsearch启动日志路径
network.host: 10.10.10.1 #这里是主机IP
http.port: 9200 #api接口url
bootstrap.memory_lock: false #不锁定内存
bootstrap.system_call_filter: false #需自行添加

4、 创建配置文件夹后启动

[root@ELK-1 ~]# mkdir -pv /data/elasticsearch/log
5、修改文件夹所属用户

[root@ELK-1 ~]# grep elas /etc/passwd #查看安装elasticsearch时自动创建 的用户

[root@ELK-1 ~]# chown -R elasticsearch. /data/ #elasticsearch需使用该用户启动否则会报错

6、修改内容参数，否则会报错

[root@ELK-1 ~]# vim /etc/security/limits.conf # 在该文件最后的几行，修改配置如下：

soft core unlimited
hard core unlimited
soft nofile 65536
hard nofile 131072
soft nproc 2048
hard nproc 4096

[root@ELK-1 ~]# vim /etc/sysctl.conf # 在最下面添加如下内容：
vm.max_map_count=655360

[root@ELK-1 ~]# vi /etc/security/limits.d/90-nproc.conf
找到如下内容：

soft nproc 1024
修改为
soft nproc 2048

[root@ELK-1 ~]# sysctl -p

7、启动elasticsearch

[root@ELK-1 ~]# service elasticsearch start

三、Kibana安装

1、下载并安装Kibana

[root@ELK-1 ~]# rpm -ivh kibana-5.2.2-x86_64.rpm

2、编辑配置文件,主要修改如下

[root@ELK-1 ~]# vi /opt/kibana/config/kibana.yml

server.port: 5601
server.host: "10.10.10.10"
elasticsearch.url: "http://10.10.10.10:9200"
kibana.index: ".kibana“

3、 启动并检查是否安装成功

[root@ELK-1 ~]# service kibana start

[root@ELK-1 ~]# netstat -ntlp|grep 5601 #检查5601是否监听

四、Logstash安装

1、下载并安装Logstash

[root@ELK-1 ~]# rpm -ivh logstash-2.4.1.noarch.rpm 
#默认安装位置：/opt/logstash

2、创建配置文件
#配置文件位置：/etc/logstash/conf.d

syslog的logstash配置如下：

[root@ELK-1 ~]# cd /etc/logstash/conf.d

[root@ELK-1 ~]# vi syslog.conf
添加如下内容：
input 
syslog 
port => "514"


output 
elasticsearch 
hosts => ["10.10.10.10:9200"]
index => "logstash_syslog-%+YYYY.MM.dd"



3、启动logstash

[root@ELK-1 ~]# service rsyslog stop #关掉系统原本的syslog服务，不然会占用514端口

[root@ELK-1 ~]# nohup /opt/logstash/bin/logstash -f syslog.conf

#最后去kibana上的Management上添加一个index pattern名为logstashsyslog就能 使用啦

五、kibana web管理界面配置

1、打开http://10.10.10.10:5601/


2.开始使用


参考文献：
参考文章：
https://jeffrycheng.com/2017/03/15/%E9%80%9A%E8%BF%87elk%E6%90%AD%E5%BB%BAsyslog%E5%92%8Csflow%E6%94%B6%E9%9B%86%E4%B8%8E%E5%88%86%E6%9E%90/
https://segmentfault.com/a/1190000007728789
http://www.cnblogs.com/liaojiafa/p/6139752.html
https://blog.51cto.com/tryingstuff/1888978

kafka+zookeeper+filebeat+elk搭建日志收集系统(代码片段)

ELKELK目前主流的一种日志系统,过多的就不多介绍了Filebeat收集日志,将收集的日志输出到kafka,避免网络问题丢失信息kafka接收到日志消息后直接消费到LogstashLogstash将从kafka中的日志发往elasticsearchKibana对elasticsearch中的日志数据进行... 查看详情

elk---日志收集(代码片段)

语法格式logstash中行为事件，流程:事件---input---codec---filter---codec----outputinput#注释stdin#可以不用写filteroutputelasticsearchhosts=>["ip:9200"]index="test-%+YYYY.DD.mm"stdoutcodec=>"rubydebug"rsy 查看详情

elk：日志收集分析平台(代码片段)

...rch集群部署配置文件Kibana部署参考文档简介ELK是一个日志收集分析的平台，它能收集海量的日志，并将其根据字段切割。一来方便供开发查看日志，定位问题；二来可以根据日志进行统计分析，通过其强大的呈现能力，挖掘数据... 查看详情

elk日志收集(代码片段)

ELK日志系统整体架构： 结构解读：整个架构从左到右，总共分为5层最左边的是业务服务器集群，上面安装了filebeat做日志采集，同时把采集的日志分别发送给多个kafka服务。第二层、数据缓存层，把数据转存到本地的kafkabroke... 查看详情

elk架构-搭建一个日志收集系统(代码片段)

一、日志收集端1、nginx:nginx-1.16.1.tar.gz为了kibana收集nginx日志获取字段，先将日志转化为json格式。格式样式如下：log_formataccess_json‘"@timestamp":"$time_iso8601",‘‘"host":"$server_addr",‘‘"clientip":"$remote_addr",‘‘"size":$body_byte 查看详情

elk收集日志到mysql(代码片段)

场景需求在使用ELK对日志进行收集的时候，如果需要对数据进行存档，可以考虑使用数据库的方式。为了便于查询，可以同时写一份数据到Elasticsearch中。环境准备CentOS7系统：192.168.20.60node1KibanaESLogstashNginx192.168.20.61node2ESMariaDB这... 查看详情

elk-filebeat收集docker容器日志(代码片段)

目录使用docker搭建elkfilebeat安装与配置docker容器设置参考文章首发地址使用docker搭建elk1、使用docker-compose文件构建elk。文件如下：version:‘3‘services:elk:image:sebp/elk:640ports:-"5601:5601"-"9200:9200"-"5044:5044"environment:-ES_JAVA_OPTS= 查看详情

elk部署elk+filebeat日志收集分析系统(代码片段)

说明：此安装流程只适用于8.0.0以下的版本1.ElasticSearch部署1.1下载ElasticSearch的wget指令：wgethttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.13.4-linux-x86_64.tar.gz1.2解压安装包到指定目录指定解压缩到/usr/ 查看详情

elk日志收集到redis中(代码片段)

apache_log------>logstash----->redis---->logstash----->es日志写到redis中redis安装配置略inputpath=>"/var/log/access_log"type=>"acccess_log"start_postition=>"beginning"outputredishost=> 查看详情

elk使用filebeat替代logstash收集日志(代码片段)

使用beats采集日志之前也介绍过beats是ELK体系中新增的一个工具，它属于一个轻量的日志采集器，以上我们使用的日志采集工具是logstash，但是logstash占用的资源比较大，没有beats轻量，所以官方也推荐使用beats来作为日志采集工具... 查看详情

部署elk+kafka+filebeat日志收集分析系统(代码片段)

ELK+Kafka+Filebeat日志系统文章目录ELK+Kafka+Filebeat日志系统1.环境规划2.部署elasticsearch集群2.1.配置es-1节点2.2.配置es-2节点2.3.配置es-3节点2.4.使用es-head插件查看集群状态3.部署kibana4.部署zookeeper4.1.配置zookeeper-1节点4.2.配置zo... 查看详情

用elk工具收集rancher1.6上容器日志(代码片段)

...上使用dockerlogs查看日志，不太方便，因此搭建一个elk来收集rancher上部署的docker容器日志。rancher上部署的docker容器，日志位置在/var/lib/docker/containers/co 查看详情

docker容器使用loki收集日志(代码片段)

...rafana)loki进行日志聚合处理 类似elk中的espromtail是日志收集，类似elk中的logstashfilebeat等，如果是只收集docker容器的日志则可以用loki的dockerplugin替代grafana是日志显示，类似elk中的kibana，可以通过各种标签和表达式过滤显示日志... 查看详情

elk+kafka构建日志收集系统之环境安装(代码片段)

ELK+kafka构建日志收集系统之环境安装1.背景ELK由Elasticsearch、Logstash和Kibana三部分组件组成；Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机... 查看详情

elk日志系统设计方案-filebeat日志收集推送kafka(代码片段)

ELK日志系统的常见解决方案：通常的产品或项目部署至服务器，运行服务后会生成日志文件。通过Filebeat监控相关文件夹，当有新日志产生，就读取新日志，将日志输送到Kafka中。经由Logstash消费Kafka生产的数据... 查看详情

elk日志系统设计方案-filebeat日志收集推送kafka(代码片段)

ELK日志系统的常见解决方案：通常的产品或项目部署至服务器，运行服务后会生成日志文件。通过Filebeat监控相关文件夹，当有新日志产生，就读取新日志，将日志输送到Kafka中。经由Logstash消费Kafka生产的数据... 查看详情

elk日志系统设计方案-filebeat日志收集推送kafka(代码片段)

ELK日志系统的常见解决方案：通常的产品或项目部署至服务器，运行服务后会生成日志文件。通过Filebeat监控相关文件夹，当有新日志产生，就读取新日志，将日志输送到Kafka中。经由Logstash消费Kafka生产的数据... 查看详情

elk(代码片段)

...：单机ELK部署案例二.JAVA环境配置，部署filebeat+Elasticsearch收集apache日志nginx日志收集配置mysqlslow慢日志收集elk简介ELK是三个开源软件的缩写，分别表示：Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat，它是一个轻... 查看详情