关键词：
ELK自动安装脚本
一、简介
ELK由Elasticsearch、Logstash和Kibana三部分组件组成；
Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用
kibana 是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。
二、核心组件
Logstash: logstash server端用来搜集日志；
Elasticsearch: 存储各类日志；
Kibana: web化接口用作查寻和可视化日志；
Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到elasticsearch或者logstarsh中存放。
三、安装脚本
#!/bin/bash #mail:[email protected] #data:2017/9/7 #AutoInstall ELK scripts #Software:elasticsearch-5.4.1/logstash-5.4.1/filebeat-5.4.1/kibana-5.4.1 clear echo "#############################################################################" echo "# Auto Install ELK. ##" echo "# Press Ctrl + C to cancel ##" echo "# Any key to continue ##" echo "# Softwae:elasticsearch-5.4.1/logstash-5.4.1/filebeat-5.4.1/kibana-5.4.1 ##" echo "#############################################################################" read -p 1 software_dir="/usr/local/software" elasticsearch_url="https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.1.tar.gz" kibana_url="https://artifacts.elastic.co/downloads/kibana/kibana-5.4.1-linux-x86_64.tar.gz" logstash_url="https://artifacts.elastic.co/downloads/logstash/logstash-5.4.1.tar.gz" filebeat_url="https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.1-linux-x86_64.tar.gz" sys_version=`cat /etc/redhat-release |awk ‘{print $4}‘|cut -d. -f1` IP=`ip addr|grep "inet "|grep -v 127.0.0.1|awk ‘{print $2}‘|cut -d/ -f1` jvm_conf="/usr/local/elasticsearch/config/jvm.options" sys_mem=`free -m|grep Mem:|awk ‘{print $2}‘|awk ‘{sum+=$1} END {print sum/1024}‘|cut -d. -f1` #wget software wget_fun() { if [ ! -d ${software_dir} ];then mkdir -p ${software_dir} && cd ${software_dir} else cd ${software_dir} fi for software in $elasticsearch_url $kibana_url $logstash_url $filebeat_url do wget -c $software done clear } #initial system:install java wget;set hostname;disable firewalld init_sys() { [ -f /etc/init.d/functions ] && . /etc/init.d/functions [ "${sys_version}" != "7" ] && echo "Error:This Scripts Support Centos7.xx" && exit 1 [ $(id -u) != "0" ] && echo "Error: You must be root to run this script" && exit 1 sed -i "s/SELINUX=enforcing/SELINUX=disabled/" /etc/selinux/config setenforce 0 yum install -y java-1.8.0-openjdk wget hostnamectl set-hostname elk-server systemctl stop firewalld cat >>/etc/security/limits.conf<<EOF * soft nofile 65536 * hard nofile 65536 * soft nGproc 65536 * hard nproc 65536 EOF } #install elasticsearch install_elasticsearch() { cd $software_dir tar zxf elasticsearch-5.4.1.tar.gz mv elasticsearch-5.4.1 /usr/local/elasticsearch mkdir -p /usr/local/elasticsearch/data /usr/local/elasticsearch/logs useradd elasticsearch chown -R elasticsearch:elasticsearch /usr/local/elasticsearch echo "vm.max_map_count = 655360" >>/etc/sysctl.conf && sysctl -p if [ ${sys_mem} -eq 0 ];then sed -i "s#`grep "^-Xmx" ${jvm_conf}`#"-Xmx512m"#g" ${jvm_conf} sed -i "s#`grep "^-Xms" ${jvm_conf}`#"-Xms512m"#g" ${jvm_conf} else sed -i "s#`grep "^-Xmx" ${jvm_conf}`#"-Xmx${sys_mem}g"#g" ${jvm_conf} sed -i "s#`grep "^-Xms" ${jvm_conf}`#"-Xms${sys_mem}g"#g" ${jvm_conf} fi cat >>/usr/local/elasticsearch/config/elasticsearch.yml<<EOF cluster.name: my-application node.name: elk-server path.data: /usr/local/elasticsearch/data path.logs: /usr/local/elasticsearch/logs network.host: 127.0.0.1 http.port: 9200 discovery.zen.ping.unicast.hosts: ["elk-server"] EOF su - elasticsearch -c "nohup /usr/local/elasticsearch/bin/elasticsearch &" } #install logstash install_logstash() { cd $software_dir tar -zxf logstash-5.4.1.tar.gz mv logstash-5.4.1 /usr/local/logstash cat>/usr/local/logstash/config/01-syslog.conf<<EOF input { beats { port => "5044" } } output { elasticsearch { hosts => "127.0.0.1:9200" } stdout { codec => rubydebug } } EOF nohup /usr/local/logstash/bin/logstash -f /usr/local/logstash/config/01-syslog.conf & >/dev/null } #install filebeat install_filebeat() { cd $software_dir tar -zxf filebeat-5.4.1-linux-x86_64.tar.gz mv filebeat-5.4.1-linux-x86_64 /usr/local/filebeat cat >/usr/local/filebeat/filebeat.yml<<EOF filebeat.prospectors: - input_type: log paths: - /var/log/*.log output.logstash: hosts: ["127.0.0.1:5044"] EOF cd /usr/local/filebeat/ nohup /usr/local/filebeat/filebeat & >/dev/null } #install kibana install_kibana() { cd $software_dir tar -zxf kibana-5.4.1-linux-x86_64.tar.gz mv kibana-5.4.1-linux-x86_64 /usr/local/kibana cat >> /usr/local/kibana/config/kibana.yml <<EOF server.port: 5601 server.host: "0.0.0.0" elasticsearch.url: "http://127.0.0.1:9200" EOF nohup /usr/local/kibana/bin/kibana & >/dev/null } check() { port=$1 program=$2 check_port=`netstat -lntup|grep ${port}|wc -l` check_program=`ps -ef|grep ${program}|grep -v grep|wc -l` if [ $check_port -gt 0 ] && [ $check_program -gt 0 ];then action "${program} run is ok!" /bin/true else action "${program} run is error!" /bin/false fi } main() { init_sys wget_fun install_elasticsearch install_filebeat install_logstash install_kibana echo -e " 33[32m Checking Elasticsearch... 33[0m" sleep 20 check :9200 "elasticsearch" echo -e " 33[32m Checking Logstash... 33[0m" sleep 2 check ":9600" "logstash" echo -e " 33[32m Checking Kibana... 33[0m" sleep 2 check ":5601" "kibana" action "ELK install is success!" /bin/true echo "url:http://$IP:5601" } main
四、脚本安装
安装完成访问：http://IP:5601即可访问
五、配置
通过web界面访问，创建index patterns
六、查看日志与dashboard
本文出自 “KaliArch” 博客，请务必保留此出处http://kaliarch.blog.51cto.com/8966921/1964265
elk简单安装
...析、存储数据三大功能，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负 查看详情
elk的tar.gz的安装
在安装ELK的过程中有些问题。安装elasticsearch和kibana直接使用系统启动脚本，加入系统启动。安装logstash的时候使用system-install文件来生成系统启动脚本。在各种使用中的问题只能查看日志文件找出问题的出现，解决之。 查看详情
elk安装配置
...个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供... 查看详情
sh使用一个用于中央日志服务器（centos6.5）的脚本安装elk堆栈（使用redis）。(代码片段)
sh使用一个用于中央日志服务器（centos6.5）的脚本安装elk堆栈（使用redis）。(代码片段)
sh使用一个用于中央日志服务器（centos6.5）的脚本安装elk堆栈（使用redis）。(代码片段)
站点上线联动elk日志录入(代码片段)
ELK架构日志处理逻辑：1、业务层Filebeat安装时会自动获取主机运行站点域名及环境信息新增channel及env标签，并将channel的值作为kafka的topic信息2、Kafka收到Filebeat的新增字段及Topic信息，自动创建Topic信息，以等待logstash消费3、Logsta... 查看详情
elk测试
...存储日志。它是分布式的，也就是说可以横向扩容，可以自动发现，索引自动分片，总之很强大。文档https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.htmlLogstash用来采集日志，把日志解析为json格式交给ElasticSearch。Kibana是一个... 查看详情
elk+kafka构建日志收集系统之环境安装(代码片段)
...索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口 查看详情
在windows下安装elk
...安装成功 servicemanager会弹出服务管理界面，可以设置自动启动，并启动之 浏览器访问127.0.0.1:9200，出现成功的json 程序端口为 查看详情
elk的启动脚本(代码片段)
作者：邓聪聪方便自己的应用，制作一个elk的自启动脚本#!/bin/shPATH=$PATH./etc/init.d/functionsstart()if[`whoami`==elk];thenaction"startelasticsearch:"falseecho"pleaseuseuserelkstarted"elsesu-elk-c"/elk/elasticsearch-6.3.0/bin 查看详情
elk+kafka构建日志收集系统之环境安装(代码片段)
...索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，它可以对你的日志进行收集... 查看详情
elk——01安装elk
...径为JAVA_HOME。https://www.elastic.co/cn/downloads/logstash官网直接安装logstash官网方式安装。和logstash一样，采用yum安装方式，直接看官网教程，不再赘述。https://www.elastic.co/guide/en/kibana/7.9/rpm.html#rpm-repoELK也是cs架构，所以会有一个服务器... 查看详情
docker安装部署elk教程(elasticsearch+kibana+logstash+filebeat)(代码片段)
...个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供... 查看详情
filebeat+kafka+elk集群实验
一、环境准备二、安装kafka在zookeeper集群中三台机子上均要安装修改配置文件修改环境变量配置启动脚本#!/bin/bash#chkconfig:23452288#description:KafkaServiceControlScriptKAFKA_HOME='/usr/local/kafka'case$1instart) echo"----------Ka 查看详情
elk相关启动脚本
elasticsearch启动脚本#!/bin/bash# Description:Elasticsearch ORS SERVERES_HOME=/usr/local/elasticsearch-5.0.0PID=$(jps | grep Elasticsearch | awk ‘{print $ 查看详情
elk之es使用(代码片段)
...映射类型、自定义分析器、本地脚本、自定义发现方式；安装： 方式1：直接将插件放置于plugins目录中即可； 方式2：使用plugin脚本进行安装；安装marvel、bigdesk、head、kopf#plugin命令，... 查看详情
elk配置新增脚本(代码片段)
...per如果手动配置的话工作量较大，而且容易出错。写了个脚本以便快速部署。文件结构如下?elk_scriptsgit:(master)?tree.├──README├──log-make.sh├──rsyslog-clinet-temp└──rsysl 查看详情