关键词：
分布式日志收集系统
日志收集系统采用elasticsearch+fluentd+kibana，用fluentd代替elk社区里的logstash，logstas的插件是最多的，同时logstash的性能和资源消耗太高，经某站大佬压力测试，在环境为2核4g的云计算服务器上，logstash写入qps极限为8000，通过结合易瑞现有询报价系统，同时也是用户3000+的项目产品，logstash负载压力显然承受不住，服务器资源消耗太严重，所以基于以上考虑采用新型日志收集产品fluentd来代替logstash，相应的技术资料为下图：
题外话：亚马逊云用的fluentd,阿里云用的自研logtail，logtail是性能目前是最高的。
分布式日志系统架构图初步设计为：
系统环境：centos6
运行环境：jdk1.8, ruby2.0, fluentd2.3.5, elasticsearch1.7.1, kibana5.0.2
fluentd官方网站： http://www.fluentd.org/
fluentd插件下载地址：https://www.fluentd.org/plugins/all
elasticsearch： https://www.elastic.co/products/elasticsearch
kibana：https://www.elastic.co/products/kibana
相互依赖的关系：fluentd需求ruby≥2.0，elasticsearch需求 jdk环境≥1.8。
ruby中网https://ruby-china.org/topics/node1
环境实例：
架构：堡垒机负责收集存储日志信息并对提供对外访问展示（fluentd，elsticsearch，kinbana）
服务器列表：nginx01/172.17.96.200
nginx02/172.17.96.201
堡垒机：172.17.180.114
安装fluentd
官方技术文档请参考https://docs.fluentd.org/v0.12/categories/installation
官方下载地址：https://www.fluentd.org/download
fluentd 的运行环境为ruby
ruby环境：
tar zxvf ruby-2.3.1.tar.gz
cd ruby-2.3.1
./configure
make
make install
然后加入环境变量
vim /etc/profile
export path=/usr/local/src/ruby-2.3.1/bin:$path
source /etc/profile
runy --version
安装成功
fluentd系统采用2.3.6版本
wget http://packages.treasuredata.com.s3.amazonaws.com/2/redhat/6/x86_64/td-agent-2.3.5-0.el6.x86_64.rpm
rpm –ivh td-agent-2.3.5-0.el6.x86_64.rpm
安装后的目录为：/etc/td-agent
配置文件默认存放位置：/etc/td-agent/td-agent.conf
安装fluentd的必要插件（重要）
与elasticsearch通信.或者安装mongo插件，数据存放mongodb中，或者直接安装kibana插件，数据输出到kibana，上面插件地址有介绍，根据自己实际环境需要进行操作
td-agent-gem install fluent-plugin-elasticsearch
字段插件(fluentd为模块化产品,借助各种模块实现收集功能类似nginx)：
td-agent-gem install fluent-plugin-typecast
td-agent-gem install fluent-plugin-secure-forward
安装fluentd三个必要插件
启动fluentd
fluentd安装成功
启动成功,然后我们修改一下fluentd配置文件与elasticsearch进行通信存储：
<source>
@type tail
path /usr/local/nginx/logs/access.log
format /^(?<host>[^ ]) [^ ] (?<user>[^ ]) [(?<time>[^]])] "(?<method>\S+)(?: +(?<path>[^ ]) +\S)?" (?<code>[^ ]) (?<size>[^ ])(?: "(?<referer>[^\"])" "(?<agent>[^\"])")?$/
time_format %d/%b/%Y:%H:%M:%S %z
tag 200nginx.access
pos_file /opt/log/nginx.access.log.pos
</source>
<match **>
@type elasticsearch
flush_interval 1s
host 172.17.180.114
port 9200
include_tag_key true
tag_key @log_name
logstash_format true
</match>
elasticsearch安装
环境需求：jdk1.8
wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz
tar zxvf elasticsearch-1.7.1.tar.gz
cd elasticsearch-1.7.1
下载kopf和head插件kopf是集群资源，数据的查询插件，注意kopf和els有版本依赖，head数据查询配合kopf一起使用更佳
./elasticsearch-1.7.1/bin/plugin install lmenezes/elasticsearch-kopf/1.0
./elasticsearch-1.7.1/bin/plugin install mobz/elasticsearch-head
git地址：https://github.com/lmenezes/elasticsearch-kopf
安装后访问http://localhost：9200/_plgin/head
访问http://localhost:9200/_plugin/kopf
注意画红线的这段内容，表示我们上面fluentd配置已经收集到我们需要的日志，下一步安装kibana让es中的字段以图形化显示出来
安装kibana
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.0.2-linux-x86_64.tar.gz
tar -xzf kibana-5.0.2-linux-x86_64.tar.gz
最新版本为6.0
与es进行关联：
cd kibana-5.0.2-linux-x86_64/config
vim kibana.yml(需要修改下列host列和es的url)
kibana使用时会首先创建模版（可用默认）
然后我们需要查看刚才抓取的日志
注意：1，es中的日志数据区分是按天算每天生成新文件，从这里可以按我们每台服务器定义的文件名进行查看，可根据该tag名进行分类查看
2，查看/显示需要的字段值
3，产生的点击数
4，查找/类别（时间段）
2021年大数据elk：elasticsearch简单介绍
...;帮助大家回顾前面的知识重点。目录系列历史文章 一、Elasticsearch简介1、介绍2、创始人二、Elasticsearch可以做什么1、信息检索2、企业内部系统搜索3、数据分析引擎三、Elasticsearch特点1、海量数据处理2、开箱即用 3、作为传统... 查看详情
[elk]快速搭建简单的日志分析平台
下载ELK(Elasticsearch,Logstash,Kibana) Elasticsearch：wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.4.tar.gzLogstash：wget https://download.elasticse 查看详情
elk(elasticsearch5.0)head插件安装配置
elk升级部署到elasticsearch5.0后，安装elasticsearch-head插件遇到一个小问题:版本5.0以后，则不再elasticsearch/bin/plugin-installmobz/elasticsearch-head这种形式安装head插件，而是通过npm管理配置，步骤复杂了点。head官网：https://github.com/mobz/elastic... 查看详情
日志分析系统elk(elasticsearch+logstash+kibana+filebeat)
...装Filebeat五、集群模式搭建日志分析系统ELK(elasticsearch+logstash+kibana+filebeat)这里先介绍ELK的安装 首先下载ELK在官网下载：https://www.elastic.co/cn/downloads/ 查看详情
2021年大数据elk：elasticsearch简单介绍
...;帮助大家回顾前面的知识重点。目录系列历史文章 一、Elasticsearch简介1、介绍2、创始人二、Elasticsearch可以做什么1、信息检索2、企业内部系统搜索3、数据分析引擎三、Elasticsearch特点1、海量数据处理2、开箱即用 3、作为传统... 查看详情
elk(elasticsearch+logstash+kibana)开源日志分析平台搭建
环境介绍System: CentOS7.2x86_64hostname: elk-server.huangming.orgIPAddress:10.0.6.42、10.17.83.42本篇的ELK环境为单机部署方式，即将ELK所有的软件包都安装在一台服务器上，配置如下：CPU: 4cMem: 8GDisk: 50一、Elasticsearch安装1 查看详情
elk（elasticsearch+logstash+kibana）(代码片段)
一、Elasticsearch 搭建 这里三个都选用6.4.2版本dockerpullelasticsearch:6.4.2dockerrun-d--namees-p9200:9200-p9300:9300-e"discovery.type=single-node"elasticsearch:6.4.2#修改配置dockerexec-ites/bin/bashcdconfigviela 查看详情
ELK(elasticsearch, logstash, kibana, filbeat for agent) 土耳其语字符问题
】ELK(elasticsearch,logstash,kibana,filbeatforagent)土耳其语字符问题【英文标题】：ELK(elasticsearch,logstash,kibana,filbeatforagent)Turkishcharacterproblem【发布时间】：2019-12-0910:14:55【问题描述】：我有ELK堆栈，我使用filebeat作为代理，我正在通过webs... 查看详情
2021年大数据elk：elasticsearch中的核心概念
...，帮助大家回顾前面的知识重点。目录系列历史文章Elasticsearch中的核心概念一、索引index二、映射mapping三、字段Field四、类型Type五、文档document六、集群cluster七、节点node八、分片和副本shards&replicas1、分片2、... 查看详情
2021年大数据elk：elasticsearch安装ik分词器插件(代码片段)
...面的知识重点。目录系列历史文章安装IK分词器一、下载ElasticsearchIK分词器二、切换到lanson用户，并在es的安装目录下/plugins创建ik三、将下载的ik分词器上传并解压到该目录四、将plugins下的ik目录分发到每一台服务器五、重启... 查看详情
2021年大数据elk：elasticsearch架构原理(代码片段)
...历史文章目录，帮助大家回顾前面的知识重点。目录Elasticsearch架构原理一、Elasticsearch的节点类型1、Master节点2、DataNode节点二、分片和副本机制1、分片（Shard）2、副本3、指定分片、副本数量三、Elasticsea 查看详情
[elk]elasticsearch实现冷热数据分离(代码片段)
目录(?)[+] 本文以最新的elasticsearch-6.3.0.tar.gz为例,为了节约资源,本文将副本调为0,无client角色https://www.elastic.co/blog/hot-warm-architecture-in-elasticsearch-5-x以前es2.x版本配置elasticsearch.yml里的node.tag:hot这个 查看详情
（高版本）elk（elasticsearch+logstash+kibana）服务服务搭建
一、ELK是什么鬼？ELK实际上是三个工具的集合，Elasticsearch+ Logstash+ Kibana，这三个工具组合形成了一套实用、易用的监控架构，很多公司利用它来搭建可视化的海量日志分析平台。1.ElasticSearchElasticSearch是一个基于Lucene的搜... 查看详情
elk(elasticsearch+filebeat+kibana)轻量级采集分析nginx日志(代码片段)
ELK是什么？轻量级日志统计分析组件，包含elasticsearch、filebeat、kibanaELK环境准备Elasticsearch下载地址https://www.elastic.co/downloads/past-releases/elasticsearch-6-4-2Elasticsearch参考文档https://www.elastic.co/guide/ 查看详情
elkdocker6.elasticsearch集群启动多节点+解决es节点集群状态为yellow
...动的是单个的ES节点。 系列文章：【ELK】【docker】【elasticsearch】1.使用Docker和Elasticsearch+kibana5.6.9搭建全文本搜索引擎应用集群,安装ik分词器【ELK】【docker】【elasticsearch】2.使用elasticSearch+kibana+logstash+ik分词器+pinyin分词器+繁... 查看详情
[bigdata-elk]elk(elasticsearch,logstash,kibana)搭建实时日志分析平台
ELK平台介绍在搜索ELK资料的时候，发现这篇文章比较好，于是摘抄一小段：以下内容来自： http://baidu.blog.51cto.com/71938/1676798日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软... 查看详情
2021年大数据elk：elasticsearch中的核心概念
...，帮助大家回顾前面的知识重点。目录系列历史文章Elasticsearch中的核心概念一、索引index二、映射mapping三、字段Field四、类型Type五、文档document六、集群cluster七、节点node八、分片和副本shards&replicas 查看详情
elk(elasticsearch,logstash,kibana)搭建实时日志分析平台
ELK平台介绍在搜索ELK资料的时候，发现这篇文章比较好，于是摘抄一小段：以下内容来自：http://baidu.blog.51cto.com/71938/1676798日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件... 查看详情