关键词：
什么是ELK？
ELK指的是ElasticSearch，Logstash，Kibana这三个工具的首字母缩写，中文指南很详细，按其步骤来，入门基本没啥问题。
解决什么问题？
公司产品EDI平台的主要任务就是将各个数据源的文件信息处理后再发送第三方，没有实时监控，文件发送不成功时，运维相当被动。
ELK的强项就是实时的日志分析，通过对日志文件的分析（秒级）对比，及时将异常情况通知运维。
计划步骤如下：
1）制定日志规范，在程序中增加日志，记录处理过程。
2）部署Logstash监控日志文件。
3）开发服务程序，定时查询elasticsearch，按文件名比对处理状态，例如：有发送记录，但设定时间内无接收的记录则报警。
计划架构如下：
logstash -> elasticsearch -> kibana
踩坑之旅
其实也不算坑，主要还是不了解。
1）指南中说Logstash在windows环境下可能不靠谱，所以替换成Filebeat，研究一圈后发现居然没有字段提取功能，所以架构又变成
Filebeat -> Logstash -> ElasticSearch -> Kibana
2）指南中看到了Kibana的watcher插件，貌似可以替代计划的3），研究一圈后要实现定时查询后遍历再匹配很难，性能估计也扛不住。
3）重新审视计划，更好的方案应该是在日志写入时就匹配，匹配上后更新发送记录状态，watcher只要实现定时查询没有匹配状态的发送记录即可。
4）准备开发logstash的插件，研究后发现通过logstash-input-beats/logstash-filter-grok/logstash-filter-elasticsearch/logstash-output-elasticsearch插件可实现该功能。
5）logstash-filter-elasticsearch插件，原打算通过此步获取_id并在output中更新发送的日志记录，但其他值都能取到，就是没有_id，查看github源码发现
只能获取‘hits‘][‘hits‘][_source]中的内容，而_id为[‘hits‘][‘hits‘][‘_id‘]，修改代码后OK.
6）logstash-out-elasticsearch插件，通过设置document_id及action=update后可以更新成功，但把所有的接收日志信息都更新到了发送日志记录，只有
另取其他插件实现了。
7）logstash-out-http插件，通过该插件直接post更新语句可以实现。
8）原料准备完毕，下一步该写wacher脚本实现预警了，踩完再来补充。
elk搭建实时日志分析平台(代码片段)
ELK搭建实时日志分析平台导言ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成，ELK平台可以同时实现日志收集、日志搜索和日志分析的功能。对于生产环境中海量日志信息的分析处理无疑不是一个好的解决方案。官方网站：https... 查看详情
elk日志平台
...文件发送不成功时，运维相当被动。ELK的强项就是实时的日志分析，通过对日志文件的分析（秒级）对比，及时将异常情况通知运维。计划步骤如下：1）制定 查看详情
elk——elasticstack日志分析平台(代码片段)
ElasticStack日志分析平台ELK日志采集与分析系统概述ELK架构Filebeat重读日志文件使用Processors（处理器）过滤和增强数据LogstashLogstash安装使用Grok过滤器插件解析Web日志使用Geoip过滤器插件增强数据编辑**配置接受Beats的输入ES... 查看详情
日志平台elk
安装 http://doc.okbase.net/qindongliang1922/archive/184341.htmlKibana 检索可视化数据Kibanahttps://www.elastic.co/products/kibana 查看详情
elk日志管理平台部署简介
...系统和硬件状态，除了使用监控之外，还需要搜集大量的日志来进行分析。但是在面对海量的服务器和集群时，通过单台登录查询的方式显然是不可能的，对于不同时间段和集群日志的分析仅仅通过简单的脚本来统计也是难以实... 查看详情
elk日志监控平台
一elk开源日志分析平台介绍1介绍elasticsearch是一个开源分布式搜索引擎，它的特点是：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动负载等特性logstash：是一个完全开源的工具，他... 查看详情
elk+filebeat+kafka+zookeeper构建海量日志分析平台
ELK+Filebeat+Kafka+ZooKeeper构建海量日志分析平台参考：http://www.tuicool.com/articles/R77fieA我在做ELK日志平台开始之初选择为ELK+Redis直接构建，在采集nginx日志时一切正常，当我采集我司业务报文日志类后，logstash会报大量的redisconnecttimeout... 查看详情
elk日志分析平台搭建----elasticsearch
ELK日志分析平台搭建----ELASTICSEARCH介绍：ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成1、Elasticsearch是一个开源分布式的搜索引擎，特点是：分布式、零配置、自动发现、索引自动分片、索引副本机制、restful风格接口，多数据... 查看详情
elk服务搭建（开源实时日志分析elk平台部署）（低版本—简单部署）
开源实时日志分析ELK平台部署日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能... 查看详情
结合docker快速搭建elk日志收集分析平台
结合Docker快速搭建ELK日志收集分析平台2017-03-2709:39 阅读172 评论0作者：马哥Linux运维-EasonELKStackELK (Elasticsearch+Logstash+Kibana)，是一个开源的日志收集平台，用于收集各种客户端日志文件在同一个平台上面做数据分析。Int... 查看详情
elk日志平台----解耦配置文件
...配置输入输出，实例；第二个：shipper.conf配置logstash收集日志内容到redis里；第三个：indexer.conf配置logstash从redis里读取日志内容输出到Elasticsearch里。第二个跟第三个配置解耦收集日志ELK解耦logstash---------->redis----------> 查看详情
[bigdata-elk]elk(elasticsearch,logstash,kibana)搭建实时日志分析平台
...段：以下内容来自： http://baidu.blog.51cto.com/71938/1676798日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可... 查看详情
日志分析elk平台搭建
当服务器数量以及应用达到一定的数量后，操作系统日志以及应用软件日志数量庞大，遇到问题时日志是第一手资料。平时用的sed、grep、awk已经难以满足我们的需求。随着互联网技术的发展，好多大型互联网公司研发了不... 查看详情
elk日志收集平台部署
...公司的后台服务有三台，每当后台服务运行异常，需要看日志排查错误的时候，都必须开启3个ssh窗口进行查看，研发们觉得很不方便，于是便有了统一日志收集与查看的需求。 这里，我用ELK集群，通过收... 查看详情
elk日志收集平台部署
...公司的后台服务有三台，每当后台服务运行异常，需要看日志排查错误的时候，都必须开启3个ssh端口进行查看，研发们觉得很不方便，于是便有了统一日志收集与查看的需求。 这里，我用ELK集群，通过收... 查看详情
elk：日志收集分析平台(代码片段)
...ticsearch集群部署配置文件Kibana部署参考文档简介ELK是一个日志收集分析的平台，它能收集海量的日志，并将其根据字段切割。一来方便供开发查看日志，定位问题；二来可以根据日志进行统计分析，通过其强大的呈现能力，挖掘... 查看详情
elk日志平台之elasticsearch
一、ELKStack简介Elstaicsearch:日志存储和搜索logstash：日志收集kibana：日志展示ELK架构示意图：650)this.width=650;"src="http://s5.51cto.com/wyfs02/M01/86/77/wKioL1e_uAXhCzMIAABPgVmad_U144.jpg-wh_500x0-wm_3-wmp_4-s_3027742533.jpg" 查看详情
开源日志分析系统elk平台搭建部署
开源日志分析系统ELK平台搭建部署 一、前言日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了... 查看详情