关键词：
Logstash主要做由三部署组成：
- Collect：数据输入
- Enrich：数据加工，如过滤，改写等
- Transport：数据输出
下面来安装一下：
wget https://download.elastic.co/logstash/logstash/logstash-2.3.2.tar.gz tar -zxvf logstash-2.3.2.tar.gz
在logstash-2.3.2目录下创建文件shipper.conf并配置：
input {
file {
path => [ "/var/log/test_logstash.log" ]
}
}
filter {
mutate {
replace => ["host", "192.168.0.127 B[1]"]
}
}
output {
redis {
host => "192.168.0.127"
port => 6379
db => 8
data_type => "channel"
key => "logstash_list_0"
}
}
在logstash-2.3.2目录下创建文件indexer.conf并配置：
input {
redis {
host => "192.168.0.127"
port => 6379
db => 8
data_type => "channel"
key => "logstash_list_0"
}
}
output {
file {
path => "/var/log/all.log"
message_format => "%{host} %{message}"
flush_interval => 0
}
}
下面就可以启动了，命令如下：
bin/logstash agent -f indexer.conf &>/dev/null & bin/logstash agent -f shipper.conf &>/dev/null & tail -f /var/log/all.log
然后再打开一个命令终端，改变被监控的日志内容：
echo "Hello World" >> /var/log/test_logstash.log
如下图：
或者也可以查看redis-cli，如下：
架构师之路系列文章
...路业务架构应用架构API经济数据库设计设计模式系统架构分布式系统RPC远程调用分布式消息队列分布式任务队列微服务架构ServiceComb部署架构高可靠、高可用、高并发、高性能、高可扩展集群高性能要求运维架构可观测性监控告... 查看详情
剑指架构师系列-设计模式
1、单例模式：确保一个类只有一个实例，而且自行实例化并向整个系统提供这个实例。单例模式有以下几个要素：私有的构造方法指向自己实例的私有静态引用以自己实例为返回值的静态的公有的方法 ... 查看详情
剑指架构师系列-innodb存储引擎spring事务与缓存
事务与锁是不同的。事务具有ACID属性：原子性:持久性：由redolog重做日志来保证事务的原子性和持久性,一致性：undolog用来保证事务的一致性隔离性:一个事务在操作过程中看到了其他事务的结果，如幻读。锁是用于解决隔离... 查看详情
架构师日志平台elkstack实践(代码片段)
...其组件的知识会对您有所帮助。ELKStack由三个组件组成：Logstash、Elasticsearch 和 Kibana。Logstash 是一个用来管理日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多... 查看详情
剑指架构师系列-activemq队列的使用
安装ActiveMQ只需要下载包后解压，然后就可以启动与关闭ActiveMQ了，如下： ./activemqstart./activemqstop访问管理页面：http://10.10.20.20:8161/admin用户名和密码默认为:admin/admin spring.activemq.broker-url--指定ActiveMQbroker的URL，默认自... 查看详情
剑指架构师系列-struts2的缓存
Struts2的缓存中最重要的两个类就是ReferenceMap与ReferenceCache。下面来解释下ReferenceCache中的get()方法。publicVget(finalObjectkey){ Vvalue=super.get(key); return(value==null)?internalCreate((K)key):value;}通过key来获取value 查看详情
elk分布式日志系统架构(代码片段)
filebeat=>kafka/redis=>logstash=>ElasticSearch=>kibana<=>nginx/haproxy<=日志查询用户Filebeat收集日志，发送到中间件Kafka/Redis消息列队暂存数据，供logstash拉取Logstash拉取并处理 查看详情
剑指架构师系列-hibernate需要掌握的annotation
1、一对多的关系配置@Entity@Table(name="t_order")publicclassOrder{ @Id @GeneratedValue privateintid; privateStringname; /**该属性定义类和类之间的级联关系。定义的级联关系将被容器视为对当前类对象及其关联类对象采取相同的操作，*而且这种... 查看详情
剑指架构师系列-struts2构造函数的循环依赖注入
Struts2可以完成构造函数的循环依赖注入，来看看Struts2的大师们是怎么做到的吧！首先定义IBlood与BloodImpl类： publicinterfaceIBlood{}publicclassBloodImplimplementsIBlood{ privateIPeoplepeople; @Inject publicBloodImpl(@InjectIPeop 查看详情
利用开源架构elk构建分布式日志系统
...用成熟的经典架构ELK（即Elasticsearch，Logstash和Kibana）构建分布式日志监控系统，很多公司采用该架构构建分布式日志系统，包括新浪微博，freewheel，畅捷通等。背景日志，对每个系统来说，都是很重要，又很容易被忽视的部分。... 查看详情
efk日志集群架构了解
...以供后续使用。【对日志进行过滤、分析】Elasticsearch：分布式搜索引擎。是基于Lucene的开源分布式搜索服务器，具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析，并能将这三者结合起来。【搜集... 查看详情
elasticsearch+logstash+filebeat+kibana搭建elk日志分析平台（官方推荐的beats架构）
俗话话说的号，没有金刚钻，也不揽那瓷器活；日志分析可以说是所有大小系统的标配了，不知道有多少菜鸟程序员有多喜欢日志，如果没了日志，那自己写的bug想不被别人发现，可就难了；有了它，就可将bug们统统消化在自己... 查看详情
成为架构师课程系列高性能系统设计之分布式缓存
缓存：数据库成为瓶颈后，动态数据的查询要如何加速？通过前面数据库篇的学习，你已经了解了在高并发大流量下，数据库层的演进过程以及库表设计上的考虑点。你的垂直电商系统在完成了对数据库的主从分离和分库分表之... 查看详情
剑指架构师系列-持续集成之maven+nexus+jenkins+git+springboot
1、Nexus与Maven 先说一下这个Maven是什么呢？大家都知道，Java社区发展的非常强大，封装各种功能的Jar包满天飞，那么如何才能方便的引入我们项目，为我所用呢？答案就是Maven，只需要粘贴个Jar包的地址，Maven就会自动到... 查看详情
windows10下elk环境快速搭建实践
...施纠正错误，因此日志的重要性不言而喻。但是，在系统分布式后，日志通常被分散的储存不同的设备上。比如当系统为数十上百台服务器，必须依次登录每台机器的传统方法查阅日志，这样很繁琐和效率低下。因此日志的集中... 查看详情
logstash实践:分布式系统的日志监控
转自：http://www.jianshu.com/p/6575041b597d1.前言服务端日志你有多重视？我们没有日志有日志，但基本不去控制需要输出的内容经常微调日志，只输出我们想看和有用的经常监控日志，一方面帮助日志微调，一方面及早发现程序的问题... 查看详情
一图看懂elk架构
...性、并非唯一性。Elasticsearch是使用java开发，基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索... 查看详情
十年java架构师分享的一些干货，成为架构师的必备技能
十年java架构师教你怎么学好java架构一、分布式架构架构分布式的应用和工具，成熟目前的技术包括J2EE，CORBA和DCOM，这些技术牵扯的内容非常广，相关的书籍也非常多。分布式系统是一个古老而宽泛的话题，而近几年因为“大数... 查看详情