正文

elk简单学习(代码片段)

yangk1996  yangk1996  2023-04-05  306

关键词：

ELK下载

https://www.elastic.co/cn/downloads/

Elasticsearch搭建

Elasticsearch
集群

Logstash搭建

因为没有真实的环境的，我就手动上传了两个log日志文件做测试使用
在Logstash/config下面新增一个配置文件config-log-1.conf

input 
    # 从文件读取日志信息 输送到控制台
    file 
        path => "/yangk/ELK/logs/2019-08-02.log"
        codec => "json" ## 以JSON格式读取日志
        type => "elasticsearch"
        start_position => "beginning"
    

output 
    # 标准输出 
    # stdout 
    # 输出进行格式化，采用Ruby库来解析日志   
     stdout  codec => rubydebug 
	 elasticsearch 
	 #ES的复制
        hosts => ["192.168.100.151:9201"]
	  # 根据每天创建索引 
        index => "es-%+YYYY.MM.dd"

启动命令，到bin目录
 ./logstash -f ../config/config-log-1.conf

logstash启动很慢的，而且内存要配置大一点。不然会报错。启动不成功
技术图片

这个时候可以在elasticsearch-head看到
技术图片

kibana搭建

在kibana/config/kibana.yml最下面增加如下配置

server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: "http://192.168.100.151:9201"
kibana.index: ".kibana"

kibana配置参数详解
bin目录：./kibana启动
IP:5601就可以访问
技术图片

简单的一个个ELK就搭建好了。具体的使用配置还需要在学习

从0开始搭建elk及采集日志的简单应用(代码片段)

...多博客都有很详细的讲解可以参考。本文主要记录了elk的简单搭建和简单应用。安装前准备1、环境说明：IP主机名部署服务10.0.0.101(centos7)test101jdk、elasticsearch、logstash、kibana及filebeat(filebeat用于测试采集test101服务器自身messages日... 查看详情

elk简单测试（待更新）(代码片段)

一.Elasticsearch用如下命令监控集群状态，状态以JSON的格式给出。curlhttp://localhost:9200/_cluster/health?pretty=true举例：status：等于green(绿色)就是运行在正常，等于yellow(黄色)表示副本分片丢失，red(红色)表示主分片... 查看详情

elk日志学习(代码片段)

一.Elasticsearch安装官网下载地址：https://www.elastic.co/cn/ （下载Linux版），上传到本地虚拟机服务器，tar-zxvf 解压，运行遇到的问题1：不允许root 用户启动解决：addusertestpasswdtestchown-Rtest文件根目录遇到... 查看详情

elk系列三：elasticsearch的简单使用和配置文件简介(代码片段)

1、定义模板创建索引：首先定义好一个模板的例子"order":14,"template":"ids-1","state":"open","settings":"number_of_shards":1,"mappings":"warnning":"properties":"name":"type":"keyword","createtime":"type":"date","form 查看详情

elk学习笔记：3-pythonapi&pyspark读取es中filebeat收集的日志数据-2023-2-11(代码片段)

...honapi&filebeat收集的日志数据-2023-2-111-pythonAPI1、安装2、简单使用连接创建、删除索引插入数据查询match_all、term、termsrange2-pyspark读取ES中的日志数据代码问题'message'字段不显示1-pythonAPI课程链接：https://www.bilibili.com/vide... 查看详情

elk(代码片段)

...lasticsearch192.168.80.20：9200logstash192.168.80.10：9600概述我们在学习ELK之前要明确一下ELK是用来做什么的？为什么要学习ELK？我想这两个基本问题是我们学习任何技能之前必须要回答的问题。ELK是用来做日志分析的，我们通过日志查看... 查看详情

elk实践：基础入门(代码片段)

...二—部署》一文参考价值非常大，图文并茂，大家可以在学习过程中参考参考。作者一上来就安装ELK插件，实际可以按需选择安装，但作为初学者，无疑增加了复杂度。ELK 查看详情

loki学习总结——loki中小项目日志系统的不二之选(代码片段)

...f0c;架构太大，中小项目不太好Hold住，希望找一款简单一些的，如果实在找不到再上ELK，这个时候一款名叫 Loki 的日志系统横空出世。Loki是GrafanaLabs团队最新的开源项目&#x 查看详情

elk环境搭建完整说明(代码片段)

...ana三款产品名称的首字母集合，用于日志的搜集和搜索。简单地理解为我们可以把服务端的日志（nginx、tomcat等）直接web化展示查看，十分方便。本机环境说明：系统：centos7.5ElasticSerach：6.4.2Logstash：6.4.2Kibana：6.4.2Filebeat：6.4.2部... 查看详情

elk入门-简单实现日志收集(代码片段)

小生博客：http://xsboke.blog.51cto.com-------谢谢您的参考，如有疑问，欢迎交流目录:本次使用的组件环境WEB配置Elasticsearch配置通过nginx访问elasticsearch和kibana扩展:filebeatinput配置排错方法组件简介和作用filebeat收集日志->logstash过滤/... 查看详情

java开发-配置中心初体验(代码片段)

...依赖本地添加配置测试结语前言前文讲了ELK，ELK说简单也简单，说复杂也复杂，但说实话，微服务里这么些个东西，从部署角度来看，比起Dubbo，Nacos这些，ELK算是比较难的一个了，上一篇博客... 查看详情

自建elk+filebeat+grafana日志收集平台(代码片段)

...建这个平台的初衷只是为了我和我的两个小伙伴来更好的学习es以及周边组件，欲善其事，必利其器，只是单纯的去学习理论知识是不够的，理论与操作相结合，才能学的更扎实。环境配置：使用自己的两台1v2g阿里云主机以及好... 查看详情

2021年大数据elk（十五）：elasticsearchsql简单介绍(代码片段)

...录，帮助大家回顾前面的知识重点。目录ElasticsearchSQL简单介绍一、SQL与Elasticsearch对应关系二、ElasticsearchSQL语法ElasticsearchSQL简单介绍ElasticsearchSQL允许执行类SQL的查询，可以使用REST接口、命令行或者是JDBC，都可以使... 查看详情

elk之logstash学习(代码片段)

Logstash最强大的功能在于丰富的过滤器插件。此过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理。甚至添加独特的事件到后续流程中。1、logstash基本语法组成logstash主要由三部分组成：in... 查看详情

elk学习实验018：filebeat收集docker日志(代码片段)

Filebeat收集Docker日志1安装docker[root@node4~]#yuminstall-yyum-utilsdevice-mapper-persistent-datalvm2[root@node4~]# yumupdate[root@node4~]#yum-config-manager--add-repohttp://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo[root@node4~]# yummakecachefast[root@node4~]#yum-yinst... 查看详情

elasticsearchkibanalogstash(elk)的安装集成应用(代码片段)

官网关于kibana的学习指导网址是：https://www.elastic.co/guide/en/kibana/current/index.html　　Kibana是一个开源的分析和可视化平台，设计用于Elasticsearch。使用Kibana搜索、查看和与存储在Elasticsearch索引中的数据交互。您可以轻松地执行高级... 查看详情

elk专栏之javaapi操作-02(代码片段)

...之JavaAPI操作-02JavaAPI实现文档管理ES的技术特点Java客户端简单获取数据JavaAPI文档准备工作使用Java客户端操作ES结合Spring-boot-test测试文档准备工作查询新增修改删除批量增删改bulkJavaAPI实现文档管理ES的技术特点●ES技术比较特殊&#... 查看详情

elk____之elasticsearches集群head安装(代码片段)

最近项目用到jenkins ELK 也在一次重新学习了一次 jenkins不用说了玩得就是插件 + base---shell, ELK 这几年最流得log收集平台,当然不止我们运维在用！开发也在用来做client位置定位还有网站搜索 &... 查看详情