部署elasticsearch与kibana(持续更新)(代码片段)

3ERROR(s) 3ERROR(s)     2023-03-20     394

关键词:

文章目录

一、ElasticSearch介绍

ElasticSearch是一款强大的开源搜索引擎,可以用来实现搜索、日志统计、分析、系统监控等功能。

ElasticSearch底层是基于lucene实现的,他是Apache的开源搜索引擎类库,他具有易拓展,高性能等优势,但是其只限于java语言开发和不支持水平拓展也造成了一定的局限性。

ElasticSearch擅长海量的数据搜索,分析计算。mysql擅长事务型操作,确保数据的安全和一致性。

二、安装ElasticSearch

1.创建网络(因为我们需要es和kibana互联,所以这里先创建一个网络)

docker network create es-net

2.加载镜像(这里我这直接把先前下好的jar包拖到linux上的,各位在线下载也可以,大约900M比较慢)
等将jar包上传到虚拟机上之后,直接加载到容器当中

 docker load -i es.tar

3.运行es
部署单点es

docker run -d \\
    --name es \\
    -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \\
    -e "discovery.type=single-node" \\
    -v es-data:/usr/share/elasticsearch/data \\
    -v es-plugins:/usr/share/elasticsearch/plugins \\
    --privileged \\
    --network es-net \\
    -p 9200:9200 \\
    -p 9300:9300 \\
elasticsearch:7.12.1

输入以下命令查看本地es运行是否成功

curl http://localhost:9200

如果出现这个截图表示成功

然后浏览器输入本机公网ip加9200端口号查看是否出现如下界面

三、部署kibana

1.导入资源
我还是直接把tar包直接拖到linux当中去的,各位可以直接进行下载,大约1G

运行docker命令,部署kibana(过程很慢,请耐心等待)

docker run -d \\
--name kibana \\
-e ELASTICSEARCH_HOSTS=http://es:9200 \\
--network=es-net \\
-p 5601:5601  \\
kibana:7.12.1

之后可以适用如下命令查看docker当中的进程

docker ps


这里可以看到我们es 和 kibaba 的端口号

此时浏览器输入公网ip加5601即可查看结果

测试一下es和kibana是否可以互联工作

输入GET / 运行,看是否出现如下界面

如果大家输入网址之后没有反应,检查如下几点

  • 是否关闭防火墙
  • 阿里云中是否加入此端口号的安全组
  • es的默认配置端口号是否只对本机暴露

一般来说就是这几点情况,解决办法网上有很多,我就在这不再赘述。

四、安装IK分词器

我们先使用默认的分词器进行测试

可以看到这里默认分词器对中文的分词一言难尽!于是我们需要比较牛的分词器,这时候IK分词器就登场了

1.安装插件需要知道elasticsearch的plugins目录位置,而我们用了数据卷挂载,因此需要查看elasticsearch的数据卷目录,通过下面命令查看:

docker volume inspect es-plugins

显示结果:

[
    
        "CreatedAt": "2022-05-06T10:06:34+08:00",
        "Driver": "local",
        "Labels": null,
        "Mountpoint": "/var/lib/docker/volumes/es-plugins/_data",
        "Name": "es-plugins",
        "Options": null,
        "Scope": "local"
    
]

说明plugins目录被挂载到了:/var/lib/docker/volumes/es-plugins/_data这个目录中。

2 . cd进入这个目录,解压缩IK压缩包

3.重启服务器

docker restart es

分词器的作用是什么?

  • 创建倒排索引时对文档分词

  • 用户搜索时,对输入的内容分词

IK分词器有几种模式?

  • ik_smart:智能切分,粗粒度

  • ik_max_word:最细切分,细粒度

elasticsearch安装与部署kibana(代码片段)

文章目录安装elasticsearch1.部署单点es1.1.创建网络1.2.加载镜像1.3.运行2.部署kibana2.1.部署2.2.DevTools安装elasticsearch1.部署单点es1.1.创建网络因为我们还需要部署kibana容器,因此需要让es和kibana容器互联。这里先创建一个网络:d... 查看详情

使用docker部署elasticsearch与kibana

部署ElasticSearch1.拉取ElasticSearchdockerpullelasticsearch:7.4.22.创建挂载目录mkdir-p/usr/local/docker/elasticsearch/configmkdir-p/usr/local/docker/elasticsearch/datamkdir-p/usr/local/docker/elasticsearch/plug 查看详情

elasticsearch认证,节点部署,容量规划,性能优化--《elasticsearch核心技术与实战》笔记

...配置X-Pack的认证和授权第三步是修改kibana.yml文件,将elasticsearch.username,elasticsearch.password,修改为kibana使用的账号和密码,配置完这步,打开kibana还是提示登录,还是需要输入账号和密码的,所以可以理解... 查看详情

logstash+kibana+多elasticsearch集群部署(代码片段)

ELK原理与介绍?ELK是三个开源软件的缩写,分别表示:Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash... 查看详情

elasticsearch+kibana+metricbeat安装部署方法

elasticsearch+kibana+metricbeat安装部署方法 本文是elasticsearch+kibana+metricbeat,没有涉及到logstash部分。通过beat收集数据发送到elasticsearch中,用kibana去查询elasticsearch来展示数据。以下是安装部署需要准备的包: 安装包版本elastics... 查看详情

elasticsearch+logstash+kibana部署

这篇博客讲的是elasticsearch+logstash+kibana部署的方法。内容大纲:1、elasticsearch+logstash+kibana部署2、收集Tomcat日志3、收集tcp日志一、elasticsearch+logstash+kibana部署1、elasticsearch部署由于条件有限,这三个组件都装在同一台机器上面。系... 查看详情

elasticsearch+kibana使用中踩的坑,持续更新中。

存进elasticsearch中的数据在kibana的discover中看不到,但是通过_id在DevTools可以查到,也可以直接用python取出来。最后发现存进去的时候没加时间戳。doc={"file_name":file_name,"content":pdf_str,"timestamp":datetime.datetime.now()#没加的时间戳}最后找... 查看详情

docker-compose部署elasticsearch和kibana(代码片段)

Docker-compose部署Elasticsearch和KibanaDocker-compose部署Elasticsearchhttps://www.cnblogs.com/chinda/p/13125625.htmlhttps://www.elastic.co/guide/en/elasticsearch/reference/current/docker.html集群version:\'2. 查看详情

windows部署elasticsearch+kibana8.0指南

...。一、Windows 单节点集群部署1、步骤1:下载并解压elasticsearch、kibana安装包。2、步骤2:启动elasticsearch。注意!!!!!不要修改任何配置, 查看详情

elasticsearch集群部署

...户。kibana账号:拥有kibana_system角色,用户kibana用来连接elasticsearch并与之通信。Kibana服务器以该用户身份提交请求以访问集群监视API和.kibana索引。不能访问index。logstash_system账号:拥有logstash_system角色。用户Logstash在Elasticsearch中... 查看详情

elk日志系统部署实现(代码片段)

...h配置与数据流转2.4.1Logstash数据流转2.4.2Logstash部署运行2.5ElasticSearch配置与数据流转2.5.1ElasticSearch数据流转2.5.2ElasticSearch部署运行2.6Kibana配置与数据流转2.6.1Kibana数据流转2.6.2Kibana部署运行1.前言ELK全家桶官网:elastic.co/cnELK日志系统... 查看详情

docker部署kibana(代码片段)

Docker部署Kibana本篇主要介绍使用Docker部署kibana用于操作Elasticsearch使用.1.前置准备1.1Elasticsearch准备可以先准备一个Elasticsearch服务后续用于使用Kibana去连接它操作,本篇就不展开了1.2查看Elasticsearch和Kibana的版本关系https://www.elastic.co... 查看详情

elasticsearch,filebeat,kibana部署,添加图表及elastalert报警(代码片段)

服务端安装Elasticsearch和Kibana(需要安装openjdk1.8以上)安装方法:https://www.elastic.co以Ubuntu为例:wget-qO-https://artifacts.elastic.co/GPG-KEY-elasticsearch|sudoapt-keyadd-sudoapt-getinstallapt-transport-httpsecho"debh 查看详情

elasticsearch8和kibana部署遇到的坑

...中遇到一些问题,这里做一个总结环境:windows10elasticsearch版本:8.6.1一、修改es用户密码的方式在bin目录下执行命令./elasticsearch-reset-password-uelastic-i二、kibana使用用户名和密码登录修改kibana.yml文件elasticsearch.username:"... 查看详情

如何在docker中部署elasticsearch集群和kibana(代码片段)

做实验时需要了解Elasticsearch集群如何操作?通过使用docker-compose可以批量创建docker容器,启动ES集群。先配置文件docker-compose.yml文件如下:1version:‘2.2‘2networks:3esnet:4services:5es00:6image:docker.elastic.co/elasticsearch/elasticsearch:6.5. 查看详情

elk7.3.1单台部署elasticsearch和kibana(代码片段)

环境初始化sysctl-wvm.max_map_count=262144root@jindi-ES:/data/elasticsearch/logs#cat/etc/security/limits.conf*softnproc1000000*hardnproc1000000*softnofile1000000*hardnofile1000000获取elasticsearch和kibanaroot@fangxin-test:~#wgethttps://artifacts.elastic.co/downloads/kibana/kibana-7.3.1-amd64.... 查看详情

部署kibana--elasticstack之五

...服务elk1192.168.1.223jdk1.8,es7.2,logstash,elk2192.168.1.224jdk1.8,es7.2,elasticsearch-head,kibana,cerebroelk3192.168.1.225jdk1.8,es7.2,redis2+keepalivedelk4192.168.1.226jdk1.8,redis1+keepalived+vip,filebeat,metricbeat,rabbitmq,Packbeat;heartbeat1.版本号需要和Elasticsearch相同,... 查看详情

kibana显示elasticsearch集群中flume到入的日志

日志通过flume导入elasticsearch集群见这里:flume日志导入elasticsearchkibana介绍kibana主页kibana是一个功能强大的elasticsearch数据显示client,logstash已经内置了kibana。你也能够单独部署kibana,最新版的kibana3是纯html+jsclient。能够非常方便... 查看详情