elasticsearch安装中文分词器插件smartcn

admingy admingy     2022-11-06     244

关键词:

原文:http://blog.java1234.com/blog/articles/373.html

elasticsearch安装中文分词器插件smartcn

 

elasticsearch默认分词器比较坑,中文的话,直接分词成单个汉字。

我们这里来介绍下smartcn插件,这个是官方推荐的,中科院搞的,基本能满足需求;

还有另外一个IK分词器。假如需要自定义词库的话,那就去搞下IK,主页地址:https://github.com/medcl/elasticsearch-analysis-ik

 

smartcn安装比较方便,

直接用 elasticsearch的bin目录下的plugin命令;

 

先进入elasticsearch的bin目录

然后执行 sh elasticsearch-plugin install analysis-smartcn

-> Downloading analysis-smartcn from elastic

[=================================================] 100%   

-> Installed analysis-smartcn

 

下载 自动安装;

(注意,假如集群是3个节点,所有节点都需要安装;不过一般都是先一个节点安装好所有的东西,然后克隆几个节点,这样方便)

 

安装后 plugins目录会多一个smartcn文件包;

 

安装后,我们需要重启es;

 

然后我们来测试下;

 

POST http://192.168.1.111:9200/_analyze/ 

"analyzer":"standard","text":"我是中国人"  

执行标准分词器;

 

结果:

技术分享图片

 

中文都是单个字了;

 

很不符合需求;

 

我们用下 smartcn;

"analyzer":"smartcn","text":"我是中国人"

 

执行结果:

技术分享图片

 

我们发现 中国 编程个单个词汇;

elasticsearch搜索引擎安装配置中文分词器ik插件(代码片段)

一、IK简介ElasticSearch(以下简称ES)默认的分词器是标准分词器Standard,如果直接使用在处理中文内容的搜索时,中文词语被分成了一个一个的汉字,因此引入中文分词器IK就能解决这个问题,同时用户可以配置自己的扩展字典、... 查看详情

elasticsearch安装中文分词器(代码片段)

发车   为什么要在elasticsearch中要使用ik这样的中文分词呢,那是因为es提供的分词是英文分词,对于中文的分词就做的非常不好了,因此我们需要一个中文分词器来用于搜索和使用。今天我们就尝试安装下IK分词。上... 查看详情

elasticsearch安装中文分词插件ik

Elasticsearch默认提供的分词器,会把每一个汉字分开,而不是我们想要的依据关键词来分词。比如:curl-XPOST"http://localhost:9200/userinfo/_analyze?analyzer=standard&pretty=true&text=我是中国人"我们会得到这种结果:{tokens:[{token:textstart_offs... 查看详情

elasticsearch之中文分词器插件es-ik

 前提什么是倒排索引?Elasticsearch之分词器的作用Elasticsearch之分词器的工作流程Elasticsearch之停用词Elasticsearch之中文分词器Elasticsearch之几个重要的分词器       elasticsearch官方默认的分词插件  1、el... 查看详情

docker安装elasticsearch的中文分词器ik(代码片段)

主要问题一定要保证ElasticSearch和ElasticSearch插件的版本一致我是用的是ElasticSearch是5.6.11版本对应elasticsearch-analysis-ik-5.6.11安装插件在线安装进入容器dockerexec-itelasticsearch/bin/bash在线下载并安装./bin/elasticsearch-plugininstallhttps://github.co... 查看详情

elasticsearch中文分词器详解(代码片段)

1.es安装中文分词器官网:https://github.com/medcl/elasticsearch-analysis-ik1.1.安装中文分词器安装中文分词器的要求:​1.分词器的版本要与es的版本一直​2.所有es节点都需要安装中文分词器​3.安装完分词器需要重启1.在线安装[root@elastics... 查看详情

elasticsearch——手写一个elasticsearch分词器(附源码)(代码片段)

1.分词器插件ElasticSearch提供了对文本内容进行分词的插件系统,对于不同的语言的文字分词器,规则一般是不一样的,而ElasticSearch提供的插件机制可以很好的集成各语种的分词器。Elasticsearch本身并不支持中文分词... 查看详情

elasticsearchik中文分词器的安装配置使用

安装步骤 https://github.com/medcl/elasticsearch-analysis-ik 以插件形式安装:[[email protected]elasticsearch-5.6.5]$./bin/elasticsearch-plugininstallhttps://github.com/medcl/elasticsearch-analysis-i 查看详情

elasticsearch之中文分词器插件es-ik的热更新词库

  前提Elasticsearch之中文分词器插件es-ik的自定义词库      先声明,热更新词库,需要用到,web项目和Tomcat。不会的,请移步Eclipse下Maven新建项目、自动打依赖jar包(包含普通项目和Web项目)Tomcat*的安装... 查看详情

elk----elasticsearch使用ik中文分词器(代码片段)

...的是IK分词器。注意,下载分词器的时候,版本必须要与Elasticsearch安装的版本一致,否则会出现不可描述的错误。下载地址: https://github.com/medcl/elasticsearch-analysis-ik/releases注意: es-ik分词插件版本一定要和es安装的版本对应... 查看详情

elasticsearch实战(二十六)-ik中文分词器(代码片段)

        为什么要在elasticsearch中要使用ik这样的中文分词?因为ES提供的分词是英文分词,对于中文的分词就做的非常不好了,因此我们需要一个中文分词器来用于搜索和使用。一、安装        我们可以从 官... 查看详情

elasticsearch中文分词器对比

参考技术A对以上分词器进行了一个粗略对比:截止到目前为止,他们的分词准确性从高到低依次是:结合准确性来看,选用中文分词器基于以下考虑:截止目前,IK分词器插件的优势是支持自定义热更新远程词典。IK分词器的github... 查看详情

如何在elasticsearch中安装中文分词器(ik)和拼音分词器?

  声明:我使用的Elasticsearch的版本是5.4.0,安装分词器前请先安装maven一:安装mavenhttps://github.com/apache/maven说明:安装maven需要java1.7+编译安装分词器时,可能会报错,报错信息如下:[ERROR]COMPILATIONERROR:[INFO]---------------------------... 查看详情

elasticsearch之中文分词器插件es-ik的热更新词库

参考:http://www.mamicode.com/info-detail-1705113.html 先声明,热更新词库,需要用到,web项目和Tomcat。不会的,请移步Eclipse下Maven新建项目、自动打依赖jar包(包含普通项目和Web项目)Tomcat*的安装和运行(绿色版和安装版都适用)To... 查看详情

elasticsearch拼音分词和ik分词的安装及使用(代码片段)

...八九使用的都是IK分词器。下载地址:https://github.com/medcl/elasticsearch-analysis-ik2.pinyin分词器的下载安装可以在淘宝、京东的搜索框中输入pinyin就能查找到自己想要的结 查看详情

elasticsearch安装elasticsearch-analysis-ik中文分词器(代码片段)

1,讲分词器的文件夹放入es安装包的plugins,重新启动elasticsearch//查询es运行中的进程pidps-aux|grepelasticsearch//杀死进程kill-9pid//使用es账户启动nohup./elasticsearch&2,重启es,然后在新建index的type表结构时,需要指定将来可能要使用... 查看详情

elasticsearch安装elasticsearch-analysis-ik中文分词器(代码片段)

1,讲分词器的文件夹放入es安装包的plugins,重新启动elasticsearch//查询es运行中的进程pidps-aux|grepelasticsearch//杀死进程kill-9pid//使用es账户启动nohup./elasticsearch&2,重启es,然后在新建index的type表结构时,需要指定将来可能要使用... 查看详情

elasticsearch中文分词(代码片段)

...hobby","text":"听音乐"     中文分词:  IK分词器Elasticsearch插件地址:https://github.com/medcl/elasticsearch-analysis-ik  安装方法:将下载到的elasticsearch-analysis-ik-6.5.4.zip解压到elasticsearch/plugins/ik目录下即可。    unzipelastics... 查看详情