sphinx和elasticseach使用感受

author author     2022-08-19     478

关键词:

    公司项目需要,要将mysql数据库中的数据快速检索并分词。

    开始使用的是sphinx,这个搜索引擎安装,配置,使用,都比较简单,无需安装其他插件,相对来说功能比较单一。

    对于新增记录,我的处理方法是添加增量索引,定期合并到主索引,这导致索引体积越来越大。由于sphinx在运行时是将这些索引放在内存里的,如果索引体积超出内存容量,会导致报错无法执行,所以如果想用sphinx做搜索引擎的话,请务必做好事先规划。

    sphinx的分词器用的是coreseek,作者前段时间网站停了几个月,万幸现在又可以使用了,感谢他们的无私奉献。

    sphinx的资料国内较少,这算是一个遗憾。

    之后经过讨论,决定将搜索引擎改为elasticsearch,简称ES。

    ES的安装配置就很麻烦了,而且它最经常使用的地方是和logstash、kibana一起组成ELK,处理日志,想将mysql中的数据导入,需要借助其他工具。

    我个人使用的是logstash的组件input,这种方法对于数据库的删除操作,很难处理。比较看好国人的一个项目,根据mysqldump动态更新,等我有空用过之后,再行评论。

    ES比较赞的是分布式功能,分片自动调整,这个正确设置的话,很好用。

    缺陷的话ES的安全方面不是很好,虽然5.0版本后有x-pack支持,但也使安装配置麻烦了很多。

    分词用的是ik,我比较习惯粗粒度,细粒度导致索引体积过大了。

    总结一下:sphinx安装配置简单,功能单一,但性能不差,个人比较推荐作为mysql的插件来安装使用(还未有时间尝试)。ES呢,安装配置复杂了很多,功能比较强大,分布式可以进行很多细微调整,就是安全性和传统数据库导入不是很容易,不出意外的话,我最后用的就是ES了。

将 Sphinx 与 PHP 和 MySQL 一起使用的指南

】将Sphinx与PHP和MySQL一起使用的指南【英文标题】:GuidetousingSphinxwithPHPandMySQL【发布时间】:2011-06-2912:43:24【问题描述】:我正在寻找将Sphinx与PHP和MySQL结合使用的完整指南。我想要一个比网站上提供的更简单和随和的。我正在... 查看详情

elasticseach的评分机制

lucene的评分机制elasticsearch是基于lucene的,所以他的评分机制也是基于lucene的。评分就是我们搜索的短语和索引中每篇文档的相关度打分。如果没有干预评分算法的时候,每次查询,lucene会基于一个评分算法来计算所有文档和搜... 查看详情

sphinx的安装和使用

 sphinx的使用两种方式:1、使用sphinx的API来操作sphinx,PHP中将API编译到PHP中作为扩展2、使用mysql的sphinx的存储引擎sphinx是英文的全文检索引擎,coreseek是支持中文词库的全文检索引擎,Lucene是用java实现的全文检索引擎。使用sp... 查看详情

sphinx全文检索安装配置和使用

...很卡了,所以需要做优化。经过考虑,打算采用全文检索sphinx+数据库中间件(atlas/mycat)的架构来优化.我的环境:centos6.564位lnmp1.3一键环境包 CentOS6.4X64安装sphinx及sphinxforphp扩展安装 查看详情

sphinx全文检索安装配置和使用(代码片段)

...很卡了,所以需要做优化。经过考虑,打算采用全文检索sphinx+数据库中间件(atlas/mycat)的架构来优化.我的环境:centos6.564位lnm 查看详情

springboot集成elasticseach(代码片段)

目录一、Elasticseach介绍1.简单介绍2.对比关系:3.详细说明:4.查出数据的解释 二、SpringBoot集成Elasticseach1.引入依赖2.添加配置3.创建pojo类与索引对应4.SpringData封装了基础的增删改查,自定义增删改查5.测试方法--增删... 查看详情

Clojure 的 Sphinx 域

】Clojure的Sphinx域【英文标题】:SphinxdomainforClojure【发布时间】:2011-04-1223:21:47【问题描述】:我习惯于在C++和Python项目中使用Sphinx。我刚刚在Clojure开始了一个项目,我想重新使用我的Sphinx/reStructuredText技能来记录我的Clojure代码... 查看详情

sphinx安装与使用(代码片段)

Sphinx优点高速索引(接近10M/S)高速搜索(2-4G文本搜索耗时不到0.1秒)高可用性(单CPU支持100GB文本,100M文档)提供相关性排名、分布式搜索、文档摘要(高亮显示)Sphinx缺点必须有主键主键必须是整形不负责数据存储配置复杂... 查看详情

使用sphinx生成美观的文档

...理解为类似于markdown的一个东西。然后安装。pipinstall sphinx进入存放文档的文件夹,在命令行,sphinx-quickstart,依据须要一路回车。会生成一堆东西,包含conf.py和make等依据须要改动conf.py编写rst文件。比方默认的index.rst或链接... 查看详情

如何在 Sphinx 中使用数值作为引用链接而不是脚注?

】如何在Sphinx中使用数值作为引用链接而不是脚注?【英文标题】:HowtousenumericvaluesforcitationlinksinsteadoffootnotesinSphinx?【发布时间】:2018-04-1614:40:06【问题描述】:我正在使用Sphinx创建一个文档,我在其中引用具有标准数字引用... 查看详情

使用 Node.js 在 Sphinx 中获取浮点属性的问题

】使用Node.js在Sphinx中获取浮点属性的问题【英文标题】:IssueinfetchingfloatattributesinSphinxusingNode.js【发布时间】:2012-03-1310:00:38【问题描述】:我一直在尝试使用Node.js和石灰石获取sphinx数据。我从狮身人面像得到了一切,而不是... 查看详情

Sphinx - 在代码块片段中使用省略号 (...)

】Sphinx-在代码块片段中使用省略号(...)【英文标题】:Sphinx-Useellipses(…)incode-blocksnippets【发布时间】:2019-12-2021:00:51【问题描述】:假设您记录了一个长代码sn-p,并且您想用省略号...(…)和垂直省略号⋮来表示... 查看详情

利用sphinx编写文档

 利用Sphinx编写文档 1、Sphinx简介和使用理由=========Sphinx是一个用Python语言编写而成的文档编写工具。用Sphinx编写文档的时候,用户只需要编写符合Sphinx格式要求的纯文本源文件,然后通过Sphinx的命令就可以把纯文本源文... 查看详情

sphinx4 中的语音识别响应很差

】sphinx4中的语音识别响应很差【英文标题】:Speechrecognitionresponseispoorinsphinx4【发布时间】:2011-11-1617:09:39【问题描述】:目前我们正在研究使用sphinx4进行语音识别。我们正在努力为听写类型的应用程序实现良好的响应。输入是... 查看详情

在yii2.0中怎么使用sphinx搜索

参考技术A如何调用Sphinx按上面配置,第5节点对数据库进行了索引,通过Sphinx自带的search(在bin/release目录)就可以在命令行进行搜索:(搜索CGArt)windows上:search-cd:/sphinx/sphinx.confCGArtLinux上:cd/usr/local/sphinx./bin/search-csphinx.confCGA... 查看详情

sphinx的使用

1、下载地址 http://sphinxsearch.com/downloads/release/2、将其解压到D:sphinx,并在D:sphinx下新建目录data(用来存放索引文件)与log(用来存放日志文件);3、将D:sphinxsphinx.conf.in复制到D:sphinxinsphinx.conf.in,并重命名为sphinx.conf;4、修改sphi 查看详情

使用sphinx编写文档(代码片段)

操作系统:Windows7_x64Python版本:2.7.10Sphinx版本:官方网址:http://sphinx-doc.orggithub地址: https://github.com/sphinx-doc/sphinx 安装Sphinx使用pip安装:pipinstall-USphinxpipinstallsphinx_rtd_theme从源码安装:gitcloneht 查看详情

如何覆盖 Sphinx 插入的英文标签

】如何覆盖Sphinx插入的英文标签【英文标题】:HowtooverrideEnglishlabelsinsertedbySphinx【发布时间】:2011-01-1603:00:03【问题描述】:我使用SphinxPythondocumentationgenerator。创建PDF文档非常容易和简单,但我有一个问题。所有生成的PDF文档... 查看详情