目前常用的自然语言处理开源项目/开发包都有哪些?

author author     2023-03-03     173

关键词:

中文主要有:NLTK,HanLP,Ansj,THULAC,结巴分词,FNLP,哈工大LTP,中科院ICTCLAS分词,GATE,SnowNLP,东北大学NiuTrans,NLPIR;英文主要有:NLTK,Genism,TextBlob,Stanford NLP,Spacy。英文的开源NLP工具主要参见StackoverFlow-java or python for nlp。HanLP:HanLP是由一系列模型与算法组成的Java工具包,目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。开发语言:Java,网址:hankcs/HanLP,开发机构:大快公司,协议:Apache-2.0功能:非常多,主要有中文分词,词性标注,命名实体识别,关键词提取,自动摘要,短语提取,拼音转换,简繁转换,文本推荐,依存句法分析,文本分类:情感分析,word2vec,语料库工具。

参考技术A

如果是英文的话,主要推荐两个,一个是Stanford CoreNLP, 另一个是Spacy。Stanfrod胜在功能强大,准确率高,但因为程序是java写的,如果想要用python调用的话需要接口。今年Stanford刚刚更新了新的enhanced++ dependency parsing,具体可以参考论文:https://nlp.stanford.edu/pubs/schuster2016enhanced.pdf。Stanford parser还不错,但是代码写的比较难理解,需要很认真的Debug,Berkeley parser比Stanford parser感觉规模小一点,代码相对比较容易理解。当然,比较大的问题就是这两个开源项目没有详细的算法与代码相结合的说明文件,对使用者的基础要求比较高。另外强烈推荐Spacy, python 接口,速度非常快,功能相对强大,基本可以满足日常所有要求。

参考技术B

对于自然语言处理的新手或非计算机专业人员,强烈推荐使用GATE,它有以下优势:
(1)良好的交互界面,主界面不再是一个命令行黑窗口,而是一个设计精美、交互良好的可视化窗体。此外还提供了gate embeded版本的API开发包,供JAVA程序调用。
(2)自定义文本处理管线,官方版本中已经有一个英文信息抽取的管线应用ANNIE,对此稍作调整就可以进行中文自然语言的处理(楼上其他人的回答都是一个NLP工具,词法、句法分析等,GATE是一个集成版的系统!),而这一切都是在可视化界面中完成的。
(3)提供了升级版的正则表达式:JAPE,能够实现各类信息的处理和抽取。JAPE能够基于词法、句法解析后的标注设定规则(不仅仅是文本哦),还能调用JAVA代码来实现复杂的处理功能(正则表达式能调用JAVA代码吗)。
(4)强大的插件,GATE插件很强大,包括分词、分句、句法分析、语义分析、爬虫、协同标注等(无缝集成到GATE中,可以添加在自定义的处理管线中)。例如楼上各位所说的lingpipe、Stanford parser等国外著名的nlp工具GATE都有官方的集成。中文nlp工具例如ICTCLAS、FudanNLP也有人实现并开源了插件,参考:GATE中文自然语言处理系列集成ICTCLAS中文分词,中文自然语言处理系列之三:中文分句(基于JAPE)。

android开发常用开源框架

Android开源框架系列Android开源项目Android开发常用开源框架2Android开发常用开源框架3GitHub上最火的Android开源项目,所有开源项目都有详细资料和配套视频2017年伊始,你需要尝试的25个Android第三方库Android开发常用第三方平台免费... 查看详情

android开发常用开源框架

Android开源框架系列Android开源项目Android开发常用开源框架2Android开发常用开源框架3GitHub上最火的Android开源项目,所有开源项目都有详细资料和配套视频2017年伊始,你需要尝试的25个Android第三方库Android开发常用第三方平台免费... 查看详情

目前都有哪些开源的dpi项目,分别支持啥协议的解析,谢谢!!

参考技术Alibnids,snort,suricata,opendpi 查看详情

电脑常用的编程软件都有哪些?

...编程时,不采用机器语言,因为它非常难于记忆和识别。目前通用的编程语言有两种形式:汇编语言和高级语言。高级语言主要是相对于汇编语言而言,它并不是特指某一种具体的语言,而是包括了很多编程语言,如目前流行的... 查看详情

常用的java开发框架都有哪些

...SSH也可以是后者的组合。在这4中框架中,Struts和Hibernate目前来看,已经比较陈旧,而且也是比较重的框架,企业中目前已经很少用了。2.SSM组合框架:Spring,SpringMVC,Mybatis,也可以是Mybatis的进阶版,Mybatis-plus。那么这个组合可... 查看详情

chatgpt常用开源项目汇总

...图由文心一格生成)ChatGPT常用开源项目汇总在当今的自然语言处理领域,ChatGPT无疑是现在备受瞩目的大型语言模型。它通过无监督学习的方式,自动从大规模的语料库中学习语言的规律和结构,从而具备了强大... 查看详情

常用的c/c++语言大数运算软件包都有哪些?

想进行高精度计算,推荐个,要支持C/C++的为了解决大数运算的问题,世界各国的软件开发人员和研究学者都进行了很多的研究和实践。近年来,越来越多的开发人员开始重视软件工程的作用,为了减少重复劳动,提高软件的质... 查看详情

开源项目smss开发指南

...quo;不如自己动手来实现属于自己的“福报”。  目前项目已经发布在gitee上(源码地址),技术验证和原型开发已经完成。client目录下是客户端相关源码,开发语言为JavaScript。server目录下是服务端相关源码,开发语言为... 查看详情

android开发常用开源框架:图片处理

1、图片加载,缓存,处理框架名称功能描述Android-Universal-Image-Loader">AndroidUniversalImageLoader一个强大的加载,缓存,展示图片的库,已过时Picasso一个强大的图片下载与缓存的库Fresco一个用于管理图像和他们... 查看详情

android开源游戏引擎都有哪些?

...目作者对反馈Bug的修正非常之神速,所以该框架的使用在目前也最为广泛,有人干脆将它称为Cocos2d-iPhone引擎的Android版(业务逻辑和编码风格上也确实很像)。附带一提,国内某个需要注册会员才能下载的Android游戏框架衍生于... 查看详情

c语言开源软件项目都有哪些

参考技术Alinux内核opencvwxWidgets等等等等现在这些太多了根本数不过来,现在开源是个趋势,以后会越来越多 参考技术B最好的就是Linux源码了 查看详情

国产gun/linux操作系统都有哪些

...数据中心服务器版、HA集群版和红旗嵌入式Linux等产品。目前在中国各软件专卖店可以购买到光盘版,同时官方网站也提供光盘镜像免费下载。红旗Linux是中国较大、较成熟的Linux发行版之一。麒麟linux:据报道称是由国防科技大... 查看详情

区块链开源项目汇总

...发平台,基于智能合约,降低用户搭建DApp应用的门槛。目前以太坊正式运行的版本是1.0,采用的是POW共识算法,公网TPS是25笔,未来将采用类POS的Casper算法,区块链的确认速度将得到大幅提升。在规划的2.0版本中,TPS有望可以达... 查看详情

ios中常用的第三方开源库

...殊的单独引用,下面介绍下比较好用的几个。(1)AFNetworking目前比较推荐的iOS网络请求组件,默认网络请求是异步,通过block回调的方式对返回数据进行处理。需要注意的是AFNetworking对服务器返回的ContentType要求比较严格&#x 查看详情

目前全栈工程师常用的软件都有哪些

cs201全栈软件工程师免费下载链接:https://pan.baidu.com/s/1uvC9DjwH3O3qemDwhmO_OA提取码:djxg全栈工程师是指掌握多种技能,胜任前端与后端,能利用多种技能独立完成产品的人。参考技术A全栈工程师,也叫全端工程师,是指掌握多种技能... 查看详情

常用的android开发框架都有哪些

  主要分为以下几种:  1、volley  项目地址https://github.com/smanikandan14/Volley-demo  (1)JSON,图像等的异步下载;  (2)网络请求的排序(scheduling)  (3)网络请求的优先级处理  (4)缓存  (5)多级别取消请求  (6)和Acti... 查看详情

java开源框架都有哪些?

参考技术A前台框架:jQueryMvc框架:Struts、springMvc核心框架:Springorm框架:Hibernate、SpringJDBC、myBatis。java优点:java是纯面向对象编程的语言;平台无关性(一次编译,到处运行;WriteOnce,RunAnywhere);java提供了许多内置的类库,... 查看详情

java的开源工具都有哪些

...10种以上。。。看来要逼我出绝招拉。几个开源工具推荐目前进行一些项目,经常需要到现场开发。当在公司内部的时候,可以充分享受公司内部的软件资源,如配置管理工具(ClearCase)、设计工具(Rose)、测试管理(ClearQuest... 查看详情