关键词：
深度学习在自然语言处理中的应用已经非常广泛，可以说横扫自然语言处理的各个应用，从底层的分词、语言模型、句法分析等到高层的语义理解、对话管理、知识问答、聊天、机器翻译等方面都几乎全部都有深度学习的模型，并且取得了不错的效果。可以参看ACL2017年的accepted papers list。Accepted Papers, Demonstrations and TACL Articles for ACL 2017。从这里可以看到大部分论文都使用了深度学习的模型。那为什么深度学习在自然语言中取得这么大的进步呢。一、从数据上看，经过前些年互联网的发展，很多应用都积累到了足够量的数据。当数据量增大，以SVM、CRF等为代表的浅层模型，因为模型较浅，无法对海量数据中的非线性关系进行建模，所以不能带来性能的提升。相反，以CNN、RNN为代表的深度模型，能够随着模型复杂性的增加，对数据进行更精准的建模，从而得到更好的效果。二、从算法上看，深度学习也给自然语言处理的任务带来了很多好处。首先，word2vec的出现，使得我们可以将word高效的表示为低维稠密的向量（distributed representation），相比于独热表示表示（one-hot-representation），这一方面一定程度上缓解了独热表示所带来的语义鸿沟的问题，另一方面降低了输入特征的维度，从而降低了输入层的复杂性。其次，由于深度学习模型的灵活性，使得之前比较复杂的包含多流程的任务，可以使用end to end方法进行解决。比如机器翻译任务，如果用传统的方法，需要分词模块、对齐模块、翻译模块、语言模型模块等多个模块相互配合，每个模块产生的误差都有可能对其他模块产生影响，这使得原来的传统方法的构建复杂度很大。在机器翻译使用encoder-decoder架构后，我们可以将源语言直接映射到目标语言，从而可以从整体上优化，避免了误差传递的问题，而且极大的降低了系统的复杂性。深度学习虽然是把利器，但是并不能完全解决自然语言中的所有问题，这主要是由于不同于语音和图像这种自然界的信号，自然语言是人类知识的抽象浓缩表示。人在表达的过程中，由于背景知识的存在会省略很多的东西，使得自然语言的表达更加简洁，但这也给自然语言的处理带来很大的挑战。比如短文本分类问题，由于文本比较简短，文本所携带的信息有限，因此比较困难。像这样的问题，当样本量不够时，如何将深度学习方法和知识信息进行融合来提升系统的性能，将是未来一段时间内自然语言处理领域研究的主要问题。
目前，模型方面有两种大的类型，一是基于检索的 Retrieval-based models ，二是生成式的 Generative models。Retrieval-based models 预先定义好知识库，根据输入和上下文语境，使用启发式算法在预先准备好的知识库中检索并生成答案。启发式的检索算法简单的如基于规则的表达式匹配，复杂点的用机器学习分类器。这种系统不会生成新的文本内容，它只是在预定义好的文本集中挑选“最适合”的应答。Generative models 不依赖预定义的知识库，实现起来也更难。两种模型都各有所长，但也有缺点。两种模型中都有用到深度学习的地方，研究方面更倾向于和Generative models结合，比如sequence to sequence（[1409.3215] Sequence to Sequence Learning with Neural Networks）模型能生成文本，看起来也更智能。产品方面更多使用Retrieval-based models，因为后者更容易实现，不会有语法错误，同时也限定了应用场景，以减小准备知识库的开销。
现在neural network这么火，基本上你能想到的NLP task都被刷过了。只是跟vision那边用到的network相比不一定很“深”。下面列一些有代表性的工作：机器翻译（Machine Translation）papers.nips.cc 的页面。事实问答（Factoid Question Answer）例如提问“谁是现任美国总统” 回答“奥巴马”stanford.edu 的页面umd.edu 的页面。社区类型问答（Community-based Question Answering），帮你找到一个语义上尽量类似的提问、或者回答。arxiv.org 的页面http://arxiv.org/pdf/1511.04108v3.pdf。语法解析（Syntactic Parsing）输入一个句子，分析句子的语法结构http://www.petrovi.de/data/acl15.pdfstanford.edu 的页面。信息提取、序列标注（Information Extraction / Tagging）从句子中抽取特殊片段（比如人名），或者标注每个单词类型（例如词性标注）emnlp2014.org的页面aclweb.org 的页面。分类问题：情感分析，文档分类比如判断淘宝京东商品评论是正面的还是负面的；当前新闻是体育相关还是财经相关等等。推荐系统：文档推荐，娱乐内容推荐(电影等, 用text mining)。图片题注： Image captioning, Image to text mapping。
机器学习的方法都有哪些？
...人类大脑进行学习。深度学习在计算机视觉、语音识别、自然语言处理等领域有着广泛的应用。递归神经网络:递归神经网络是一种特殊的深度学习方法，它通过递归的方式来处理序列数据，在自然语言处理、语音识别等领域有... 查看详情
人工智能python深度学习库都有哪些
由于Python的易用性和可扩展性，众多深度学习框架提供了Python接口，其中较为流行的深度学习库如下：第一：CaffeCaffe是一个以表达式、速度和模块化为核心的深度学习框架，具备清晰、可读性高和快速的特性，在视频、图像处... 查看详情
深度学习机器学习与nlp的前世今生
随着深度学习的发展，自然语言处理领域的难题也得到了不断突破，AlphaGo项目的主要负责人DavidSilver曾说“深度学习(DL)+强化学习(RL)=人工智能(AI)”。目前深度学习在自然语言处理上主要有哪些应用？在工程实践中是否会有哪些... 查看详情
python编程能用在哪些方面?
...等。在人工智能领域，数据分析、机器学习、神经网络、深度学习等都是主流语言。4、数据分析：数据分析处理方面，python有非常完备的生态环境。大数据分析涉及到分布式计算、数据可视化、数据库操作等，python都有成熟的... 查看详情
聊天机器人（chatbot）终极指南：自然语言处理（nlp）和深度机器学习（deepmachinelearning）(代码片段)
在过去的几个月中，我一直在收集自然语言处理（NLP）以及如何将NLP和深度学习（DeepLearning）应用到聊天机器人（Chatbots）方面的最好的资料。时不时地我会发现一个出色的资源，因此我很快就开始把这些资源编制成列表。... 查看详情
深度学习-综述
【编者按】深度学习领域的三位大牛YannLeCun、YoshuaBengio和GeoffreyHinton无人不知无人不晓。此前，为纪念人工智能提出60周年，YannLeCun、YoshuaBengio和GeoffreyHinton首次合作了这篇综述文章“DeepLearning”。 该综述文章中文译文的上半... 查看详情
自然语言处理的神经网络模型初探
...腾讯海量技术实践干货哦~深度学习（DeepLearning）技术对自然语言处理（NLP，NaturalLanguageProcessing）领域有着巨大的影响。但作为初学者，您要从何处开始学习呢？深度学习和自然语言处理都是较为广阔的领域，但每个领域重点研... 查看详情
问题集录--tensorflow深度学习
...数都是最多的，而且在图形分类、音频处理、推荐系统和自然语言处理等场景下都有丰富的应用。 查看详情
人工智能，深度学习
...征抽取c。学习函数d。预测 3.人工智能的运用范围：自然语言处理；计算机视觉等 4.深度学习的框架：a。caffe：不需要写代码；1.数据处理；2.定义网络；3.指定参数；4.训练模型b。tensorflow：google开发的，需要写代码（pytho... 查看详情
深度学习的策略都有哪些
学习策略作为一个完整的概念，是在布鲁纳1956年提出“认知策略”以后出现的。但时至今日，学习策略仍然没有一个公认的定义。根据已有研究可归纳为以下三种观点：（1）把学习策略看作是内隐的学习规则系统（杜菲，1982）... 查看详情
深度学习下的验证码识别教程
...ead-14031313-1-1.html随着大数据时代，人工智能时代的到来，深度学习的应用越来越广，场景识别、目标检测、人脸识别、图像识别等等广泛应用。在人工智能方面。深度学习框架主要运用于python，c++等资源。而易语言使用深度学习... 查看详情
python具体指啥，可以运用在哪些方面呢？
...这些方面：一、人工智能，包括数据分析、计算机视觉、自然语言处理等等现在python已经基本成了人工智能的标准语言了，一般都是C/C++写个底层运算库，然后用python做脚本。各种框架层出不穷，tensorflow/pytorch等等。二、web开发p... 查看详情
python语言文字相关的机器学习库都有哪些？
...教，谢谢！参考技术A（一）CaffeCaffe是一个清晰而高效的深度学习框架，也是一个被广泛使用的开源深度学习框架，在Tensorflow出现之前一直是深度学习领域Githubstar最多的项目。Caffe的主要优势为：容易上手，网络结构都是以配置... 查看详情
人工智能技术能够解决商业问题的例子都有哪些？
...工智能的知识，希望可以让大家更了解人工智能。首先从自然语言处理原理到进阶实战的词向量与词嵌入方面来看TFIDF、Word2Vec算法、 Gensim模块、Skip-gram、TF代码实现Word2Vec算法项目、FastText、WordEmbedding、深度学习用户画像项目。... 查看详情
地址标准化服务ai深度学习模型推理优化实践
导读深度学习已在面向自然语言处理等领域的实际业务场景中广泛落地，对它的推理性能优化成为了部署环节中重要的一环。推理性能的提升：一方面，可以充分发挥部署硬件的能力，降低用户响应时间，同时节省成本；另一方... 查看详情
地址标准化服务ai深度学习模型推理优化实践
导读深度学习已在面向自然语言处理等领域的实际业务场景中广泛落地，对它的推理性能优化成为了部署环节中重要的一环。推理性能的提升：一方面，可以充分发挥部署硬件的能力，降低用户响应时间，同... 查看详情
实施深度学习的策略都有哪些？
实施深度学习的策略有：1、自下上升的非监督学习就是从底层开始，一层一层地往顶层训练。采用无标定数据（有标定数据也可）分层训练各层参数，这一步可以看作是一个无监督训练过程，这也是和传统神经网络区别最大的... 查看详情
深度学习调参都有哪些技巧
深度学习调参有哪些技巧？下面就分享一些自己的深度学习模式调试技巧（主要是CNN）。由于某些需要，我最近参加了一些CNN建模和调优任务。由于我个人的习惯，我不习惯深度调试，通过一个简单的试错法学习模式，往往给人... 查看详情