《深度学习在自然语言处理的应用v.ppt》由会员分享，可在线阅读，更多相关《深度学习在自然语言处理的应用v.ppt（55页珍藏版）》请在三一文库上搜索。
1、1,深度学习在自然语言处理的应用,张俊林 畅捷通股份有限公司 2014.10.3,2,大纲,深度学习简介 基础问题：语言表示问题 Word Embedding 不同粒度语言单元的表示 字符/单字/单词/短语/句子/文档 值得重点关注的模型 RAE/Tensor Network/卷积网络 NLP的应用 语言模型 中文分词 知识挖掘 情感计算 机器翻译 Paraphrase IR 探讨与思考,3,深度学习（表示学习）,4,深度学习（表示学习）,5,Layer-Wise Pre-Training,6,Denoising Autoencoder,7,自然语言交互的时代,8,大纲,深度学习简介 基础问题
2、：语言表示问题 Word Embedding 不同粒度语言单元的表示 字符/单字/单词/短语/句子/文档 值得重点关注的模型 RAE/Tensor Network/卷积网络 NLP的应用 语言模型 中文分词 知识挖掘 情感计算 机器翻译 Paraphrase IR 探讨与思考,9,One-Hot 表示,One Hot表示在传统NLP中很常用,Similarity(dog,cat)=0,10,Word Embedding,词向量：单词的分布向量表示（Distributional Representation） 词向量表征了单词使用上下文中的句法语义特征 One-Hot的字面匹配到DR的语义匹配,
3、Similarity(dog,cat)Similarity(dog,the),Similarity(“the dog smiles.”,“one cat cries.”）,11,无监督训练获得单词的WE-word2vec,单词：苹果,12,无监督训练获得单词的WE-word2vec,单词：长颈鹿,13,无监督训练获得单词的WE-word2vec,单字：张,14,无监督训练获得单词的WE-word2vec,单字：雯,15,无监督训练获得单词的WE-word2vec,单字：葱,16,Word2vec,CBOW：,17,word2vec,Skip-Gram:,18,word2vec,CBOW+ Hi
4、erarchical Softmax,19,word2vec,CBOW+Negative Sampling,最大化：,st：,正例,负例,20,不同粒度语言单元的表示-字符/单字,字符上下文向量,英文：捕获构词法,中文：捕获字搭配,英文拓展：字符N-Gram,中文拓展：单字N-Gram？,21,不同粒度语言单元的表示-短语/句子/文档,方法一：单词词向量取和（Summrization） 很多情况都做此种简化处理 过于简单,但是仔细思考有一定道理 方法二：单词词向量加权求和 Huangs Work 权重：类似于IDF 方法三：RNN,22,不同粒度语言单元的表示-短语/句子/文档,方法四：Mat
5、rix-Vector NN,23,不同粒度语言单元的表示-短语/句子/文档,方法五：卷积神经网络,24,大纲,深度学习简介 基础问题：语言表示问题 Word Embedding 不同粒度语言单元的表示 字符/单字/单词/短语/句子/文档 值得重点关注的模型 RAE/Tensor Network/卷积网络 NLP的应用 语言模型 中文分词 知识挖掘 情感计算 机器翻译 Paraphrase IR 探讨与思考,25,RAE(Recursive AutoEncoders),推导短语及句子级别的Word Embedding表示,26,Neural Tensor Networks,表达多个实体之间的关系
6、 /两个单词之间某种操作,27,Neural Tensor Networks,28,卷积网络（ Convolutional Deep Neural Network ）,全局特征选择与融合/不定长转换为定长表示,29,大纲,深度学习简介 基础问题：语言表示问题 Word Embedding 不同粒度语言单元的表示 字符/单字/单词/短语/句子/文档 值得重点关注的模型 RAE/Tensor Network/卷积网络 NLP的应用 语言模型 中文分词 知识挖掘 情感计算 机器翻译 Paraphrase IR 探讨与思考,30,语言模型,31,语言模型,Bilinear-LM,32,语言模型,RNN
7、LM,33,深度学习用于中文分词-思路1,34,深度学习用于中文分词-思路2,35,深度学习用于中文分词,两者思路基本相同 基于字的Word Embedding+三层神经网络+BEMS标记序列分类 思路2引入全局的Viterbi解码（分类后处理） 效果：和主流分词算法效果接近 CRF/Maxent+二元特征 类似思路同样可以套用到POS/NER/Parser等场景 这是利用Word Embedding解决NLP问题最直观的NLP应用思路 考虑探索下非标准三层神经网络结构的复杂模型,36,深度学习用于知识挖掘,两大类问题 现有知识库的新知识推理 CYC,WordNet,FreeNet 目前的文献
8、做法大思路基本一致 已知实体用Word Embedding表示 实体关系用Tensor Network建模 后向传播+SGD训练 从自由文本中挖掘结构化知识,37,现有知识库的新知识推理,38,现有知识库的新知识推理,最小化目标函数：,正例：,负例：,39,从自由文本中挖掘结构化知识,整体结构,词法级特征,40,从自由文本中挖掘结构化知识,句子级特征抽取：卷积网络,41,机器翻译（通用模型）,最常见的通用模型：Encoder-Decoder Model,Encoder,Decoder,语义向量,42,机器翻译（Encoder-Decoder具体例子）,ACL2014 Best Paper：Fa
9、st and Robust Neural Network Joint Models for Statistical Machine Translation,网络结构,语言模型,翻译模型,43,机器翻译-很多地方可以引入DL,单词对齐 短语对齐 短语重排序 语言模型 翻译模型 联合模型 翻译结果重排序 ,单词对齐,44,情感计算,核心的两个问题 句子级的Word Embedding表示 前面讲过这个问题 如何将情感倾向编码到各级Word Embedding中 半监督或者监督学习：通过训练过程将情感倾向编码到WE结构中,45,Paraphrase(整体框架),S1：The judge also r
10、efused to postpone the trial date of Sept. 29.,S2： Obus also denied a defense motion to postpone the September trial date.,Paraphrase的问题：Semantic(S1)=Semantic(S2)?,46,Paraphrase（RAE）,Darling!Im here!,Darling!Im here!,47,Paraphrase（Dynamic Pooling）,应用拓展：很明显这个方法可以照搬不动放到QA问题匹配中 （一篇灌水论文就此诞生了！）,欧式距离：越小越好
11、,48,DL for IR,一种直观的方法,49,DL for IR,一种没那么直观的方法,50,大纲,深度学习简介 基础问题：语言表示问题 Word Embedding 不同粒度语言单元的表示 字符/单字/单词/短语/句子/文档 值得重点关注的模型 RAE/Tensor Network/卷积网络 NLP的应用 语言模型 中文分词 知识挖掘 情感计算 机器翻译 Paraphrase IR 探讨与思考,51,探讨与思考,与传统方法比较DL的优势所在 抛掉特征选择步骤 简洁地融入语义级特征 很多应用可以直接绕过NLP的中间场景比如POS，句法，减少错误累加 语言长程依赖容易建模：词向量+卷积网络
12、可以解决语言模型的数据稀疏问题：15-Gram 很多场景如果优化速度非常快，方便应用的工程化实用化,52,探讨与思考,目前研究模式中最基础和重要的问题 短语、句子、段落、文档级别的有效Word Embedding表示 文档级别表示很多应用直接受益:分类，IR等 问题：文档级别采用低维表示，是否丢失细节信息？只能作为辅助手段？句子级别的低维表示很有意义，最关键。 如何更能体现“深度”的思想 目前还说不上很Deep：WE为主 是否有除了“Word Embedding”外更Deep的模式？ 目前看DL在NLP哪些方面好哪些一般？ 涉及语义处理的应用：表现好 不涉及太多语义的应用：State-of-the-art 说明什么？ Word Embedding已经把传统ML方法使用特征融合进去了 语义级别特征效果体现明显,53,探讨与思考,与CRF的比较及区别与联系 CRF:线性 VS DL:非线性 CRF:高维离散特征 VS: DL:低维连续特征 结论：非线性模型对于低维连续特征有效，对高维离散特征无效 DL在推荐系统方面应用方法的思考 不成熟的初步思路 我个人看好DL在NLP方面的作用 与传统方法比有明显优点 发展初期：机会多、挑战大 NLP方向博士生的黄金时代 非常容易想到很多New Idea 一把新的锤子，很多钉子可以去敲,54,广告时间,55,Thanks!,