自然语言处理的Python实践

我很幸运能够有机会接触和解决复杂的NLP(自然语言处理)问题，并且涉及不同地域的各个行业。这本书源自我的学习，因而是以一个实践者的视野来看待解决文本问题的。解决NLP问题涉及一定的创造力，并且要与技术知识结合起来。有时，有些问题采用最好的深度学习方法解决不了，用简单的方法反而能解决。因此，我总是想起奥卡姆剃刀原理，它指出，如果存在多个可选的解决方案，那么最简单的那个可能是解决问题最好的方案。
在我看来，解决任何问题都离不开数据，这也是本书要在第1章讨论文本数据的根本原因所在，该章全面讲述不同类型的文本数据，以及可以从这些数据中提取的信息。第2、3、4和第5章重点介绍不同行业以及这些行业面临的常见的文本挖掘问题。在这些章节中，不仅包含文本挖掘的用例，同时还将介绍相应的文本挖掘概念以及相关的代码和Python库。
第2章简要介绍客户服务行业，并对会话语料库进行深入分析。这一章重点强调可以从会话语料库中提取的各种类型的信息，同时提供详细的代码，还将详细介绍词袋模型（bag of words）、向量化、基于规则的方法以及有监督的学习方法。
第3章聚焦一个非常流行的文本挖掘用例：评论挖掘。在这一章中将全面而深入地研究情绪分析和意见挖掘，包括使用无监督技术和有监督技术进行情绪分析，并进一步讲述用于情感分析的神经网络。
第4章对应用于银行、金融服务和保险行业的NLP技术进行概述，以往的传统银行业务使用结构化数据来驱动决策，近来，文本用例正在这个领域进行探索，该章将对其中的一个用例进行详细讨论，并且使用无监督技术和嵌入式神经网络（embedding based neural networks）详细探讨命名实体识别器（named entity recognizers）。
第5章重点讨论虚拟助手，探索如何用最先进的神经网络结构构建网上机器人的技术，并介绍自然语言生成的概念。

吴伟国，无党派人士。哈尔滨工业大学教授，博士生导师，机电控制及自动化学科工学博士，日本国立名古屋大学微系统工学博士后研究员。长期从事工业机器人、仿生仿人机器人及智能运动控制、人工智能、人工情感等方面研究。作为项目负责人先后主持完成国家自然科学基金、国家863计划、国家重点实验室、教育部归国留学基金项目以及参与完成各类项目共10余项。主持“十三五”国家重点研发计划项目课题、国家自然科学基金重点课题子课题各1项。发表学术论文80余篇，参编“十一五”国家级规划教材1部，著有国家出版基金项目资助著作3部，以第1发明人获发明专利权20项，获部级科技进步一、二等奖各1项。

《自然语言处理的Python实践》通过5章内容深入解读了自然语言处理（NLP）的文本数据处理方法和行业实际应用。其中讨论了文本数据的根本问题所在和在文本数据中如何提取信息、提取哪种信息等，同时通过第2~5章，重点讲解了客户服务行业、在线评论、银行与金融服务及保险行业、虚拟助手四大NLP重点领域的实际应用方法，其中详细解读了意图挖掘、基于ML的监督学习、情感分析与挖掘、Word2Vec、CBOW、LSTM、编码器-解码器模型框架和当今NLP领域解决问题效果最好的BERT模型等关键技术方法。内容全面，案例真实。本书案例均直接深入到各行业，读者在阅读学习过程中，能通过书中相应的代码和案例思路，真正解决实际工作中遇到的问题。
本书适合各个行业自然语言处理方向的技术人员阅读学习，也适合开设自然语言处理课程的院校师生及计算机专业教学参考使用。

第1章 数据类型 001 
1.1 搜索 002
1.2 评论 003
1.3 社交媒体中的帖子/博客 005
1.4 聊天数据 006
1.4.1 私人聊天 006
1.4.2 商务聊天和语音通话数据 007
1.5 SMS（短信）数据 008
1.6 内容数据 009
1.7 IVR（交互式语音应答）话语数据 010
1.8 数据中的有用信息 010

第2章 NLP在客户服务中的应用 013 
2.1 语音通话 014
2.2 聊天 015
2.3 票证数据 016
2.4 邮件数据 016
2.5 客户需求 018
2.5.1 意图挖掘 018
2.5.2 意图理解的热门词汇 019
2.5.3 词云 021
2.5.4 主题分类规则 024
2.6 基于机器学习的监督学习 028
2.6.1 获取人工标记的数据 028
2.6.2 分词 030
2.6.3 文档词条矩阵 031
2.6.4 数据标准化 035
2.7 替换某些模式 036
2.8 识别并标注问题所在的行 040
2.9 热门客户查询 041
2.10 热门客户满意度（CSAT）驱动器 043
2.11 热门净推荐值（NPS）驱动器 045
2.12 深入了解销售对话 050
2.12.1 销售对话中的热门产品 050
2.12.2 未交易的原因 051
2.12.3 调查评论分析 052
2.12.4 挖掘语音记录 052

第3章 NLP在在线评论中的应用 059 
3.1 情感分析 060
3.2 情感挖掘 061
3.3 方法1：基于词典的方法 062
3.4 方法2：基于规则的方法 066
3.4.1 观察结果1 066
3.4.2 观察结果2 067
3.4.3 观察结果3 067
3.4.4 观察结果4 068
3.4.5 总体得分 069
3.4.6 处理观察结果 070
3.4.7 情绪分析库 085
3.5 方法3：基于机器学习的方法(神经网络) 086
3.5.1 语料库的特征 087
3.5.2 构建神经网络 091
3.5.3 加以完善 093
3.6 属性提取 093
3.6.1 步骤1：使用正则表达式进行规范化 095
3.6.2 步骤2：提取名词形式 097
3.6.3 步骤3：创建映射文件 098
3.6.4 步骤4：将每个评论映射到属性 100
3.6.5 步骤5：品牌分析 101

第4章 NLP在银行、金融服务和保险业（BFSI）的应用 109 
4.1 NLP之于风险控制 110
4.1.1 方法1：使用现有的库 111
4.1.2 方法2：提取名词短语 113
4.1.3 方法3：训练自己的模型 115
4.1.4 模型应用 142
4.2 NLP在银行、金融服务和保险业的其他应用案例 157
4.2.1 短信数据 157
4.2.2 银行业的自然语言生成 158

第5章 NLP在虚拟助手中的应用 163 
5.1 网络机器人（Bot程序）种类 164
5.2 经典方法 165
5.2.1 LSTM概述 169
5.2.2 LSTM的应用 173
5.2.3 时间分布层 174
5.3 生成响应法 178
5.3.1 编码器-解码器模型框架 179
5.3.2 数据集 180
5.3.3 框架的实现 180
5.3.4 编码器-解码器模型框架的训练 189
5.3.5 编码器输出 192
5.3.6 解码器输入 192
5.3.7 预处理 195
5.3.8 双向LSTM 200
5.4 BERT（基于转换器的双向编码表征） 202
5.4.1 语言模型和微调 202
5.4.2 BERT概述 203
5.4.3 微调BERT以构建分类器 208
5.5 构建网上对话机器人的更多细微差别 211
5.5.1 单轮对话和多轮对话的比较 211
5.5.2 多语言网上机器人 213