人工智能开发丛书--数据挖掘与机器学习：PMML建模（下）

1997年，芝加哥伊利诺伊大学的Robert Lee Grossman博士发起设计了数据挖掘模型的开放标准语言PMML（Predictive Model Markup Language），即预测模型标记语言，它是一种基于XML规范的开放式挖掘模型表达语言，为不同的挖掘系统提供了定义和应用数据挖掘模型的方法，为模型跨平台应用提供了标准的解决方案。通过采用PMML规范，开发者和使用者可在一个软件系统中创建预测模型，以符合PMML标准的文档对其进行表达，然后将其传递到另外一个系统中，并在该系统中对新数据进行预测，从而实现预测模型的跨语言、跨平台应用的可移植性。作为事实上的表达预测模型的标准，目前PMML已经得到IBM、SAS、NCR、FICO、NIST、Tibco等顶级商业公司的支持，也得到大量开源挖掘系统，如Weka、Tanagra、RapidMiner、KNIME、Orange、GGobi、JHepWork等的支持，其影响力越来越大，并且已经成为W3C的标准。
在上册中，我们讲述了PMML规范（Ver4.3）所支持的关联规则模型、朴素贝叶斯模型、贝叶斯网络模型、基线模型、聚类模型、通用回归模型、回归模型、高斯过程模型以及KNN最近邻模型等9种模型。在本书中，我们详细描述PMML规范（Ver4.3）所支持的其他8种模型，包括神经网络模型、决策树模型、规则集模型、序列模型、评分卡模型、支持向量机模型、时间序列模型和聚合模型，其中聚合模型支持在一个PMML文档中有机整合多个不同的模型，从而实现模型间的协同功能。
为了能够帮助读者充分掌握PMML规范对各种模型的表达知识，本书每一章对一个模型进行完整、详细的描述，清晰说明PMML规范中挖掘模型的基本原理，使得读者对模型的基础知识、算法有一个清晰、完整的把握。书中每个模型都辅以详实的例子，使读者融会贯通，灵活应用。本书不是一本简单地介绍PMML语法的书籍，而是一本融合各种挖掘模型基础知识和算法知识，告诉读者如何融会贯通地掌握、使用PMML语言的实践性图书。通过学习本书，读者不仅能够学习到标准的PMML模型表达方式，也能够学习或重温机器学习模型的丰富知识，熟练地把PMML语言应用到自己的项目实践中。
本书共8章，其中第2章、第3章和第5章由北京中医药大学生命科学学院黄春芳副教授编写。其余章节由潘风文编写。潘启儒协助完成资料整理工作，在此表示衷心感谢。
如果读者在阅读本书中有什么问题和需要，可直接联系作者。QQ：420165499。欢迎一起探讨。
本书非常适合有志于数据挖掘（机器学习）、人工智能系统的开发者和使用者学习，也可以作为大数据及人工智能等相关专业的教材。

潘风文　
2020.3　

本书详细描述了PMML规范（Ver4.3）所支持的8种模型：神经网络模型、决策树模型、规则集模型、序列模型、评分卡模型、支持向量机模型、时间序列模型和聚合模型。全书不是简单地介绍PMML语法，而是融合各种挖掘模型基础知识和算法知识，告诉开发者如何融会贯通地掌握、使用PMML语言，不仅能够学习到标准的PMML模型表达方式，而且能学习机器学习模型的丰富知识，从而熟练地把PMML语言应用到自己的项目实践中。
本书可供从事数据挖掘（机器学习）、人工智能系统开发的软件开发者和爱好者学习使用，也可以作为高等院校大数据和人工智能等相关专业的教材。

1　神经网络模型（NeuralNetwork）	1
1.1　神经网络模型基础知识	2
1.2　神经网络模型算法简介	5
1.3　神经网络模型元素	9
1.3.1　模型属性	10
1.3.2　模型子元素	14
1.3.3　评分应用过程	28

2　决策树模型（TreeModel）	29
2.1　决策树模型基础知识	30
2.1.1　决策树模型简介	30
2.1.2　逻辑谓词表达式	31
2.2　决策树模型算法简介	33
2.2.1　卡方自动交互检验算法（CHAID）	33
2.2.2　迭代二叉树ID3	42
2.2.3　分类器C4.5和C5.0	47
2.2.4　分类与回归树算法CART	53
2.3　决策树模型元素	54
2.3.1　模型属性	56
2.3.2　模型子元素	59
2.3.3　评分应用过程	68

3　规则集模型（RuleSetModel）	79
3.1　规则集模型基础知识	80
3.2　规则集模型元素	80
3.2.1　模型属性	81
3.2.2　模型子元素	81
3.2.3　评分应用过程	89

4　序列模型（SequenceModel）	93
4.1　序列模型基础知识	94
4.2　序列模型算法简介	97
4.2.1　GSP算法	97
4.2.2　SPADE算法	101
4.2.3　PrefixSpan算法	103
4.3　序列模型元素	104
4.3.1　模型属性	106
4.3.2　模型子元素	107
4.3.3　评分应用过程	118

5　评分卡模型（Scorecard）	119
5.1　评分卡模型基础知识	120
5.2　评分卡模型算法简介	121
5.3　评分卡模型元素	131
5.3.1　模型属性	132
5.3.2　模型子元素	134
5.3.3　评分应用过程	143

6　支持向量机模型（SupportVectorMachineModel）	145
6.1　支持向量机模型基础知识	146
6.2　支持向量机模型算法简介	148
6.3　支持向量机模型元素	152
6.3.1　模型属性	154
6.3.2　模型子元素	155
6.3.3　评分应用过程	164

7　时间序列模型（TimeSeriesModel）	167
7.1　时间序列模型基础知识	168
7.2　时间序列模型算法简介	171
7.2.1　算法概述	172
7.2.2　指数平滑算法	173
7.3　时间序列模型元素	176
7.3.1　模型属性	177
7.3.2　模型子元素	178
7.3.3　评分应用过程	192

8　聚合模型（MiningModel）	195
8.1　模型聚合基础知识	196
8.2　挖掘模型MiningModel	197

　附录	225

　后记	227