第 1章引言 .............................................................................................1
1.1机器学习的目的：从数据到知识 .....................................................1
1.2机器学习的基本框架 .....................................................................2
1.2.1数据集合与对象特性表示 .....................................................3
1.2.2学习判据 ............................................................................4
1.2.3学习算法 ............................................................................5
1.3机器学习思想简论 .........................................................................5 延伸阅读 ..............................................................................................7 习题 ....................................................................................................8 参考文献 ..............................................................................................9
第 2章归类理论..................................................................................... 11
2.1类表示公理 ................................................................................. 13
2.2归类公理 .................................................................................... 17
2.3归类结果分类 ............................................................................. 20
2.4归类方法设计准则 ....................................................................... 22
2.4.1类一致性准则 ................................................................... 23
2.4.2类紧致性准则 ................................................................... 23
2.4.3类分离性准则 ................................................................... 25
2.4.4奥卡姆剃刀准则 ................................................................ 25 讨论 .................................................................................................. 27 延伸阅读 ............................................................................................ 29 习题 .................................................................................................. 30 参考文献 ............................................................................................ 31
第 3章密度估计..................................................................................... 33
3.1密度估计的参数方法 ................................................................... 33
3.1.1最大似然估计 ................................................................... 33
3.1.2贝叶斯估计 ....................................................................... 35
3.2密度估计的非参数方法 ................................................................ 39
3.2.1直方图 ............................................................................. 39
3.2.2核密度估计 ....................................................................... 39
3.2.3 K近邻密度估计法 ............................................................ 40 延伸阅读 ............................................................................................ 40 习题 .................................................................................................. 41 参考文献 ............................................................................................ 41
第 4章回归 ........................................................................................... 43
4.1线性回归 .................................................................................... 43
4.2岭回归 ....................................................................................... 47
4.3 Lasso回归 .................................................................................. 48 讨论 .................................................................................................. 51 习题 .................................................................................................. 52 参考文献 ............................................................................................ 52
第 5章单类数据降维 .............................................................................. 53
5.1主成分分析 ................................................................................. 54
5.2非负矩阵分解 ............................................................................. 56
5.3字典学习与稀疏表示 ................................................................... 57
5.4局部线性嵌入 ............................................................................. 59
5.5典型关联分析 ............................................................................. 62
5.6多维度尺度分析与等距映射 ......................................................... 63 讨论 .................................................................................................. 65 习题 .................................................................................................. 66 参考文献 ............................................................................................ 66
第 6章聚类理论..................................................................................... 69
6.1聚类问题表示及相关定义 ............................................................. 69
6.2聚类算法设计准则 ....................................................................... 70
6.2.1类紧致性准则和聚类不等式 ............................................... 70
6.2.2类分离性准则和重合类非稳定假设 ..................................... 72
6.2.3类一致性准则和迭代型聚类算法 ......................................... 73
6.3聚类有效性 ................................................................................. 73
6.3.1外部方法 .......................................................................... 73
6.3.2内蕴方法 .......................................................................... 75 延伸阅读 ............................................................................................ 76 习题 .................................................................................................. 77 参考文献 ............................................................................................ 77
第 7章聚类算法..................................................................................... 81
7.1样例理论：层次聚类算法 ............................................................. 81
7.2原型理论：点原型聚类算法 .......................................................... 83
7.2.1 C均值算法 ...................................................................... 84
7.2.2模糊 C均值 ...................................................................... 86
7.3基于密度估计的聚类算法 ............................................................. 88
7.3.1基于参数密度估计的聚类算法 ............................................ 88
7.3.2基于无参数密度估计的聚类算法 ......................................... 97 延伸阅读 .......................................................................................... 106 习题 ................................................................................................ 107 参考文献 .......................................................................................... 108
第 8章分类理论................................................................................... 111
8.1分类及相关定义 ........................................................................ 111
8.2从归类理论到经典分类理论 ....................................................... 112
8.2.1 PAC理论 ....................................................................... 113
8.2.2统计机器学习理论 ........................................................... 115
8.3分类测试公理 ........................................................................... 118 讨论 ................................................................................................ 119 习题 ................................................................................................ 119 参考文献 .......................................................................................... 120
第 9章基于单类的分类算法：神经网络 .................................................. 121
9.1分类问题的回归表示 ................................................................. 121
9.2人工神经网络 ........................................................................... 122
9.2.1人工神经网络相关介绍 .................................................... 122
9.2.2前馈神经网络 ................................................................. 124
9.3从参数密度估计到受限玻耳兹曼机 ............................................. 129
9.4深度学习 .................................................................................. 131
9.4.1自编码器 ........................................................................ 132
9.4.2卷积神经网络 ................................................................. 132 讨论 ................................................................................................ 133 习题 ................................................................................................ 134 参考文献 .......................................................................................... 134
第 10章 K近邻分类模型 ...................................................................... 137
10.1 K近邻算法 ............................................................................. 138
10.1.1 K近邻算法问题表示 .................................................... 138
10.1.2 K近邻分类算法 .......................................................... 139
10.1.3 K近邻分类算法的理论错误率 ...................................... 140
10.2距离加权最近邻算法 ................................................................ 141
10.3 K近邻算法加速策略 ............................................................... 142
10.4 kd树 ...................................................................................... 143
10.5 K近邻算法中的参数问题 ......................................................... 144 延伸阅读 .......................................................................................... 145 习题 ................................................................................................ 145 参考文献 .......................................................................................... 145
第 11章线性分类模型 .......................................................................... 147
11.1判别函数和判别模型 ................................................................ 147
11.2线性判别函数 .......................................................................... 148
11.3线性感知机算法 ...................................................................... 151
11.3.1感知机数据表示 ........................................................... 151
11.3.2感知机算法的归类判据 ................................................. 152
11.3.3感知机分类算法 ........................................................... 153
11.4支持向量机 ............................................................................. 156
11.4.1线性可分支持向量机 .................................................... 156
11.4.2近似线性可分支持向量机 ............................................. 159
11.4.3多类分类问题 .............................................................. 162 讨论 ................................................................................................ 164 习题 ................................................................................................ 165 参考文献 .......................................................................................... 166
第 12章对数线性分类模型 ................................................................... 167
12.1 Softmax回归 .......................................................................... 167
12.2 Logistic回归 ........................................................................... 170 讨论 ................................................................................................ 172 习题 ................................................................................................ 173 参考文献 .......................................................................................... 173
第 13章贝叶斯决策 ............................................................................. 175
13.1贝叶斯分类器 .......................................................................... 175
13.2朴素贝叶斯分类 ...................................................................... 176
13.2.1最大似然估计 .............................................................. 178
13.2.2贝叶斯估计 ................................................................. 181
13.3最小化风险分类 ...................................................................... 183
13.4效用最大化分类 ...................................................................... 185 讨论 ................................................................................................ 185 习题 ................................................................................................ 186 参考文献 .......................................................................................... 186
第 14章决策树 .................................................................................... 187
14.1决策树的类表示 ...................................................................... 187
14.2信息增益与 ID3算法 ............................................................... 192
14.3增益比率与 C4.5算法 .............................................................. 194
14.4 Gini指数与 CART算法 ........................................................... 195
14.5决策树的剪枝 .......................................................................... 196 讨论 ................................................................................................ 197 习题 ................................................................................................ 197 参考文献 .......................................................................................... 198
第 15章多类数据降维 .......................................................................... 199
15.1有监督特征选择模型 ................................................................ 199
15.1.1过滤式特征选择 ........................................................... 200
15.1.2包裹式特征选择 ........................................................... 201
15.1.3嵌入式特征选择 ........................................................... 201
15.2有监督特征提取模型 ................................................................ 202
15.2.1线性判别分析 .............................................................. 202
15.2.2二分类线性判别分析问题 ............................................. 202
15.2.3二分类线性判别分析 .................................................... 203
15.2.4二分类线性判别分析优化算法 ....................................... 205
15.2.5多分类线性判别分析 .................................................... 205 延伸阅读 .......................................................................................... 207 习题 ................................................................................................ 207 参考文献 .......................................................................................... 207
第 16章多类数据升维：核方法 ............................................................. 209
16.1核方法 .................................................................................... 209
16.2非线性支持向量机 ................................................................... 210
16.2.1特征空间 ..................................................................... 210
16.2.2核函数 ........................................................................ 210
16.2.3常用核函数 ................................................................. 212
16.2.4非线性支持向量机 ....................................................... 212
16.3多核方法 ................................................................................ 213 讨论 ................................................................................................ 215 习题 ................................................................................................ 215 参考文献 .......................................................................................... 216
第 17章多源数据学习 .......................................................................... 217
17.1多源数据学习的分类 ................................................................ 217
17.2单类多源数据学习 ................................................................... 217
17.2.1完整视角下的单类多源数据学习 ................................... 218
17.2.2不完整视角下的单类多源数据学习 ................................ 220
17.3多类多源数据学习 ................................................................... 221
17.4多源数据学习中的基本假设 ...................................................... 222 讨论 ................................................................................................ 222 习题 ................................................................................................ 223 参考文献 .......................................................................................... 223
后记 ........................................................................................................ 225
索引 ........................................................................................................ 229
