从入门到高阶，读懂机器学习需要哪些数学知识

1.线性代数：我的一个同事Skyler Speakman说“线性代数是二十一世纪的数学”，我完全同意这个说法。在ML中，线性代数到处都是。主成分分析（PCA）、奇异值分解（SVD）、矩阵的特征分解、LU分解、QR分解/因式分解、对称矩阵，正交化和正交化、矩阵运算、投影、特征值和特征向量、向量空间和规范这些都是理解机器学习及其优化方法所必需的。线性代数令人惊奇的是，有很多在线资源。 我一直说传统的课堂正在死亡，因为互联网上有大量的资源。我最喜欢的线性代数课程是MIT（Gilbert Strang教授）课程。
2.概率理论与统计学：机器学习与统计学领域是有很多相似的地方。实际上，有人最近将机器学习定义为“在Mac上统计数据”。 机器学习需要基本统计和概率理论的综合知识，如概率规则和公理、贝叶斯定理、随机变量、方差和期望、条件和联合分布、标准分布（伯努利，二项式，多项式，均匀和高斯）、矩生成函数、最大似然估计（MLE）、先验和后验、最大后验估计（MAP）和抽样方法。
3.多元微积分：主要领域包括微积分、偏导数、向量值函数、梯度方向、Hessian矩阵、雅可比矩阵、拉普拉斯和拉格朗日分布。
4.算法和复杂度优化： 这些在评估计算的效率和可扩展性，或利用稀疏矩阵时，显得非常重要。 需要知识包括数据结构（二叉树，散列，堆，堆栈等）、动态规划、随机和线性算法、图形、梯度/随机下降和原对偶方法。
5.其他：包括上述四个主要领域未涵盖的其他数学主题。它们包括实分析和复分析（集合和序列、拓扑、度量空间、单值和连续函数、限制、柯西内核、傅里叶变换），信息理论（熵，信息增益），函数空间和Manifolds流形。