机器学习系列（2）：logistic回归，贝叶斯（bayes）方法

前言： 这章主要介绍logistic回归和bayes法。两者都属分类，前者引入了logistic函数，后者引入了贝叶斯定理，都是比较基础的数学知识。 但是logistic无需先验的训练样本，后者需要。 贝叶斯法很强大，很多邮件、网页筛选都有用到，这里只介绍朴素bayes法。理

前言：这章主要介绍logistic回归和bayes法。两者都属分类，前者引入了logistic函数，后者引入了贝叶斯定理，都是比较基础的数学知识。

但是logistic无需先验的训练样本，后者需要。

贝叶斯法很强大，很多邮件、网页筛选都有用到，这里只介绍朴素bayes法。理解其关键在于应用中条件概率的提取。

引用《机器学习》上的一句话：

“在特定前提下，任一学习算法如果使输出的假设预测和训练数据之间的误差平方最小化，它将输出一极大似然假设。”

正文：

后续：对于logistic回归，最后梯度下降法计算最小J（x）详细解法可见参考资料1.

Logistic回归就是要学习得到，使得正例的特征远大于0，负例的特征远小于0，强调在全部训练实例上达到这个目标

对于bayes法，例题见参考资料2.

参考资料：1.logistic回归，讲的很详细

2.bayes法，一步步都很清楚

3.贝叶斯方法的理解，数学之美

4.bayes法的概念有好的介绍