大家好，今天来为大家解答斯坦福大学机器学习课程解析这个问题的一些问题点，包括也一样很多人还不知道，因此呢，今天就来为大家分析分析，现在让我们一起来看看吧！如果解决了您的问题，还望您关注下本站哦，谢谢~
1、如果是连续的，就是多元线性回归；
2、如果是二项分布，就是逻辑回归；
3、如果是泊松分布，就是泊松回归；
4.如果是负二项分布，就是负二项回归。
逻辑回归的因变量可以是二分类或多分类，但二分类更常用，也更容易解释。因此，实践中最常用的方法是二元逻辑回归。
逻辑回归的主要用途：
1、寻找危险因素：寻找某种疾病的危险因素等；
2、预测：根据模型，预测不同自变量下某种疾病或情况发生的概率；
3、歧视：其实有点类似于预测。也是根据模型来判断一个人属于某种疾病或者某种状况的概率，即看这个人属于某种疾病的可能性有多大。
逻辑回归主要用于流行病学。常见的情况是探索某种疾病的危险因素，根据危险因素预测某种疾病发生的概率等等。例如，如果你想探究胃癌的危险因素，你可以选择两组人，一组是胃癌组，一组是非胃癌组。这两类人一定有不同的体征和生活方式。这里的因变量是是否是胃癌，即“是”或“否”。自变量可以包括很多，例如年龄、性别、饮食习惯、幽门螺杆菌感染等。自变量可以是连续的或分类的。
常规步骤
回归问题的一般步骤是：
1.求h函数（即假设）；
2.构造J函数（损失函数）；
3.找到最小化J函数并找到回归参数（）的方法
构造预测函数h
Logistic Regression虽然名字中有“回归”，但它实际上是一种分类方法，主要用于二分类问题（即只有两种输出，代表两个类别），因此Logistic函数（或者是Sigmoid函数），函数形式为：
Sigmoid函数有一个漂亮的“S”形状，如下图所示（引自维基百科）：
下左图是线性决策边界，右图是非线性决策边界。
对于线性边界的情况，边界形式如下：
将预测函数构造为：
函数的值有特殊的含义。代表结果为1的概率。因此，对于输入x，分类结果为类别1和类别0的概率为：
构造损失函数J
Cost函数和J函数如下，是基于最大似然估计推导出来的。
下面详细解释推导过程：
式(1)可归纳为：
取似然函数为：
对数似然函数为：
最大似然估计就是寻求帮助
当取最大值时，其实可以用梯度上升法来求解。得到的即为所需的最优参数。然而，在吴恩达的课程中，它将被视为：
因为乘了一个负系数-1/m，所以取最小值时的就是需要的最优参数。
梯度下降法求的最小值
更新过程：
更新过程可以写为：
向量化Vectorization
矢量化使用矩阵计算代替for循环，简化计算过程，提高效率。
如上式所示，(.)是一个求和过程，显然需要for语句循环m次，所以向量化根本没有完全实现。
下面介绍向量化的过程：
约定的训练数据的矩阵形式如下，x的每一行都是一个训练样本，每一列都有不同的特殊值：
g(A)的参数A是列向量，因此在实现g函数时，必须支持列向量作为参数并返回列向量。由上式可知，通过一次计算即可得到。
更新过程可以改为：
综上所述，矢量化后更新的步骤如下：
(1) 要求
(2) 要求
(3) 要求
正则化Regularization
过拟合问题
对于由线性回归或逻辑回归的损失函数组成的模型，有的权重可能很大，有的权重可能很小，导致过拟合（即对训练数据的过拟合），增加了模型的复杂度，降低泛化能力。差（对未知数据的预测能力）。
下图左图为欠拟合，中图为适当拟合，右图为过拟合。
问题的主要原因
过拟合问题通常是由于特征过多而引起的。
解决方案
1）减少特征数量（减少特征会丢失一些信息，即使特征选择得很好）
1. 可以手动选择要保留的特征；
2、模型选择算法；
2）正则化（特征越多越有效）
1. 保留所有特征，但减小 的大小
正则化方法
正则化是结构风险最小化策略的实施，它在经验风险的基础上添加正则化项或惩罚项。正则化项通常是模型复杂度的单调递增函数。模型越复杂，正则化项越大。
让我们从房价预测问题开始，这次使用多项式回归。左图是正确拟合，右图是过拟合。
直观上，如果我们想解决这个例子中的过拟合问题，最好消除的影响，即设。假设我们惩罚并使其非常小。一种简单的方法是在原来的Cost函数上添加两个稍大的惩罚项，例如：
这样，当最小化Cost函数时，常规术语可以采用不同的形式。在回归问题中，取平方损失，即参数的L2范数，也可以取L1范数。当损失平方时，模型的损失函数变为：
lambda 是正则化系数：
1.如果它的值大，说明模型的复杂度惩罚大，而拟合数据的损失惩罚小，这样就不会过拟合数据，在训练数据和训练数据上的偏差就会较大关于未知的数据。方差较小，但可能会出现欠拟合；
2.如果它的值很小，说明更加注重对训练数据的拟合，训练数据上的偏差会很小，但可能会导致过拟合。
正则化梯度下降算法的更新变为：
正则化线性回归的正规方程的公式为：
其他优化算法
1.共轭梯度法（共轭梯度法）
2.拟牛顿法
3.BFGS法
4.L-BFGS（有限内存BFGS）
后两者源自拟牛顿法。与梯度下降算法相比，这些算法的优点是：
1、首先不需要手动选择步长；
2. 其次，它通常比梯度下降算法更快；
但缺点是比较复杂。
多类分类问题
对于多类分类问题，可以将其视为二类分类问题：保留一个类，将剩余的类用作另一类。
对于每个类i，训练一个逻辑回归模型分类器并预测y=i时的概率；对于一个新的输入变量x，分别预测每个类，取概率最大的类作为分类结果：
好了，关于斯坦福大学机器学习课程解析和的问题到这里结束啦，希望可以解决您的问题哈！
【斯坦福大学机器学习课程解析】相关文章：
用户评论
斯坦福的研究成果在机器学习领域一直非常领先。
有18位网友表示赞同！
想去斯坦福深度了解一下机器学习！
有12位网友表示赞同！
斯坦福的课程看起来很有深度，有机会的话一定要参加。
有20位网友表示赞同！
最近研究 Stanford 的机器学习研究院
有18位网友表示赞同！
想学好机器学习，应该去Stanford学习吧？
有17位网友表示赞同！
斯坦福一直都是人工智能界的顶尖大学。
有15位网友表示赞同！
羡慕那些能上斯坦福学习的人！
有20位网友表示赞同！
想知道 Stanford 的机器学习课程讲的是哪些内容？
有9位网友表示赞同！
对斯坦福的机器学习研究很感兴趣，可以推荐一些资料吗？
有12位网友表示赞同！
斯坦福教授的研究成果真是令人敬畏。
有18位网友表示赞同！
Stanford 是人工智能人才的摇篮，很多顶尖公司都从这里挖人。
有7位网友表示赞同！
斯坦福的机器学习实验室看起来超级酷炫！
有7位网友表示赞同！
我对 Stanford 的机器学习课程感到十分期待，计划报名参加！
有7位网友表示赞同！
希望未来能够有机会去 Stanford 学习。
有8位网友表示赞同！
Stanford 的机器学习研究成果对发展人工智能具有重要意义。
有11位网友表示赞同！
斯坦福的课程费用很高吗？值得花这么多的钱学习吗？
有13位网友表示赞同！
Stanford 在机器学习方面的实力不容小觑， 让人很期待他们的未来成就！
有20位网友表示赞同！
Stanford 的机器学习研究成果一定会改变我们的生活！
有14位网友表示赞同！
我觉得想要了解 Stanford 的机器学习，可以阅读他们的论文和博客文章。
有5位网友表示赞同！