
《机器学习-周志华》笔记(四)
聚类 性能度量 or 有效性指标 两样本在同一个参考模型类中 两样本不在同一个参考模型中 两样本在同一个聚类类中 a=|SS| c=|DS| 两样本步子同一个聚类类中 b=|SD| d=|DD| avg(C) 样本间平均…
Simple And Naive
聚类 性能度量 or 有效性指标 两样本在同一个参考模型类中 两样本不在同一个参考模型中 两样本在同一个聚类类中 a=|SS| c=|DS| 两样本步子同一个聚类类中 b=|SD| d=|DD| avg(C) 样本间平均…
贝叶斯方法 贝叶斯决策论 基于概率和误判损失来选择最优标记 当属性是离散的: 类的先验概率 = 该类样本数量 / 样本总数 极大似然估计 通过极大似然估计得到的正态分布均值=样本均值,方差=(x-\\overline{u…
神经网络 包含隐层的网络即可称为多层神经网络 误差逆传播算法(BP) 对网络在数据集上的均方误差对各层权值做偏导,即可算出各个参数的梯度下降更新值 学习率控制了学习过程中每一轮迭代的更新步长 BP算法的目标是最小化训练级…
基本 奥卡姆剃刀原则 若有多个假设与观察一致,则选最简单的那个 “没有免费的午餐”定理(NoFreeLunch Theorem) 在所有问题出现机会相同时,所有算法期望性能相同 评估方法 留出法 将数据集划分为两个互斥的…
The spike-triggered average (STA) is a tool for characterizing the response properties of a neuron using the s…
牛顿方法中,\\theta的调整方程为: 其中的意义为 函数在x点的切线与x轴的交点x值与x的差值 这样每一次迭代就可以让x值更接近于使时的x值。 可见在迭代过程中,每一个step的大小都不一样,是越来越小得这跟梯度下降…
逻辑回归一般用于处理不连续的二分分类问题。与线性回归不同,逻辑回归需要做出的预测往往是包含在[0,1]之间的,而一般的线性回归对于此类问题一般没有较好的表现。 在逻辑回归中,我们引入逻辑函数(logistic funct…
在线性回归中,用于衡量准确度的Cost函数为: 以下为该函数的推导过程: 在线性回归中我们认为任意数据集都可以通过一个线性函数来拟合: 其中最后一项与x本身无关,因此将作为一个参数矩阵,可以得到: 其中为误差项,即不在特…
首先我们有: 为矩阵的trace ,为矩阵对角线上(ii对)所有元素和 其中A为一个nxn的矩阵 trace有如下性质: 有如下性质: ——————…
AdaBoost是通过训练多个弱分类器(如决策树)根据其预测的准确度来决定其权值,最终使用这些分类器的投票来最终决定测试数据的类 对于每个分类器,他的准确率决定了他的权值: 权值需要标准化: 而每次训练分类器将会对训练数…