24秋机器学习笔记-02-逻辑回归
本文主要涉及逻辑回归（Logistic Regression）及相关拓展。 一键回城。 问题描述 虽然叫“回归”，但是实际是用于处理二分类（binary classification）问题的。记号约定与之前类似：x∈Rdx \in \mathbb{R}^dx∈Rd，但是 y∈{0,1}y \in \{0,1\}y∈{0,1}，f(x)=wTx+bf(x) = w^Tx + bf(x)=wTx+b 不变。 不过，如果我们需要 hard prediction（即 yi=0y_i = 0yi=0 或 111），怎么从这个 f(x)∈Rf(x) \in \mathbb{R}f(x)∈R 得到？更进一步地，如果我们需要的是一个所谓的 yi=1y_i = 1yi=1 的概率（soft prediction）呢？ 或者说，可以这样描述我们的问题： P(y=1∣x)∈[0,1]P(y = 1 \mid x) \in [0,1]P(y=1∣x)∈[0,1] 是有界的，但 f(x)∈Rf(x) \in \mathbb{R}f(x)∈R 无界； 并没有一个针对 P(y=1∣x)P(y =...
24秋机器学习笔记-01-线性回归
本文主要涉及线性回归（Linear Regression） 一键回城。 基本定义 记号约定： D={(xi,yi)}D = \{(x_i,y_i)\}D={(xi,yi)} 为训练集，其中 xi∈Rd,y∈Rx_i \in \mathbb{R}^d,y\in \mathbb{R}xi∈Rd,y∈R； 线性模型：f(x)=wTx+bf(x) = w^Tx + bf(x)=wTx+b，其中 w∈Rd,b∈Rw\in \mathbb{R}^d,b \in Rw∈Rd,b∈R，分别称为权重（weight）和偏置（bias）。 www 本质上是在对 xxx 的每一维进行加权求和。 模型训练的原则：经验风险最小化（ERM, empirical risk minimization） 在做的事情就是最小化训练数据集上的损失。 定义损失函数（loss function）L(w,b)L(w,b)L(w,b)，在线性回归中我们使用平方损失（squared loss），表达式为： minw,b1n∑i∈[n](yi−f(xi))2\min_{w,b} \frac{1}{n}\sum_{...