机器学习任务的一般步骤
１．确定特征
– 可能是最重要的步骤! （收集训练数据）
２．确定模型
– 目标函数/决策边界形状
３．模型训练：根据训练数据估计模型参数
– 优化计算
４．模型评估：在校验集上评估模型预测性能
５．模型应用/预测
模型
非线性模型
目标函数
损失函数—回归
损失函数—分类
正则项
常用正则函数
常见线性模型的损失和正则项组合
| L2损失 | L1损失 | Huber | Logistic损失 | 合叶损失 | ε-insentive损失 | |
|---|---|---|---|---|---|---|
| L2正则 | 岭回归 | L2正则 Logistic回归 | SVM | SVR | ||
| L1正则 | LASSO | L1正则 Logistic回归 | ||||
| L2+L1正则 | Elastic net |