对数损失函数（逻辑回归）


平方损失函数（最小二乘法）

假设样本和噪声都服从高斯分布

$$L(Y, f(X)) = \sum _{i=1}^{n}(Y - f(X))^2$$

指数损失函数（Adaboost）

L(y, f(x)) = \frac{1}{n}\sum_{i=1}^{n}\exp[-y_if(x_i)]

Hinge损失函数（SVM）


0-1损失函数

L(Y, f(X)) = \left\{\begin{matrix}1 ,& Y \neq f(X)\\ 0 ,& y = f(X) \end{matrix}\right.

绝对值损失函数


huber loss

image.png

https://en.wikipedia.org/wiki/Huber_loss



参考：

http://www.cnblogs.com/luxiao/p/5783017.html

http://blog.csdn.net/google19890102/article/details/50522945

http://blog.csdn.net/shenxiaoming77/article/details/51614601

https://jmetzen.github.io/2015-01-29/ml_advice.html