dw hw1

线性回归

线性回归问题，不专业的说，就是在找一条满足一定条件的直线，这条线大概长这样

a1x1+a2x2+...+anxn=ya_1 x_1+a_2 x_2 +...+a_nx_n=y a1​x1​+a2​x2​+...+an​xn​=y

我们要做的就是去求参数a1,a2,...,ana_1,a_2,...,an a1​,a2​,...,an

how?

随机初始化的参数，然后把x1,x2,...,xnx_1,x_2,...,x_n x1​,x2​,...,xn​代进去

选择均方误差损失函数

l(i)(a1,a2..,an)=12(y2^−y2)2l^{(i)}(a_1,a_2..,a_n)=\frac{1}{2}(\hat{y^2}-y^2)^2 l(i)(a1​,a2​..,an​)=21​(y2^​−y2)2

使用梯度下降法求解

梯度下降就是两步走

1.求（偏）导

∂la1=∂l∂y^∂y^∂a1=x1(y^−y),∂la2=x2(y^−y),...\frac{\partial{l}}{a_1}=\frac{\partial{l}}{\hat{\partial{y}}}\frac{\partial{\hat{y}}}{\partial{a_1}}= x_1(\hat{y}-y),\frac{\partial{l}}{a_2}=x_2(\hat{y}-y),... a1​∂l​=∂y^​∂l​∂a1​∂y^​​=x1​(y^​−y),a2​∂l​=x2​(y^​−y),...

2.更新参数

a1=a1−r∂la1=a1−x1y^)a_1=a_1-r\frac{\partial{l}}{a_1}=a_1-x_1\hat{y}) a1​=a1​−ra1​∂l​=a1​−x1​y^​)

其中，r是learning rate

learning rate是为了防止更新过猛…,一般是一个很小的值

如果觉得《dw hw1》对你有帮助，请点赞、收藏，并留下你的观点哦！