加權最小二乘、迭代最小二乘、抗差最小二乘、穩健最小二乘
他們細節的區別我就不過分研究了,不過這些最小二乘似乎表達的是一個意思:
構造權重函數,給不同測量值不同的權重,偏差大的值權重小,偏差小的權重大,採用迭代最小二乘的方式最優化目標函數。
下面是matlab中robustfit函數權重函數,可以參考一下:
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
% https://www.cnblogs.com/tiandsp/p/10330393.html
% 圖中一共三個曲面,最下層是原模型,
% 最上層是普通最小二乘擬合模型,
% 中間層是加權最小二乘擬合模型。
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
clear all;
close all;
clc;
a=2;b=2;c=-3;d=1;e=2;f=30; %係數
n=1:0.2:20;
x=repmat(n,96,1);
y=repmat(n',1,96);
z=a*x.^2+b*y.^2+c*x.*y+d*x+e*y +f; %原始模型
surf(x,y,z)
N=100;
ind=int8(rand(N,2)*95+1);
X=x(sub2ind(size(x),ind(:,1),ind(:,2)));
Y=y(sub2ind(size(y),ind(:,1),ind(:,2)));
Z=z(sub2ind(size(z),ind(:,1),ind(:,2)))+rand(N,1)*20; %生成待擬合點,加個噪聲
Z(1:10)=Z(1:10)+400; %加入離羣點
hold on;
plot3(X,Y,Z,'o');
XX=[X.^2 Y.^2 X.*Y X Y ones(100,1)];
YY=Z;
C=inv(XX'*XX)*XX'*YY; %最小二乘
z=C(1)*x.^2+C(2)*y.^2+C(3)*x.*y+C(4)*x+C(5)*y +C(6); %擬合結果
Cm=C;
mesh(x,y,z)
z=C(1)*X.^2+C(2)*Y.^2+C(3)*X.*Y+C(4)*X+C(5)*Y +C(6);
C0=C;
while 1
r = z-Z;
w = tanh(r)./r; %權重函數
W=diag(w);
C=inv(XX'*W*XX)*XX'*W*YY; %加權最小二乘
z=C(1)*X.^2+C(2)*Y.^2+C(3)*X.*Y+C(4)*X+C(5)*Y +C(6); %擬合結果
if norm(C-C0)<1e-10
break;
end
C0=C;
end
z=C(1)*x.^2+C(2)*y.^2+C(3)*x.*y+C(4)*x+C(5)*y +C(6); %擬合結果
mesh(x,y,z)