LMS 알고리즘

출처 : 네이버 지식인.

 

 LMS(Least Mean Square)

 

이 방법은 많은 데이터가 주어졌을때 그 데이터들이 이루는 그래프를

 

산출해내기 위하여 사용하는 방법들 중 하나입니다.

 

즉 2차원 데이터들이 다음과 같이 주어졌다고 하면

 

(1,2) (2,5) (3,8) (4,10) (5,14)

 

이들이 이루는 1차원 직선을 찾고 싶다면 다음과 같이 가정합니다.

 

y=ax

 

이 그래프에 위의 5개의 데이터를 대입하여 a를 찾아내고

 

그 오차가 가장 적은 a를 선택하는 방법이 LMS입니다.,

이제, 예를 들어 보겠습니다.

출처: WiKi 

위 그래프는 위키 백과에서 회귀 분석을 설명할때 사용된 그림입니다.

파란색의 점들이 각각의 샘플들이라면, 이들의 경향성을 따라서 직선을 그은것이 바로 위에서 설명한 LMS 수식으로 표현것입니다. 즉, 아주 간단한 근사화 방법으로써 실제로 많이 쓰이지만 그렇게 정확도가 높지는 않습니다.

이러한 데이터 혹은 샘플 혹은 어떠한 분포도를 하나의 수식으로 표현하기 위해서, 이를 모델화 한다고 합니다. 모델은 우리가 원하는 물리적인 현상을 잘 반영해야 합니다. 하지만 분명 오차가 발생하기 때문에, 이를 최소자승법을 통하여 원하는 결과값이 나오도록 하는 오류를 최소화 하는 변수값을 알아내는것이 핵심입니다. 

이를 식으로 다시 이야기 해보겠습니다.

참조 : The Method of Least Squares of Steven J. Miller∗

http://web.williams.edu/Mathematics/sjmiller/public_html/BrownClasses/54/handouts/MethodLeastSquares.pdf

앞서 보여드린 그림에서 각 점들은 x,y축의 좌표값을 가진 데이터라고 가정한다면, (x1,y1) ,....(xn,yn)으로 표현이 가능합니다. 그리고 이 값들의 분포를 나타내기 위한 직선의 방정식으로 y=ax + b 을 사용할수 있습니다.

이때의 a,b는 x,y의 경향성을 가장 잘 표현할수있는 그래서 오류를 최소화하는 어떤 값이라 할수있습니다.

그리고 이를 효과적으로 계산하기위해서는 몇가지 방법들이 존재합니다.

http://darkpgmr.tistory.com/56

위의 블로그에 가사면 좀더 자세히 계산법, 적용의 예, 한계 까지 모두 포스팅이 되어있으므로 생략하겠습니다.