Hoyeon’s Blog - 최대가능도 추정법(MLE)

최대가능도 추정법(MLE)에 대한 정리

Likelyhood(가능도)

모수의 가능도(Likelyhood)는 어떤 모숫값(parameter)\(\theta\)을 가정했을때,데이터(샘플,실현)가 가능성(확률,확률밀도)을 나타냅니다. 일반적으로 \(\theta\)에 따라서 변하는 함수이기에 가능도함수라고도 합니다.수학적으로 표현하면 다음과 같습니다.

\[\begin{aligned} &\text{Suppose}\,(x_1,x_2,...,x_n)\ \text{are a realization of a random sample }(X_1,X_2,\dots,X_n) \\ &\text{where,}\, X_1 \sim f_1(x;\theta),X_2 \sim f_2(x;\theta),\dots,X_n \sim f_n(x;\theta) \\\\ &\large{\text{likelyhood function}}\,L(\theta) \\ \end{aligned}\] \[\begin{aligned} L(\theta|X_1 = x_1,X_2 = x_2,\dots,X_n = x_n) &= p_{X_1,X_2,\dots,X_n}(x_1,x_2,\dots,x_n|\theta) \\ &= \overset{i=n}{\underset{i=1}{\large{\Pi}}}f_i(x_i) \end{aligned}\]

Note

주어진 샘플에 대한 확률(또는 확률밀도)은 \(Y_1 = y_1,Y_2 = y_2 \dots Y_n = y_n\)인 사건이 동시에 일어날 결합확률(확률밀도)입니다. 그러므로 가능도 = 동시에 뽑일 가능성(확률,확률밀도) = 결합확률이라고 할 수 있습니다.

MLE(최대가능도 추정법)

최대가능도추정법(MLE)는 확률분포의 모수를 추정하는 점추정방법 중 하나로 가능도를 가장크게하는 모숫값을 모수에 대한 추정값 하는 방법입니다.다음과 같습니다.

\[\begin{aligned} \hat{\theta}_{MLE} &= \underset{\theta}{\text{argmax}}\,L(\theta|X_1 = x_1,X_2 = x_2 \dots X_n = x_n) \\ &= \underset{\theta}{\text{argmax}},p_{X_1,X_2,\dots,X_n}(x_1,x_2,\dots,x_n|\theta) \\ &= \underset{\theta}{\text{argmax}}\,\overset{i=n}{\underset{i=1}{\large{\Pi}}}f_i(x_i) \end{aligned}\]

LL

LL은 log likelyhood의 약자로 likelyhood에 log를 취해준 값입니다. 로그함수를 취해도 함수가 MLE의 계산결과(가능도가 최대인 모수에 대한 추정값)의 위치가 변하지 않고 계산을 곱셈을 더하기로 바꿔서 계산하기에 더 편리하기 때문에 LL을 사용합니다.
\[LL = \text{ln }L(\theta|X_1 = x_1,X_2 = x_2 \dots X_n = x_n)\]

NLL

NLL은 LL에 -(negative)를 곱해준 값입니다. 함수가 최대인 지점을 찾는 문제를 최소인 지점을 찾는 문제로 바꿀 수 있습니다.(주로 최적화에서 이런 방식을 많이 사용합니다.) \[NLL = -\text{ln }L(\theta|X_1 = x_1,X_2 = x_2 \dots X_n = x_n)\]

정리 - MLE

MLE를 통해서 모수에 대한 추정량을 구하면 다음과 같습니다.

\[\begin{aligned} \hat{\theta}_{MLE} &= \underset{\theta}{\text{argmax}}\,L(\theta|X_1 = x_1,X_2 = x_2 \dots X_n = x_n)\\ &= \underset{\theta}{\text{argmax}},p_{X_1,X_2,\dots,X_n}(x_1,x_2,\dots,x_n|\theta) \\ &= \underset{\theta}{argmin}\,-\text{ln}\,L(\theta|X_1=x_1,X_2=x_2\dots X_n=x_n) \end{aligned}\]

링크1(random sample vs random variable)
링크2(추정,추정량,추정값)
링크3(mle) 링크4(mle)