Maximum Likelihood
어떤 평균값을 갖는 확률밀도로 부터 이 샘플들이 추출되었을까? https://angeloyeo.github.io/2020/07/17/MLE.html 이 샘플링 된 값들은 어떤 확률 분포에서 추출되었을 가능성이 높을까? Likelihood Function (수학적 표현) $$ P(x|\theta) = \prod^n {k=1} P(x k|\theta) $$ 여기서 $x$는 관찰값, $\theta...
Quick context
First, this page captures one concrete build-log step, research note, or project lesson from Jeffrey Kim.
Next, use the tags, related reading, and home archive to move from this note to deeper material in the same topic cluster.
Finally, follow the RSS feed if you want the next experiment, retrospective, or paper review as soon as it ships.
Archive note
First, this imported note is intentionally compact. It acts as a pointer into the wider SecondBrain archive rather than a long-form standalone article.
Next, use the tags, related reading, and project sections to move toward deeper context. Those paths usually lead to fuller write-ups, experiments, or project retrospectives.
Finally, revisit this page together with the home archive and RSS feed when you want the follow-up posts that expand the same topic.
어떤 평균값을 갖는 확률밀도로 부터 이 샘플들이 추출되었을까?
https://angeloyeo.github.io/2020/07/17/MLE.html
이 샘플링 된 값들은 어떤 확률 분포에서 추출되었을 가능성이 높을까?
Likelihood Function (수학적 표현)
여기서 는 관찰값, 는 어떠한 확률 분포 (혹은 모델?)이라고 생각하면 된다. 그니깐 주어진 에 대해서, 실제로 관찰된 의 관찰값들이 과연 라는 확률분포에서 나왔을 가능성을 계산하는 것이다.
Log-Likelihood
주로 로그를 씌워서 likelihood를 표현한다.
주목할 점은, log를 씌움으로써 가 형태가 된 것이다. 훨씬 연산하기 쉬워진다는 것이다.
Negative Log-likelihodd
위의 log likelihood에 음수를 취한 값. 그러면 최대화가 아닌 최소화 문제가 되기 때문에, loss에서 이 negative log likelihood를 최소화하는 방향으로 학습이 진행된다.