<- Back to projects and build log

Reparameterization Trick

[[VAE]]에서 이어지는 내용.. VAE의 Regularization Error는 학습 중에 Backpropagation이 불가능하다. (왜냐하면 $z$는 랜덤변수라 $p(z)$는 Backpropagation이 불가능함) 그래서 이 트릭을 사용함. 이러면 학습 가능

ai-ml / vae / reparameterization-trick / variational-inference
Reparameterization Trick 글 대표 일러스트
Jeffrey Kim의 SecondBrain 빌드 로그 아티클 커버

Quick context

First, this page captures one concrete build-log step, research note, or project lesson from Jeffrey Kim.

Next, use the tags, related reading, and home archive to move from this note to deeper material in the same topic cluster.

Finally, follow the RSS feed if you want the next experiment, retrospective, or paper review as soon as it ships.

Archive note

First, this imported note is intentionally compact. It acts as a pointer into the wider SecondBrain archive rather than a long-form standalone article.

Next, use the tags, related reading, and project sections to move toward deeper context. Those paths usually lead to fuller write-ups, experiments, or project retrospectives.

Finally, revisit this page together with the home archive and RSS feed when you want the follow-up posts that expand the same topic.

[[VAE]]에서 이어지는 내용.. VAE의 Regularization Error는 학습 중에 Backpropagation이 불가능하다. (왜냐하면 zz는 랜덤변수라 p(z)p(z)는 Backpropagation이 불가능함)

그래서 이 트릭을 사용함.

Pasted%20image%2020250317142554

이러면 학습 가능

Related reading

같이 읽으면 좋은 프로젝트 로그와 연구 노트를 이어서 탐색해보세요.

  • VAE 설명 잘 해놓은 블로그 Background [[Auto Encoder]] [[Maximum Likelihood]] 주목할 점 1. 왜 VAE는 Auto Encoder와 비슷한 구조가 되었을까? (탄생 과정은 관련이...
  • Variational Inference [[VAE]]에서 이어짐... 여기서 True Posterior 은 이상적인 샘플링 함수 이다. 어떻게 이상적이냐면, 표본 $x$를 이미 보여준 샘플링 함수인 것이다. 즉, true posterior은 $p(z|x)...
  • KL Regularization 참고 : [[Regularization, Normalization, Standardization, Generalization]] [[VAE]]의 Regularization Error 라고 보면 된다. $$ L i(\...
  • A Self-Supervised Reinforcement Learning Approach for Fine-Tuning Large Language Models Using Cross-Attention Signals 원문 들어가며 2015년 개봉한 어벤저스 : 에이지 오브 울트론의 한 장면이다. 토니 스타크에 의해 만들어진 초지능 자비스와 그것을 뛰어 넘는 울트론이 만들어진 장면이다. 10년 전, 공상 과학 영화의 일부였던 자비...