VQ regularization
참고 : [[Regularization, Normalization, Standardization, Generalization]] 디코더에서 [[Vector Quantization]] Layer를 사용한다 = [[Vector Quantization]]을 학습하고 온다면 왜 Regularization에 사용되는지 바로 직감할 수 있다. 완전 여러가지 feature vector인 것들이 하나의 대...
Quick context
First, this page captures one concrete build-log step, research note, or project lesson from Jeffrey Kim.
Next, use the tags, related reading, and home archive to move from this note to deeper material in the same topic cluster.
Finally, follow the RSS feed if you want the next experiment, retrospective, or paper review as soon as it ships.
Archive note
First, this imported note is intentionally compact. It acts as a pointer into the wider SecondBrain archive rather than a long-form standalone article.
Next, use the tags, related reading, and project sections to move toward deeper context. Those paths usually lead to fuller write-ups, experiments, or project retrospectives.
Finally, revisit this page together with the home archive and RSS feed when you want the follow-up posts that expand the same topic.
참고 : [[Regularization, Normalization, Standardization, Generalization]]
디코더에서 [[Vector Quantization]] Layer를 사용한다 => [[Vector Quantization]]을 학습하고 온다면 왜 Regularization에 사용되는지 바로 직감할 수 있다.
완전 여러가지 feature vector인 것들이 하나의 대표 vector들로 합쳐진다. 굉장히 다양하고 detail한 feature vector들이 단순화된 벡터들로 채워지기에, 모델이 너무 디테일한 부분들에 집착하지 않고 오버피팅을 방지할 수 있는 Regularization 역할을 한다고 이해할 수 있다.