RVQ
참고 [[Vector Quantization]] [[Hidden Singer]]로부터 설명을 가져왔습니다. [[RVQ]] 먼저, 들어온 latent vector에 대하여 첫 번째 Vector Quantizer가 [[Vector Quantization]]을 수행. 그 이후, 두 번째 Vector Quantizer 역시 동일한 latent vector에 대하여 [[Vector Quantizati...
Quick context
First, this page captures one concrete build-log step, research note, or project lesson from Jeffrey Kim.
Next, use the tags, related reading, and home archive to move from this note to deeper material in the same topic cluster.
Finally, follow the RSS feed if you want the next experiment, retrospective, or paper review as soon as it ships.
Archive note
First, this imported note is intentionally compact. It acts as a pointer into the wider SecondBrain archive rather than a long-form standalone article.
Next, use the tags, related reading, and project sections to move toward deeper context. Those paths usually lead to fuller write-ups, experiments, or project retrospectives.
Finally, revisit this page together with the home archive and RSS feed when you want the follow-up posts that expand the same topic.
-참고 [[Vector Quantization]]
[[Hidden Singer]]로부터 설명을 가져왔습니다.
[[RVQ]]
여기서 잠깐! Codebook이 뭐였는지 짚고 넘어가자. [[Vector Quantization]] 참고.
VQ를 하면 어떠한 Cluster로 각 벡터들이 바뀌게 되는데, 각각의 Cluster들을 **"Codeword"**, 해당 codeword들이 모인 집합을 **"Codebook"**이라고 부른다.먼저, 들어온 latent vector에 대하여 첫 번째 Vector Quantizer가 [[Vector Quantization]]을 수행. 그 이후, 두 번째 Vector Quantizer 역시 동일한 latent vector에 대하여 [[Vector Quantization]]을 수행. 이것을 번 반복하고, 각각에서 나온 quantized vector를 모두 더해주면 최종 vector가 되는 방식!