https://jeffrey-blog.nomadamas.org/ Jeffrey Kim의 AutoRAG, RAG 연구, AI 에이전트, 오픈소스 실전 기록을 모은 빌드 로그입니다. en-us Mon, 30 Mar 2026 00:00:00 GMT https://jeffrey-blog.nomadamas.org/posts/misc/mz-open-source-developer-agent-native-challenge/ https://jeffrey-blog.nomadamas.org/posts/misc/mz-open-source-developer-agent-native-challenge/ Mon, 30 Mar 2026 00:00:00 GMT MZ 오픈소스 개발자의 Agent Native 도전기 — agent-native, open-source, developer-journey에 관한 Jeffrey Kim의 빌드 로그 글입니다. https://jeffrey-blog.nomadamas.org/posts/my-path/2%EC%9B%94-%EA%B2%B0%EC%82%B0--%ED%81%B4%EB%A1%9C%EB%93%9C%EB%A7%8C-2200%EB%8B%AC%EB%9F%AC-30%EC%96%B5-%ED%86%A0%ED%81%B0%EC%9C%BC%EB%A1%9C-12%EA%B0%9C-%EC%98%A4%ED%94%88%EC%86%8C%EC%8A%A4-%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8/ https://jeffrey-blog.nomadamas.org/posts/my-path/2%EC%9B%94-%EA%B2%B0%EC%82%B0--%ED%81%B4%EB%A1%9C%EB%93%9C%EB%A7%8C-2200%EB%8B%AC%EB%9F%AC-30%EC%96%B5-%ED%86%A0%ED%81%B0%EC%9C%BC%EB%A1%9C-12%EA%B0%9C-%EC%98%A4%ED%94%88%EC%86%8C%EC%8A%A4-%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8/ Tue, 03 Mar 2026 02:52:00 GMT 한 달 간 Claude API로 30억 토큰을 사용해 12개 오픈소스 프로젝트를 만들거나 시작한 회고록 https://jeffrey-blog.nomadamas.org/posts/misc/%EA%B9%8C%EB%A8%B9%EA%B3%A0-%EC%9E%88%EC%97%88%EB%8D%98-%EB%82%B4-%EC%98%A4%ED%94%88%EC%86%8C%EC%8A%A4-%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8%EB%A5%BC-%EB%93%A4%EC%B6%94%EC%96%B4%EB%B3%B4%EB%8B%A4/ https://jeffrey-blog.nomadamas.org/posts/misc/%EA%B9%8C%EB%A8%B9%EA%B3%A0-%EC%9E%88%EC%97%88%EB%8D%98-%EB%82%B4-%EC%98%A4%ED%94%88%EC%86%8C%EC%8A%A4-%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8%EB%A5%BC-%EB%93%A4%EC%B6%94%EC%96%B4%EB%B3%B4%EB%8B%A4/ Sun, 22 Feb 2026 00:00:00 GMT 마치 갤러리에 오래된 사진을 정리하듯이, 깃허브 레포지토리들을 정리해야 할 일이 있었다. 그 속에서 이런 레포를 찾았다. hwp converter api라는 레포지토리이다. 내가 이 레포를 찾고 놀란 점은 비단 내가 직접 만들고 게시한 프로젝트를 아주 완벽하게 까먹고 있었다는 것과 더불어, 그 레포에 11개의 깃허브 스타가 달려있었다는 점이다. AutoRAG를 통해 4천개가 넘는 깃허브 스타를 받아본 적이 있는 나이지만, 이 11개의 스타는 보다 특별하게 느껴졌... https://jeffrey-blog.nomadamas.org/posts/migrated/inbox/jeffreys-blog/ https://jeffrey-blog.nomadamas.org/posts/migrated/inbox/jeffreys-blog/ Sun, 22 Feb 2026 00:00:00 GMT 안녕하세요! 김동규라고 합니다. AI와 오픈소스를 좋아합니다. 옵시디언을 통하여 지식을 관리하고, 경험을 공유하고자 합니다. https://jeffrey-blog.nomadamas.org/posts/migrated/papers/a-self-supervised-reinforcement-learning-approach-for-fine-tuning-large-language-models-using-cross-attention-signals/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/a-self-supervised-reinforcement-learning-approach-for-fine-tuning-large-language-models-using-cross-attention-signals/ Sun, 22 Feb 2026 00:00:00 GMT 원문 들어가며 2015년 개봉한 어벤저스 : 에이지 오브 울트론의 한 장면이다. 토니 스타크에 의해 만들어진 초지능 자비스와 그것을 뛰어 넘는 울트론이 만들어진 장면이다. 10년 전, 공상 과학 영화의 일부였던 자비스는 어느덧 chatGPT의 형태로, 혹은 수많은 LLM과 에이전트의 형태로 우리 곁에 성큼 다가왔다. 미용실에 전화를 걸어 커피를 예약하고, 고객센터에 전화를 걸어 나 대신 대기하게 할수도 있다. 아직 자동으로 아이언맨 슈트를 입혀주고 미사일을 발사... https://jeffrey-blog.nomadamas.org/posts/migrated/papers/deep-think-with-confidence/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/deep-think-with-confidence/ Sun, 22 Feb 2026 00:00:00 GMT LLM은 뭐? 자신감 논문 Fu & Zhao et al., Aug 21 2025, Meta AI & UCSD 요약 test time scaling에 따라서 여러번 돌리면 성능은 올라갔는데, 불안정하고 컴퓨팅 자원도 많이 소모됨. 논문은 reasoning 중 모델의 자신감 을 측정해서 각각 reasoning path를 필터링함. 이 자신감 측정기 를 이용해서 모델의 성능은 올리고, 생성하는 토큰의 수는 훨씬 줄어들게 함. 기존 방법 : self consistenc... https://jeffrey-blog.nomadamas.org/posts/migrated/papers/diffusion-model-ddpm/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/diffusion-model-ddpm/ Sun, 22 Feb 2026 00:00:00 GMT 참고 블로그 : 링크 배경지식 : [[VAE]] 원본 논문 : 논문 논문의 의의 논문은 매우 복잡하지만 내가 파악한 의의는 기존의 DM에서의 Log likelihood 형태의 Loss를 MSE 기반의 Loss 형태로 표현해 학습을 쉽게 함! 이다. Diffusion Model의 기본 구조 Forward Process 원본 데이터 $X 0$에서 가우시안 노이즈를 조금씩 조금씩 추가해서 최종적으로 완전히 가우시안 노이즈가 된 $x T$를 만듬. ($T$만큼의 ste... https://jeffrey-blog.nomadamas.org/posts/migrated/papers/hidden-singer/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/hidden-singer/ Sun, 22 Feb 2026 00:00:00 GMT 배경지식 [[Diffusion Model (DDPM)]] [[Latent Diffusion Model (LDM)]] 논문 논문의 핵심 1. Hidden Singer : 오디오를 압축된 representation으로 표현하는 오토인코더 + latent 공간에서의 Diffusion Model ([[Latent Diffusion Model (LDM)]]) 1. 오디오를 작은 차원의 latent로 압축하는 Audio [[Auto Encoder]] 2. Latent의 높... https://jeffrey-blog.nomadamas.org/posts/migrated/papers/hubert/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/hubert/ Sun, 22 Feb 2026 00:00:00 GMT HuBERT의 목적 HuBERT는 마치 자연어에서의 BERT와 같은 인코더를 오디오 에서 만들기 위함이다. 다른 말로 말하자면, 오디오를 어떠한 의미있는 representation으로 만들고자 하는 것이다. 이러한 의미 있는 representation을 만들 수 있다면, 그것을 어떠한 downstream task에 쓸 수 있을 것이다. 마치 BERT처럼 말이다! 예를 들어서, HuBERT를 거친 다음 MLP 레이어를 붙여서 classification에 쓸 수도... https://jeffrey-blog.nomadamas.org/posts/migrated/papers/lara---long-context-llms-vs-rag/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/lara---long-context-llms-vs-rag/ Sun, 22 Feb 2026 00:00:00 GMT LARA Benchmarking Retrieval Augmented Generation and Long Context LLMs No Silver Bullet for LC or RAG Routing Link ICML 2025 Poster Alibaba group 요약 Long context LLM의 등장... 과연 RAG는 유효한 전략인가? LARA Long context LLM과 RAG 비교에 적합한 벤치마크 4개의 실용적인 QA 카테고리 3가지 종류의 긴 텍스... https://jeffrey-blog.nomadamas.org/posts/migrated/papers/latent-diffusion-model-ldm/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/latent-diffusion-model-ldm/ Sun, 22 Feb 2026 00:00:00 GMT 논문 [[Diffusion Model (DDPM)]]을 먼저 습득하세요! Latent에 Diffusion을 적용한다 (원래는 픽셀에 직접 적용했었다) 논문의 의의 (Contributions) 1. pixel level에 diffusion을 적용하는 것이 아니라 압축된 latent에 diffusion을 적용해서 더 고차원의 데이터를 자세하고 정확하게 생성할 수 있다. 2. 기존 pixel level diffusion에 비해 컴퓨팅 자원을 효율적으로 사용할 수 있다... https://jeffrey-blog.nomadamas.org/posts/migrated/papers/measuring-and-enhancing-trustworthiness-of-llms-in-rag-through-grounded-attributions-and-learning-to-refuse/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/measuring-and-enhancing-trustworthiness-of-llms-in-rag-through-grounded-attributions-and-learning-to-refuse/ Sun, 22 Feb 2026 00:00:00 GMT ICLR 2025 Oral 논문 원문 들어가며 RAG를 만드는 분들은 하나같이 LLM 에 대한 걱정을 많이 할 것이다. 특히, 보안이 중요한 문서로 RAG 시스템을 구축할 때에는 오픈소스 모델을 사용할 수 밖에 없고, 만약 가용할 수 있는 GPU 자원이 제한되어 있다면 70B 정도의 중간 정도 크기의 모델도 활용하기 힘든 경우가 정말 부지기수이다. 문제는 7B, 13B같은 sLLM을 사용할 때에 발생하는데, LLM의 능력 때문에 RAG의 Retrieval 성능이... https://jeffrey-blog.nomadamas.org/posts/migrated/papers/memorag---%EA%B8%B0%EC%96%B5%ED%95%98%EB%8A%94-%EB%AA%A8%EB%8D%B8%EC%9D%84-%EB%A7%8C%EB%93%A4%EC%9E%90/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/memorag---%EA%B8%B0%EC%96%B5%ED%95%98%EB%8A%94-%EB%AA%A8%EB%8D%B8%EC%9D%84-%EB%A7%8C%EB%93%A4%EC%9E%90/ Sun, 22 Feb 2026 00:00:00 GMT 요약 인간은 공부를 어떻게 하는가? 교과서 등에 있는 내용을 학습하며 기억하고, 정확한 정보가 필요하다면 나중에 교과서를 찾아본다. 근데 RAG는? 공부는 안하고 매번 찾아본다. 공부를 안했으니 잘 찾을리가 없다! MemoRAG는 "기억하는 모델"을 학습시켜서 문서를 더 잘 찾고, 결국 대답을 더 잘하게끔 하는 구조를 제안한다. 왜 필요한가? (a)부터 보자. 평범한 RAG이다. 어떤 문서들이 있으면, 적당한 길이로 청킹을 수행하고, 그것을 임베딩 모델 등을 통... https://jeffrey-blog.nomadamas.org/posts/migrated/papers/multi-field-adaptive-retrieval/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/multi-field-adaptive-retrieval/ Sun, 22 Feb 2026 00:00:00 GMT ICLR 2025 Spotlight 논문 링크 논문을 보기 전에 = [[Hybrid RRF & Hybrid CC]], [[Hybrid Retrieval의 가중치. 아무 값이나 쓰고 있나요]] RAG 및 Information Retrieval에 대한 기본적인 이해가 필요합니다. (Dense Retrieval, Lexical Retrieval, [[BM25]] 및 임베딩 모델 등) 요약 1. RAG에서 사용되는 많은 문서들은 특정한 메타데이터 (제목, 요약, 저자,... https://jeffrey-blog.nomadamas.org/posts/migrated/papers/prefix-tuning%EA%B3%BC-prompt-tuning-%EA%B7%B8%EB%A6%AC%EA%B3%A0-%EC%9E%84%EB%B2%A0%EB%94%A9-%EB%AA%A8%EB%8D%B8%EA%B3%BC-%EB%A6%AC%EB%9E%AD%EC%BB%A4/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/prefix-tuning%EA%B3%BC-prompt-tuning-%EA%B7%B8%EB%A6%AC%EA%B3%A0-%EC%9E%84%EB%B2%A0%EB%94%A9-%EB%AA%A8%EB%8D%B8%EA%B3%BC-%EB%A6%AC%EB%9E%AD%EC%BB%A4/ Sun, 22 Feb 2026 00:00:00 GMT 요약 'Prefix tuning', 그리고 'soft prompt tuning'은 흔히 생각하는 프롬프트 엔지니어링과는 다르다. 흔히 생각하는 프롬프트 엔지니어링은 'hard prompt tuning'이라고 할 수 있는데, 말 그대로 프롬프트 글자 바꿔가면서 좋은 프롬프트를 찾는 것이다. 그것과는 다르게 어떠한 벡터 를 인풋 프롬프트 앞에 붙여서 LLM을 인퍼런스 하면 LLM의 파라미터 자체를 튜닝하지 않고서 특정 태스크의 성능을 올릴 수 있었다고 한다!!! 이... https://jeffrey-blog.nomadamas.org/posts/migrated/papers/priorgrad/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/priorgrad/ Sun, 22 Feb 2026 00:00:00 GMT 논문 ICLR 2022 Poster 배경 지식 [[Diffusion Model (DDPM)]] [[Latent Diffusion Model (LDM)]] 논문의 아이디어 원래 [[Diffusion Model (DDPM)]]에서 Forward Process를 진행할때, 결국 어떠한 형태의 노이즈가 되는지 기억나는가? 그렇다, $\mathcal{N}(0,I)$이다. 그리고 이 아무 노이즈에서 원래 이미지를 복원하는 Denoise 과정을 학습하는 것이다. 근데 [[L... https://jeffrey-blog.nomadamas.org/posts/migrated/papers/promptriever/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/promptriever/ Sun, 22 Feb 2026 00:00:00 GMT 논문 링크 ICLR 2025 Poster 논문의 아이디어 LLM은 여러 프롬프트를 이용하여 LLM에게 다양한 task를 시키거나 명령을 수행하게 할 수 있다. 프롬프트 엔지니어링이 가능하다는 것이 현대 LLM의 발전에 큰 영향을 미쳤다! 그런데, retriever에 프롬프트 엔지니어링을 하는 것은 불가능할까? 만약 retrieval을 수행할 때에 단순히 사용자의 질문 쿼리만 넣는 것이 아닌, 프롬프트 엔지니어링을 통해 특정 조건에 맞는 원하는 문서만 불러올 수... https://jeffrey-blog.nomadamas.org/posts/migrated/papers/rag-ddr/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/rag-ddr/ Sun, 22 Feb 2026 00:00:00 GMT 원문 ICLR 2025 Poster Why DDR? 기존에는 Retrieval 모듈과 실제로 답변을 생성하는 Generation 모듈을 따로 최적화한다. 그런데 Retrieval 모듈만 최적화하면, Generation 모듈 (LLM)에서 이미 내부적으로 학습한 지식 (parametric knowledge)와 Retrieval 모듈에서 온 지식끼리 충돌이 발생할 수 있다. 이렇게 충돌이 발생하면 더 좋은 답변으로 이어지기 어렵다. 더불어 Generation 모듈만... https://jeffrey-blog.nomadamas.org/posts/migrated/papers/repllama---fine-tuning-llama-for-multi-stage-text-retrieval/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/repllama---fine-tuning-llama-for-multi-stage-text-retrieval/ Sun, 22 Feb 2026 00:00:00 GMT 논문의 목적 임베딩 모델이나 리랭커를 LLM을 기반으로 훈련시킬 수는 없을까? LLM은 완전 똑똑한데, 이것을 리랭커나 임베딩 모델로서 사용하고 싶다! 어떻게 했을까? Retriever 이전에는 주로 [[BERT]]와 같은 Bi Encoder를 통해 임베딩을 생성했다. 특히, [CLS] 토큰의 representation을 임베딩 벡터로서 이용했다. 어라? 그런데 Bi Encoder랑은 다르게 LLM은 단방향이다. (ARM) 그러면 어떻게 임베딩을 생성할까? 그래... https://jeffrey-blog.nomadamas.org/posts/migrated/papers/scalable-and-effective-generative-information-retrieval/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/scalable-and-effective-generative-information-retrieval/ Sun, 22 Feb 2026 00:00:00 GMT Generative Retrieval, 들어는 보셨나요?? 논문 WWW 2024 Oral Generative Retrieval이란? Generative Retrieval의 기본적인 아이디어는 간단하다. 유저가 물어본 질문에 대하여 모델이 관련된 문서의 ID 를 생성해주면 안될까? 잠깐만... 문서의 ID를 생성한다고? 문서의 내용도 아니고, 임베딩 모델을 쓰는 것도 아니라 갑자기 ID를 내뱉는 모델은 사뭇 당황스럽게 다가오기 까지 한다. 그런데 한 번 직관적으로... https://jeffrey-blog.nomadamas.org/posts/migrated/papers/search-r1/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/search-r1/ Sun, 22 Feb 2026 00:00:00 GMT 제목 : 강화학습을 통해서 LLM이 reasoning을 하며 검색 엔진을 사용하도록 훈련하다. 논문 [[Search R1 발표 슬라이드]] 들어가며 최근 링크드인 등지에서 이러한 제목의 포스트들을 보았다. Beyond RAG 라던지 LLM Search's DeepSeek moment? 와 같은 자극적인 제목은 RAG를 공부해왔던 나의 관심을 끌기에 충분했다. 이 논문은 정말 RAG를 제치는 혁신적인 기술일까? 아니면 알맹이 없는 어그로일까? 논문의 내용을 정리해... https://jeffrey-blog.nomadamas.org/posts/migrated/papers/task-arithmetic-task-vector-model-merge/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/task-arithmetic-task-vector-model-merge/ Sun, 22 Feb 2026 00:00:00 GMT 왼발 손흥민 + 오른발 손흥민 = 양발 손흥민 좌타 레이예스 + 우타 레이예스 = 스위치 히터 레이예스 안전한 모델 + 성능 좋은 모델 = 성능 좋고 안전한 모델? Editing Models with Task Arithmetic 원 논문 ICLR 2023 Poster, University of Washington, MS research, Allen AI 요약 "모델의 파라미터끼리 마치 벡터 연산처럼 더하거나 빼서 능력을 더하거나 뺄 수 있다." 끝. 좀 더 자세... https://jeffrey-blog.nomadamas.org/posts/migrated/papers/%EC%9D%B4-moe-%EB%AA%A8%EB%8D%B8%EC%9D%80-%EB%AC%B4%EB%A3%8C%EB%A1%9C-%EC%9E%84%EB%B2%A0%EB%94%A9-%ED%95%B4%EC%A4%8D%EB%8B%88%EB%8B%A4/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/%EC%9D%B4-moe-%EB%AA%A8%EB%8D%B8%EC%9D%80-%EB%AC%B4%EB%A3%8C%EB%A1%9C-%EC%9E%84%EB%B2%A0%EB%94%A9-%ED%95%B4%EC%A4%8D%EB%8B%88%EB%8B%A4/ Sun, 22 Feb 2026 00:00:00 GMT ICLR 2025 Oral 논문 원문 원 제목 : Your Mixture of Experts LLM is Secretly an Embedding Model for free (당신의 MoE LLM은 몰래 무료로 임베딩 모델을 하고 있어요) 논문 요약 MoE 모델 내부에는 어떠한 expert (전문가)를 사용할 지를 결정하는 routing weight가 계산이 된다. 이 routing weight를 곧 임베딩 벡터 로 이용할 수 있다! 거기에 LLM의 마지막 hid... https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/auto-encoder/ https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/auto-encoder/ Sun, 22 Feb 2026 00:00:00 GMT 인풋을 latent로 보내는 인코더 latent에서 output을 다시 만드는 decoder input과 output이 비슷하도록 훈련됨 https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/bm25/ https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/bm25/ Sun, 22 Feb 2026 00:00:00 GMT 패스트캠퍼스 강의에 아주 자세히 설명해두었습니다. https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/dpo/ https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/dpo/ Sun, 22 Feb 2026 00:00:00 GMT Direct Preference Optimization 리워드 모델 없이 LLM policy model만을 학습시킨다. 어떻게 하냐면, 사람에게 두 답변 결과를 주고 선호되는 답변을 고르게 한다. 훈련되는 모델에게는 선호되는 답변을 생성하게, 선호되지 않은 답변은 덜 생성하게 loss를 계산하여 훈련한다. 수식 $$ \mathcal{L} {DPO}(\pi \theta;\pi {ref}) = \mathbb{E} {(x, y w, y l) \sim \mathcal{... https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/k-means/ https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/k-means/ Sun, 22 Feb 2026 00:00:00 GMT 구체적인 설명 : https://velog.io/@jhlee508/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D K %ED%8F%89%EA%B7%A0K Means %EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98 Unsupervised learning 중 하나로, Clustering의 대표적인 방법이다. K는 군집의 개수를 뜻한다. K개의 군집을 만들 것인데, 임의의 centroid를 정하고 그 주변의 가까운 데이터들을 군집에... https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/kl-regularization/ https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/kl-regularization/ Sun, 22 Feb 2026 00:00:00 GMT 참고 : [[Regularization, Normalization, Standardization, Generalization]] [[VAE]]의 Regularization Error 라고 보면 된다. $$ L i(\phi, \theta, x i) = \mathbb{E} {q \phi}(z|x i)[log(x i|g \theta(z))] + KL(q \phi(z|x i)||p(z)) $$ 해당 Loss에서 뒷항이 Regularization Error이다. 하나의... https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/markov-process/ https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/markov-process/ Sun, 22 Feb 2026 00:00:00 GMT 각 단계는 그 바로 이전 단계의 상태에서만 영향을 받는다. https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/maximum-likelihood/ https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/maximum-likelihood/ Sun, 22 Feb 2026 00:00:00 GMT 어떤 평균값을 갖는 확률밀도로 부터 이 샘플들이 추출되었을까? https://angeloyeo.github.io/2020/07/17/MLE.html 이 샘플링 된 값들은 어떤 확률 분포에서 추출되었을 가능성이 높을까? Likelihood Function (수학적 표현) $$ P(x|\theta) = \prod^n {k=1} P(x k|\theta) $$ 여기서 $x$는 관찰값, $\theta$는 어떠한 확률 분포 (혹은 모델?)이라고 생각하면 된다. 그니깐 주어... https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/ppo/ https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/ppo/ Sun, 22 Feb 2026 00:00:00 GMT [[Search R1]]에서의 PPO 예시 (search engine과 함께 이용) 잘 설명해준 블로그 https://ai com.tistory.com/entry/RL %EA%B0%95%ED%99%94%ED%95%99%EC%8A%B5 %EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98 5 PPO 기본적으로 advantage를 극대화 하면서도, old policy에서 업데이트된 new policy가 너무 차이가 크지 않기 위해서 clipping을 사... https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/rvq/ https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/rvq/ Sun, 22 Feb 2026 00:00:00 GMT 참고 [[Vector Quantization]] [[Hidden Singer]]로부터 설명을 가져왔습니다. [[RVQ]] 먼저, 들어온 latent vector에 대하여 첫 번째 Vector Quantizer가 [[Vector Quantization]]을 수행. 그 이후, 두 번째 Vector Quantizer 역시 동일한 latent vector에 대하여 [[Vector Quantization]]을 수행. 이것을 $C$번 반복하고, 각각에서 나온 quantiz... https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/reparameterization-trick/ https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/reparameterization-trick/ Sun, 22 Feb 2026 00:00:00 GMT [[VAE]]에서 이어지는 내용.. VAE의 Regularization Error는 학습 중에 Backpropagation이 불가능하다. (왜냐하면 $z$는 랜덤변수라 $p(z)$는 Backpropagation이 불가능함) 그래서 이 트릭을 사용함. 이러면 학습 가능 https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/regularization-normalization-standardization-generalization/ https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/regularization-normalization-standardization-generalization/ Sun, 22 Feb 2026 00:00:00 GMT 퍼플렉시티가 정리해 주었다. 요약 Regularization = 모델의 오버 피팅을 방지하기 위함. Normalization = 데이터의 범위를 0 1로 스케일링함. Standardization = 데이터의 분포를 평균을 0이고 표준편차가 1이 되도록 바꾸어줌. Generalization = 모델이 훈련 데이터 뿐만 아니라 완전히 새로운 데이터에도 대응 할 수 있도록 만드는 일. 특정하게 그 데이터에서만 기능하는 것이 아닌 "일반적인" 데이터에도 기능하도록 만든... https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/svs/ https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/svs/ Sun, 22 Feb 2026 00:00:00 GMT Singing Voice Synthesis 악보, 음성, 가사 등을 이용하여 노래 부르는 목소리를 합성하는 AI 기술을 말한다. https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/unet/ https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/unet/ Sun, 22 Feb 2026 00:00:00 GMT https://wikidocs.net/148870 CNN 네트워크의 일종이다. 마치 오토인코더와 유사한 모습을 하고 있다. https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/vae/ https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/vae/ Sun, 22 Feb 2026 00:00:00 GMT 설명 잘 해놓은 블로그 Background [[Auto Encoder]] [[Maximum Likelihood]] 주목할 점 1. 왜 VAE는 Auto Encoder와 비슷한 구조가 되었을까? (탄생 과정은 관련이 없지만) 2. 과연 [[Variational Inference]]라는 것은 뭘까? 그리고 VAE와 어떤 관련이 있을까? 기존 생성 모델의 문제점 Generator $g \theta(.)$는 어떠한 랜덤 변수 $z$에 대해서, 어떠한 표본 $x$(tra... https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/vq-regularization/ https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/vq-regularization/ Sun, 22 Feb 2026 00:00:00 GMT 참고 : [[Regularization, Normalization, Standardization, Generalization]] 디코더에서 [[Vector Quantization]] Layer를 사용한다 = [[Vector Quantization]]을 학습하고 온다면 왜 Regularization에 사용되는지 바로 직감할 수 있다. 완전 여러가지 feature vector인 것들이 하나의 대표 vector들로 합쳐진다. 굉장히 다양하고 detail한 featur... https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/variational-inference/ https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/variational-inference/ Sun, 22 Feb 2026 00:00:00 GMT [[VAE]]에서 이어짐... 여기서 True Posterior 은 이상적인 샘플링 함수 이다. 어떻게 이상적이냐면, 표본 $x$를 이미 보여준 샘플링 함수인 것이다. 즉, true posterior은 $p(z|x)$이다. 이 ture posterior을 실제로 구하기가 어려워서, 그것을 근사하는 과정이 바로 Variational Inference이다!! https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/vector-quantization/ https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/vector-quantization/ Sun, 22 Feb 2026 00:00:00 GMT 도움받은 블로그 [[HuBERT]]의 예시를 들어보겠다. 여기서 여러 MFCCs 혹은 학습된 Encoder의 layer에서 나온 각각의 feature vector를 클러스터링을 통하여 각 카테고리들로 나누는 과정이 존재하는 것이 보이는가? 이 과정이 바로 Vector Quantization 이라고 할 수 있겠다. 비슷한 특징을 갖는 각기 다른 feature vector를 클러스터로 묶고, 한 클러스터 안의 vector를 하나의 대표 벡터로 변환하는 과정이 바로... https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/batch-normalization/ https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/batch-normalization/ Sun, 22 Feb 2026 00:00:00 GMT batch normalization — batch-normalization, deep-learning, neural-networks에 관한 Jeffrey Kim의 빌드 로그 글입니다. https://jeffrey-blog.nomadamas.org/posts/misc/%ED%94%BC%EB%85%B8%ED%82%A4%EC%98%A4-%ED%94%84%EB%A1%9C%ED%86%A0%ED%83%80%EC%9D%B4%ED%95%91---%EB%B0%94%EC%9D%B4%EB%B8%8C-%EC%BD%94%EB%94%A9-%EC%8B%9C%EB%8C%80%EC%9D%98-mvp-%EA%B2%80%EC%A6%9D%EB%B2%95/ https://jeffrey-blog.nomadamas.org/posts/misc/%ED%94%BC%EB%85%B8%ED%82%A4%EC%98%A4-%ED%94%84%EB%A1%9C%ED%86%A0%ED%83%80%EC%9D%B4%ED%95%91---%EB%B0%94%EC%9D%B4%EB%B8%8C-%EC%BD%94%EB%94%A9-%EC%8B%9C%EB%8C%80%EC%9D%98-mvp-%EA%B2%80%EC%A6%9D%EB%B2%95/ Sat, 21 Feb 2026 03:00:00 GMT AI Agent 시대, 몇 시간 만에 MVP를 만들고 직접 써보며 검증하는 피노키오 프로토타이핑 https://jeffrey-blog.nomadamas.org/posts/noise-cancel/noise-cancel---%EB%A7%81%ED%81%AC%EB%93%9C%EC%9D%B8-%ED%94%BC%EB%93%9C-%EB%85%B8%EC%9D%B4%EC%A6%88-%EC%BA%94%EC%8A%AC%EB%A7%81/ https://jeffrey-blog.nomadamas.org/posts/noise-cancel/noise-cancel---%EB%A7%81%ED%81%AC%EB%93%9C%EC%9D%B8-%ED%94%BC%EB%93%9C-%EB%85%B8%EC%9D%B4%EC%A6%88-%EC%BA%94%EC%8A%AC%EB%A7%81/ Fri, 20 Feb 2026 03:00:00 GMT AI가 링크드인 피드를 읽고 관심있는 내용만 슬랙으로 보내주는 오픈소스 https://jeffrey-blog.nomadamas.org/posts/misc/%ED%81%B4%EB%A1%9C%EB%93%9C-%EC%BD%94%EB%93%9C-permissionrequest-hook%EC%9C%BC%EB%A1%9C-%EC%9E%90%EB%8F%99-%ED%97%88%EC%9A%A9-%EB%A7%8C%EB%93%A4%EA%B8%B0/ https://jeffrey-blog.nomadamas.org/posts/misc/%ED%81%B4%EB%A1%9C%EB%93%9C-%EC%BD%94%EB%93%9C-permissionrequest-hook%EC%9C%BC%EB%A1%9C-%EC%9E%90%EB%8F%99-%ED%97%88%EC%9A%A9-%EB%A7%8C%EB%93%A4%EA%B8%B0/ Tue, 17 Feb 2026 03:00:00 GMT Claude Code의 반복적인 권한 요청을 소넷 모델에게 위임해 자동 허용하는 방법 https://jeffrey-blog.nomadamas.org/posts/autorag-research/autorag-research---rag-%EC%97%B0%EA%B5%AC%EC%9D%98-%EC%B9%98%ED%8A%B8%ED%82%A4/ https://jeffrey-blog.nomadamas.org/posts/autorag-research/autorag-research---rag-%EC%97%B0%EA%B5%AC%EC%9D%98-%EC%B9%98%ED%8A%B8%ED%82%A4/ Sat, 14 Feb 2026 03:00:00 GMT RAG 논문 실험의 귀찮은 과정을 단축시켜주는 오픈소스, AutoRAG-Research 소개 https://jeffrey-blog.nomadamas.org/posts/misc/openclaw%EB%8A%94-%EC%96%B4%EB%96%BB%EA%B2%8C-%EC%9A%B0%EB%A6%AC%EC%99%80%EC%9D%98-%EB%8C%80%ED%99%94%EB%A5%BC-%EA%B8%B0%EC%96%B5%ED%95%A0%EA%B9%8C/ https://jeffrey-blog.nomadamas.org/posts/misc/openclaw%EB%8A%94-%EC%96%B4%EB%96%BB%EA%B2%8C-%EC%9A%B0%EB%A6%AC%EC%99%80%EC%9D%98-%EB%8C%80%ED%99%94%EB%A5%BC-%EA%B8%B0%EC%96%B5%ED%95%A0%EA%B9%8C/ Tue, 10 Feb 2026 03:00:00 GMT OpenClaw(몰트봇)의 Persistent Memory 기능을 코드베이스 분석을 통해 살펴본 기록 https://jeffrey-blog.nomadamas.org/posts/autorag/3k-%ED%9A%8C%EA%B3%A0%EB%A1%9D--2024-%EC%97%B0%EB%A7%90%EC%A0%95%EC%82%B0/ https://jeffrey-blog.nomadamas.org/posts/autorag/3k-%ED%9A%8C%EA%B3%A0%EB%A1%9D--2024-%EC%97%B0%EB%A7%90%EC%A0%95%EC%82%B0/ Mon, 30 Dec 2024 11:46:54 GMT AutoRAG의 깃허브 스타 3K 달성 기념 회고록! https://jeffrey-blog.nomadamas.org/posts/autorag/-%EC%8A%A4%ED%83%80-24k-%EB%8B%AC%EC%84%B1-%EA%B8%B0%EB%85%90-autorag-%ED%9A%8C%EA%B3%A0%EB%A1%9D/ https://jeffrey-blog.nomadamas.org/posts/autorag/-%EC%8A%A4%ED%83%80-24k-%EB%8B%AC%EC%84%B1-%EA%B8%B0%EB%85%90-autorag-%ED%9A%8C%EA%B3%A0%EB%A1%9D/ Thu, 31 Oct 2024 02:27:34 GMT AutoRAG가 10.31일 기준으로 2.4K를 달성했다 !! https://jeffrey-blog.nomadamas.org/posts/autorag/autorag-%EC%B1%84%ED%8C%85-%EC%9D%B8%ED%84%B0%ED%8E%98%EC%9D%B4%EC%8A%A4-%EB%B0%B0%ED%8F%AC-%EA%B0%80%EC%9D%B4%EB%93%9C---autorag-kotaemon-flyio/ https://jeffrey-blog.nomadamas.org/posts/autorag/autorag-%EC%B1%84%ED%8C%85-%EC%9D%B8%ED%84%B0%ED%8E%98%EC%9D%B4%EC%8A%A4-%EB%B0%B0%ED%8F%AC-%EA%B0%80%EC%9D%B4%EB%93%9C---autorag-kotaemon-flyio/ Sat, 26 Oct 2024 06:28:58 GMT 이 튜토리얼에서는 Kotaemon을 사용하여 AutoRAG를 배포하여 사용할 수 있는 방법에 대해서 안내합니다. https://jeffrey-blog.nomadamas.org/posts/autorag/anthropic%EC%9D%98-rag-%EA%B8%B0%EB%B2%95-autorag%EB%A1%9C-%EB%B0%94%EB%A1%9C-%EC%82%AC%EC%9A%A9%ED%95%B4%EB%B3%B4%EA%B8%B0/ https://jeffrey-blog.nomadamas.org/posts/autorag/anthropic%EC%9D%98-rag-%EA%B8%B0%EB%B2%95-autorag%EB%A1%9C-%EB%B0%94%EB%A1%9C-%EC%82%AC%EC%9A%A9%ED%95%B4%EB%B3%B4%EA%B8%B0/ Sun, 29 Sep 2024 05:21:35 GMT 테디노트 님께서 링크드인에서 Anthropic의 좋은 블로그 글을 소개해 주셨습니다. 테디노트 님 글 바로가기 Anthropic 블로그 바로가기테디님께서 요약해주신 다섯 가지 주요 RAG 기법 (혹은 팁)은 다음과 같습니다.HybridSearch: Sementic + https://jeffrey-blog.nomadamas.org/posts/autorag/rag-%EB%8C%80%ED%91%9C%EC%A0%81%EC%9D%B8-%EC%B2%AD%ED%82%B9-%EB%B0%A9%EB%B2%95-5%EA%B0%80%EC%A7%80-/ https://jeffrey-blog.nomadamas.org/posts/autorag/rag-%EB%8C%80%ED%91%9C%EC%A0%81%EC%9D%B8-%EC%B2%AD%ED%82%B9-%EB%B0%A9%EB%B2%95-5%EA%B0%80%EC%A7%80-/ Sat, 07 Sep 2024 06:51:23 GMT Token, Character, Sentence, Semantic, Window 청킹 알아보기 https://jeffrey-blog.nomadamas.org/posts/autorag/%EC%99%9C-llm%EC%9D%80-%EC%95%8C%EC%9E%98%EB%94%B1-%EC%A2%8B%EC%9D%80-%EC%A7%88%EB%AC%B8%EC%9D%84-%EB%A7%8C%EB%93%A4%EC%A7%80-%EB%AA%BB%ED%95%A0%EA%B9%8C/ https://jeffrey-blog.nomadamas.org/posts/autorag/%EC%99%9C-llm%EC%9D%80-%EC%95%8C%EC%9E%98%EB%94%B1-%EC%A2%8B%EC%9D%80-%EC%A7%88%EB%AC%B8%EC%9D%84-%EB%A7%8C%EB%93%A4%EC%A7%80-%EB%AA%BB%ED%95%A0%EA%B9%8C/ Fri, 06 Sep 2024 15:19:18 GMT RAG 평가 자동화가 진짜 힘든 이유. https://jeffrey-blog.nomadamas.org/posts/autorag/%EC%96%B4%EC%A4%91%EA%B0%84%ED%95%9C-%EC%98%A4%ED%94%88%EC%86%8C%EC%8A%A4-%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8-%EA%B0%9C%EB%B0%9C%EC%9E%90%EC%9D%98-%ED%98%84%EC%8B%A4/ https://jeffrey-blog.nomadamas.org/posts/autorag/%EC%96%B4%EC%A4%91%EA%B0%84%ED%95%9C-%EC%98%A4%ED%94%88%EC%86%8C%EC%8A%A4-%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8-%EA%B0%9C%EB%B0%9C%EC%9E%90%EC%9D%98-%ED%98%84%EC%8B%A4/ Mon, 02 Sep 2024 04:43:19 GMT 오픈소스 프로젝트 개발자의 고충에 대한 솔직한 이야기입니다. https://jeffrey-blog.nomadamas.org/posts/autorag/rag%EC%97%90%EC%84%9C-%ED%95%9C%EA%B5%AD%EC%96%B4-ocrclova-ocr-upstage-llama-parse-%EC%8D%A8%EB%B3%B4%EA%B8%B0/ https://jeffrey-blog.nomadamas.org/posts/autorag/rag%EC%97%90%EC%84%9C-%ED%95%9C%EA%B5%AD%EC%96%B4-ocrclova-ocr-upstage-llama-parse-%EC%8D%A8%EB%B3%B4%EA%B8%B0/ Mon, 26 Aug 2024 08:21:47 GMT 한국어 문서들을 RAG에서 사용하기 위해 OCR을 많이 사용합니다. 클로바 OCR, 업스테이지 LayoutAnalysis, Llama Parse를 써보며 느낀 사용 후기를 가볍게 적어보았습니다 :) https://jeffrey-blog.nomadamas.org/posts/autorag/%EB%9E%AD%EC%B2%B4%EC%9D%B8%EC%9D%98-ensemble-retriever-%EC%9D%B4%EA%B2%8C-%EB%8C%80%EC%B2%B4-%EB%AD%90%EC%A7%80/ https://jeffrey-blog.nomadamas.org/posts/autorag/%EB%9E%AD%EC%B2%B4%EC%9D%B8%EC%9D%98-ensemble-retriever-%EC%9D%B4%EA%B2%8C-%EB%8C%80%EC%B2%B4-%EB%AD%90%EC%A7%80/ Mon, 19 Aug 2024 05:05:14 GMT AutoRAG에서 최적화한 Hybrid Retrieval을 직접 랭체인으로 구현하려는데.... 어라? 뭐가 뭐지? 궁금했다면 클릭하세요! https://jeffrey-blog.nomadamas.org/posts/autorag/%ED%95%9C%EA%B5%AD%EC%96%B4-%ED%86%A0%ED%81%AC%EB%82%98%EC%9D%B4%EC%A0%80-%EB%B2%A4%EC%B9%98%EB%A7%88%ED%81%AC/ https://jeffrey-blog.nomadamas.org/posts/autorag/%ED%95%9C%EA%B5%AD%EC%96%B4-%ED%86%A0%ED%81%AC%EB%82%98%EC%9D%B4%EC%A0%80-%EB%B2%A4%EC%B9%98%EB%A7%88%ED%81%AC/ Sun, 11 Aug 2024 08:18:35 GMT BM25 성능에 큰 영향을 미치는 토크나이저! 한국어 문서에 가장 좋은 토크나이저는 무엇일까? AutoRAG로 빠르지만 정확하게 벤치마크 가보자고~ https://jeffrey-blog.nomadamas.org/posts/autorag/%EC%8B%9C%EB%A7%A8%ED%8B%B1-%EC%B2%AD%ED%82%B9%EC%97%90-%EC%9E%84%EB%B2%A0%EB%94%A9-%EB%AA%A8%EB%8D%B8%EC%9D%84-%EB%B0%94%EA%BF%94%EB%B3%B4%EC%9E%90/ https://jeffrey-blog.nomadamas.org/posts/autorag/%EC%8B%9C%EB%A7%A8%ED%8B%B1-%EC%B2%AD%ED%82%B9%EC%97%90-%EC%9E%84%EB%B2%A0%EB%94%A9-%EB%AA%A8%EB%8D%B8%EC%9D%84-%EB%B0%94%EA%BF%94%EB%B3%B4%EC%9E%90/ Thu, 08 Aug 2024 06:38:58 GMT 시맨틱 청킹에서 임베딩 모델은 RAG 답변 성능에 얼마나 중요할까? https://jeffrey-blog.nomadamas.org/posts/autorag/semantic-%EC%B2%AD%ED%82%B9%EC%97%90-%EB%AC%B8%EC%9E%A5-%EB%B6%84%EB%A6%AC%EA%B8%B0%EB%A5%BC-%EB%B0%94%EA%BF%94%EB%B3%B4%EC%9E%90/ https://jeffrey-blog.nomadamas.org/posts/autorag/semantic-%EC%B2%AD%ED%82%B9%EC%97%90-%EB%AC%B8%EC%9E%A5-%EB%B6%84%EB%A6%AC%EA%B8%B0%EB%A5%BC-%EB%B0%94%EA%BF%94%EB%B3%B4%EC%9E%90/ Sun, 04 Aug 2024 07:35:35 GMT 지난 청킹 실험에서 쟁쟁한 후보들을 재치고 1등을 했던 라마인덱스의 시맨틱 청킹. 하지만, 한국어를 못 하는 문장 분리기를 기본으로 사용하고 있었다! 과연, 한국어 문장 분리기를 사용하면 RAG 답변 성능이 어떻게 달라질까? https://jeffrey-blog.nomadamas.org/posts/autorag/%EC%96%B4%EB%96%A4-%ED%95%9C%EA%B5%AD%EC%96%B4-%EC%9E%84%EB%B2%A0%EB%94%A9-%EB%AA%A8%EB%8D%B8-%EC%84%B1%EB%8A%A5%EC%9D%B4-%EA%B0%80%EC%9E%A5-%EC%A2%8B%EC%9D%84%EA%B9%8C-%EC%A7%81%EC%A0%91-%EB%B2%A4%EC%B9%98%EB%A7%88%ED%81%AC-%ED%95%B4%EB%B3%B4%EC%9E%90/ https://jeffrey-blog.nomadamas.org/posts/autorag/%EC%96%B4%EB%96%A4-%ED%95%9C%EA%B5%AD%EC%96%B4-%EC%9E%84%EB%B2%A0%EB%94%A9-%EB%AA%A8%EB%8D%B8-%EC%84%B1%EB%8A%A5%EC%9D%B4-%EA%B0%80%EC%9E%A5-%EC%A2%8B%EC%9D%84%EA%B9%8C-%EC%A7%81%EC%A0%91-%EB%B2%A4%EC%B9%98%EB%A7%88%ED%81%AC-%ED%95%B4%EB%B3%B4%EC%9E%90/ Sun, 04 Aug 2024 06:58:58 GMT AutoRAG를 이용해 엄청 빠르게 벤치마크 드가자~~ https://jeffrey-blog.nomadamas.org/posts/autorag/%EC%A2%80-%EB%8D%94-%EB%82%98%EC%9D%80-rrf-%EB%A7%8C%EB%93%A4%EA%B8%B0---srrf/ https://jeffrey-blog.nomadamas.org/posts/autorag/%EC%A2%80-%EB%8D%94-%EB%82%98%EC%9D%80-rrf-%EB%A7%8C%EB%93%A4%EA%B8%B0---srrf/ Mon, 29 Jul 2024 08:37:02 GMT RRF만 사용하던 지난 나날들... 그녀의 문제점이 보이기 시작했다. 왜 RRF는 점수 분포를 반영하지 못할까? 이런 문제를 해결하기 위한 SRRF! https://jeffrey-blog.nomadamas.org/posts/autorag/hybrid-retrieval%EC%9D%98-%EA%B0%80%EC%A4%91%EC%B9%98-%EC%95%84%EB%AC%B4-%EA%B0%92%EC%9D%B4%EB%82%98-%EC%93%B0%EA%B3%A0-%EC%9E%88%EB%82%98%EC%9A%94/ https://jeffrey-blog.nomadamas.org/posts/autorag/hybrid-retrieval%EC%9D%98-%EA%B0%80%EC%A4%91%EC%B9%98-%EC%95%84%EB%AC%B4-%EA%B0%92%EC%9D%B4%EB%82%98-%EC%93%B0%EA%B3%A0-%EC%9E%88%EB%82%98%EC%9A%94/ Wed, 17 Jul 2024 07:03:14 GMT 당신이 무심코 고른 가중치. 최악의 성능으로 이어질 수 있습니다. https://jeffrey-blog.nomadamas.org/posts/autorag/%EC%B2%AD%ED%82%B9%EC%9D%80-%ED%95%9C%EA%B5%AD%EC%96%B4-rag-%EB%8B%B5%EB%B3%80-%EC%84%B1%EB%8A%A5%EC%9D%84-%EC%96%BC%EB%A7%88%EB%82%98-%EC%98%AC%EB%A0%A4%EC%A4%84%EA%B9%8C/ https://jeffrey-blog.nomadamas.org/posts/autorag/%EC%B2%AD%ED%82%B9%EC%9D%80-%ED%95%9C%EA%B5%AD%EC%96%B4-rag-%EB%8B%B5%EB%B3%80-%EC%84%B1%EB%8A%A5%EC%9D%84-%EC%96%BC%EB%A7%88%EB%82%98-%EC%98%AC%EB%A0%A4%EC%A4%84%EA%B9%8C/ Mon, 15 Jul 2024 05:26:14 GMT 1. 실험 배경 혹자는 말한다. 청킹은 RAG의 3대 요소라고. 또, AutoRAG에서 청킹 최적화는 다루지 않냐는 질문을 많이 받았다. 그렇다면 청킹은 RAG 답변 성능에 얼마나 영향을 미칠까? 그래서 우리는 청킹이 RAG에서 얼마나 중요한 요소인지 알아보기 위해 https://jeffrey-blog.nomadamas.org/posts/autorag/autorag-%ED%8C%80%EC%9D%98-autorag-hp-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0--%EC%95%BC%EA%B5%AC%EB%A1%9C-%EC%9D%B4%ED%95%B4%ED%95%B4%EB%B3%B4%EC%9E%90/ https://jeffrey-blog.nomadamas.org/posts/autorag/autorag-%ED%8C%80%EC%9D%98-autorag-hp-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0--%EC%95%BC%EA%B5%AC%EB%A1%9C-%EC%9D%B4%ED%95%B4%ED%95%B4%EB%B3%B4%EC%9E%90/ Wed, 10 Jul 2024 05:12:19 GMT 새로운 AutoRAG의 등장? AutoRAG 팀이 직접 읽어본 AutoRAG-HP 논문 내용 이해하기 쉽게 정리해 보았습니다. https://jeffrey-blog.nomadamas.org/posts/autorag/llm%EC%9D%80-%EC%96%BC%EB%A7%88%EB%82%98-%EC%9D%BC%EA%B4%80%EC%A0%81%EC%9C%BC%EB%A1%9C-%ED%8F%89%EA%B0%80%ED%95%A0%EA%B9%8C/ https://jeffrey-blog.nomadamas.org/posts/autorag/llm%EC%9D%80-%EC%96%BC%EB%A7%88%EB%82%98-%EC%9D%BC%EA%B4%80%EC%A0%81%EC%9C%BC%EB%A1%9C-%ED%8F%89%EA%B0%80%ED%95%A0%EA%B9%8C/ Mon, 08 Jul 2024 08:00:24 GMT LLM의 답변을 평가하기 위해 자주 사용하는 방법은 LLM에게 평가를 맡기는 것이다. LLM으로 답변을 평가를 하는 메트릭도 여러가지가 있는데, AutoRAG에는 마이크로소프트의 G-eval이 있다. https://jeffrey-blog.nomadamas.org/posts/autorag/rag%EC%97%90%EC%84%9C-%EC%82%AC%EC%9A%A9%ED%95%98%EB%8A%94-%EB%A6%AC%EB%9E%AD%EC%BB%A4-%EC%B4%9D%EC%A0%95%EB%A6%AC/ https://jeffrey-blog.nomadamas.org/posts/autorag/rag%EC%97%90%EC%84%9C-%EC%82%AC%EC%9A%A9%ED%95%98%EB%8A%94-%EB%A6%AC%EB%9E%AD%EC%BB%A4-%EC%B4%9D%EC%A0%95%EB%A6%AC/ Thu, 04 Jul 2024 04:13:52 GMT RAG 리랭커 유형 총정리! https://jeffrey-blog.nomadamas.org/posts/autorag/autorag%EC%99%80-ollama%EB%A5%BC-%EC%82%AC%EC%9A%A9%ED%95%B4%EC%84%9C-rag-%EC%84%B1%EB%8A%A5-%EC%B5%9C%EC%A0%81%ED%99%94%ED%95%98%EA%B8%B0/ https://jeffrey-blog.nomadamas.org/posts/autorag/autorag%EC%99%80-ollama%EB%A5%BC-%EC%82%AC%EC%9A%A9%ED%95%B4%EC%84%9C-rag-%EC%84%B1%EB%8A%A5-%EC%B5%9C%EC%A0%81%ED%99%94%ED%95%98%EA%B8%B0/ Sun, 30 Jun 2024 08:49:31 GMT AutoRAG와 Ollama를 사용해보기! https://jeffrey-blog.nomadamas.org/posts/autorag/github-%EC%8A%A4%ED%83%80-%EC%B2%9C-%EA%B0%9C%EB%A5%BC-%EB%8B%AC%EC%84%B1%ED%95%98%EA%B8%B0%EA%B9%8C%EC%A7%80-%EC%9A%B0%EB%A6%AC%EC%9D%98-%EB%85%B8%EB%A0%A5%EB%93%A4/ https://jeffrey-blog.nomadamas.org/posts/autorag/github-%EC%8A%A4%ED%83%80-%EC%B2%9C-%EA%B0%9C%EB%A5%BC-%EB%8B%AC%EC%84%B1%ED%95%98%EA%B8%B0%EA%B9%8C%EC%A7%80-%EC%9A%B0%EB%A6%AC%EC%9D%98-%EB%85%B8%EB%A0%A5%EB%93%A4/ Thu, 20 Jun 2024 06:43:23 GMT AutoRAG가 깃허브 스타 천 개를 달성하기까지 반년의 기록을 적어보았습니다. https://jeffrey-blog.nomadamas.org/posts/autorag/autorag-troubleshooting/ https://jeffrey-blog.nomadamas.org/posts/autorag/autorag-troubleshooting/ Tue, 18 Jun 2024 08:43:28 GMT AutoRAG 속 자주 만나는 에러 모음 (TroubleShooting) https://jeffrey-blog.nomadamas.org/posts/autorag/pdf-%EB%9D%BC%EC%9D%B4%EB%B8%8C%EB%9F%AC%EB%A6%AC-vs-%EB%84%A4%EC%9D%B4%EB%B2%84-clova-ocr/ https://jeffrey-blog.nomadamas.org/posts/autorag/pdf-%EB%9D%BC%EC%9D%B4%EB%B8%8C%EB%9F%AC%EB%A6%AC-vs-%EB%84%A4%EC%9D%B4%EB%B2%84-clova-ocr/ Mon, 17 Jun 2024 07:14:19 GMT PDF 한글 추출 실험 지난 번 글에서는 PDF라이브러리 5종의 성능을 비교했다. PDF 라이브러리 중에서 가장 뛰어난 라이브러리가 궁금하다면? => PDF 라이브러리 5종 한글 추출 실험 실험에서 PDF 라이브러리도 예상보다 훨씬 뛰어난 성능을 보여주긴 했지만, https://jeffrey-blog.nomadamas.org/posts/autorag/2-autorag-%EC%86%8D-retrieval-token-metric-%ED%8C%8C%ED%95%B4%EC%B9%98%EA%B8%B0/ https://jeffrey-blog.nomadamas.org/posts/autorag/2-autorag-%EC%86%8D-retrieval-token-metric-%ED%8C%8C%ED%95%B4%EC%B9%98%EA%B8%B0/ Mon, 17 Jun 2024 07:13:03 GMT 0. Retrieval token metric in AutoRAG 현재 AutoRAG에서, Retrieval token metric은 Passage Compressor Node 에서만 사용하고 있다. Compress된 Passage를 Answer_gt와 비교해서 성 https://jeffrey-blog.nomadamas.org/posts/autorag/1-autorag%EC%86%8D-retrieval-metric-%ED%8C%8C%ED%95%B4%EC%B9%98%EA%B8%B0/ https://jeffrey-blog.nomadamas.org/posts/autorag/1-autorag%EC%86%8D-retrieval-metric-%ED%8C%8C%ED%95%B4%EC%B9%98%EA%B8%B0/ Mon, 17 Jun 2024 07:10:39 GMT AutoRAG의 retrieval_gt 이해하기 https://jeffrey-blog.nomadamas.org/posts/autorag/%EB%A6%AC%EB%9E%AD%EC%BB%A4%EC%97%90-instruction%EC%9D%84-%EC%93%B8-%EC%88%98-%EC%9E%88%EB%8B%A4%EA%B3%A0/ https://jeffrey-blog.nomadamas.org/posts/autorag/%EB%A6%AC%EB%9E%AD%EC%BB%A4%EC%97%90-instruction%EC%9D%84-%EC%93%B8-%EC%88%98-%EC%9E%88%EB%8B%A4%EA%B3%A0/ Mon, 17 Jun 2024 06:59:34 GMT AutoRAG에 포함된 TART 리랭커의 원리를 알아보자. https://jeffrey-blog.nomadamas.org/posts/autorag/hybrid-rsfrelative-score-fusion%EC%99%80-dbsfdistribution-based-score-fusion%EB%A5%BC%EC%95%8C%EC%95%84%EB%B3%B4%EC%9E%90/ https://jeffrey-blog.nomadamas.org/posts/autorag/hybrid-rsfrelative-score-fusion%EC%99%80-dbsfdistribution-based-score-fusion%EB%A5%BC%EC%95%8C%EC%95%84%EB%B3%B4%EC%9E%90/ Mon, 17 Jun 2024 06:42:36 GMT AutoRAG에는 4가지 Hybrid retrieval 모듈이 있다. 먼저 Hybrid Retrieval 모듈이 뭔지 간단하게 이해하고 넘어가보자. 🤔 Hybrid retrieval 모듈이란? Hybrid, 말 그대로 2개 이상의 retrieval 모듈을 합쳐서 https://jeffrey-blog.nomadamas.org/posts/autorag/upr-%EB%A6%AC%EB%9E%AD%EC%BB%A4-%EC%95%8C%EC%95%84%EB%B3%B4%EA%B8%B0autorag/ https://jeffrey-blog.nomadamas.org/posts/autorag/upr-%EB%A6%AC%EB%9E%AD%EC%BB%A4-%EC%95%8C%EC%95%84%EB%B3%B4%EA%B8%B0autorag/ Mon, 17 Jun 2024 06:40:56 GMT UPR 리랭커는 랭체인이나 라마인덱스 모두에 들어가지 않은 리랭커 모듈이다. 그렇기에 생소할 수 있는데, 이 포스트에서 어떤 원리인지 알아보자. https://jeffrey-blog.nomadamas.org/posts/autorag/autorag-faq--%EA%BF%80%ED%8C%81/ https://jeffrey-blog.nomadamas.org/posts/autorag/autorag-faq--%EA%BF%80%ED%8C%81/ Mon, 17 Jun 2024 06:31:42 GMT AutoRAG FaQ + 노하우/꿀팁 공유!! 감사하게도 요즘 많은 분들이 AutoRAG에 질문을 남겨주셨는데요, 자주 해주시는 질문들을 모아 FaQ 글을 적어보았습니다! https://jeffrey-blog.nomadamas.org/posts/autorag/pdf-%ED%95%9C%EA%B8%80-%ED%85%8D%EC%8A%A4%ED%8A%B8-%EC%B6%94%EC%B6%9C-%EC%8B%A4%ED%97%98/ https://jeffrey-blog.nomadamas.org/posts/autorag/pdf-%ED%95%9C%EA%B8%80-%ED%85%8D%EC%8A%A4%ED%8A%B8-%EC%B6%94%EC%B6%9C-%EC%8B%A4%ED%97%98/ Mon, 17 Jun 2024 06:19:36 GMT PDF 파서 중 어떤 것이 한글 PDF에 가장 좋을까? https://jeffrey-blog.nomadamas.org/posts/autorag/rag%EC%97%90%EC%84%9C-bm25%EA%B0%80-%EB%8D%94-%EC%A2%8B%EC%9D%84-%EC%88%98%EB%8F%84%EC%9E%88%EC%8A%B5%EB%8B%88%EB%8B%A4/ https://jeffrey-blog.nomadamas.org/posts/autorag/rag%EC%97%90%EC%84%9C-bm25%EA%B0%80-%EB%8D%94-%EC%A2%8B%EC%9D%84-%EC%88%98%EB%8F%84%EC%9E%88%EC%8A%B5%EB%8B%88%EB%8B%A4/ Mon, 17 Jun 2024 05:13:19 GMT 유사도 검색 vs BM25. 내 문서에서는 뭐가 더 좋을까? AutoRAG로 비교해보기. https://jeffrey-blog.nomadamas.org/posts/autorag/autorag-%EB%8C%80%EC%8B%9C%EB%B3%B4%EB%93%9C-%EC%9E%98-%ED%95%B4%EC%84%9D%ED%95%98%EB%8A%94-%EB%B0%A9%EB%B2%95/ https://jeffrey-blog.nomadamas.org/posts/autorag/autorag-%EB%8C%80%EC%8B%9C%EB%B3%B4%EB%93%9C-%EC%9E%98-%ED%95%B4%EC%84%9D%ED%95%98%EB%8A%94-%EB%B0%A9%EB%B2%95/ Sun, 16 Jun 2024 05:50:22 GMT AutoRAG를 통해서 성공적으로 RAG를 최적화하였는가? 훌륭하다. 이제 그 결과를 확인할 차례다. AutoRAG 대시보드를 활용해서 쉽게 결과들을 확인해보자! https://jeffrey-blog.nomadamas.org/posts/autorag/%EC%A2%8B%EC%9D%80-rag-%ED%8F%89%EA%B0%80-%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%85%8B%EC%9D%84-%EC%9E%98-%EB%A7%8C%EB%93%9C%EB%8A%94-%EB%B0%A9%EB%B2%95/ https://jeffrey-blog.nomadamas.org/posts/autorag/%EC%A2%8B%EC%9D%80-rag-%ED%8F%89%EA%B0%80-%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%85%8B%EC%9D%84-%EC%9E%98-%EB%A7%8C%EB%93%9C%EB%8A%94-%EB%B0%A9%EB%B2%95/ Sun, 16 Jun 2024 04:45:03 GMT RAG 성능 향상에서 가장 중요한 RAG 평가 데이터셋! 어떻게 잘 만들 수 있을까? https://jeffrey-blog.nomadamas.org/posts/misc/%ED%8F%AC%EB%A5%B4%ED%88%AC%EA%B0%88%EC%9D%98-%EC%82%AC%EB%9E%8C%EB%93%A4---%ED%9D%AC%EB%A7%9D%ED%8E%B8/ https://jeffrey-blog.nomadamas.org/posts/misc/%ED%8F%AC%EB%A5%B4%ED%88%AC%EA%B0%88%EC%9D%98-%EC%82%AC%EB%9E%8C%EB%93%A4---%ED%9D%AC%EB%A7%9D%ED%8E%B8/ Sun, 24 Mar 2024 08:31:00 GMT 포르투갈 노마드 생활에서 만났던, 고마운 사람들. https://jeffrey-blog.nomadamas.org/posts/my-path/meta-research%EC%9D%98-contributor%EA%B0%80-%EB%90%98%EC%97%88%EB%8B%A4/ https://jeffrey-blog.nomadamas.org/posts/my-path/meta-research%EC%9D%98-contributor%EA%B0%80-%EB%90%98%EC%97%88%EB%8B%A4/ Sun, 24 Mar 2024 05:50:00 GMT 생각보다 쉬운 오픈소스 기여 경험 공유. https://jeffrey-blog.nomadamas.org/posts/migrated/papers/rede-search-detector/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/rede-search-detector/ Sat, 09 Dec 2023 05:26:00 GMT REDE search detector 논문 설명 & 구현 https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/hybrid-rrf--hybrid-cc/ https://jeffrey-blog.nomadamas.org/posts/migrated/knowledge/ai/hybrid-rrf--hybrid-cc/ Mon, 16 Oct 2023 05:48:00 GMT Hybrid Retrieval의 두가지 fusion 방법에 대해 알아보자. https://jeffrey-blog.nomadamas.org/posts/migrated/papers/upr-reranker/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/upr-reranker/ Fri, 06 Oct 2023 05:57:00 GMT UPR 리랭커에 대해서 알아봅시다. https://jeffrey-blog.nomadamas.org/posts/migrated/papers/tart-reranker/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/tart-reranker/ Fri, 06 Oct 2023 05:56:00 GMT TART 리랭커의 작동 원리는 어떻게 될까요? https://jeffrey-blog.nomadamas.org/posts/my-path/ai-%EC%84%9C%EB%B9%84%EC%8A%A4%EB%A5%BC-%EC%B6%9C%EC%8B%9C%ED%95%A0-%EB%BB%94%ED%96%88%EB%8D%98-%EC%9D%B4%EC%95%BC%EA%B8%B0/ https://jeffrey-blog.nomadamas.org/posts/my-path/ai-%EC%84%9C%EB%B9%84%EC%8A%A4%EB%A5%BC-%EC%B6%9C%EC%8B%9C%ED%95%A0-%EB%BB%94%ED%96%88%EB%8D%98-%EC%9D%B4%EC%95%BC%EA%B8%B0/ Sun, 29 Jan 2023 06:12:00 GMT Kpop 아이돌 업스케일링 연구와 서비스 출시 모색 이야기 https://jeffrey-blog.nomadamas.org/posts/my-path/%EB%A7%8C%EB%93%9C%EB%8A%94-%EA%B2%83%EC%9D%B4-%EC%A0%9C%EC%9D%BC-%EC%9E%AC%EB%B0%8C%EB%8B%A4---%EC%95%84%EB%AC%B4%EB%8F%84-%EC%93%B0%EC%A7%80-%EC%95%8A%EB%8D%94%EB%9D%BC%EB%8F%84/ https://jeffrey-blog.nomadamas.org/posts/my-path/%EB%A7%8C%EB%93%9C%EB%8A%94-%EA%B2%83%EC%9D%B4-%EC%A0%9C%EC%9D%BC-%EC%9E%AC%EB%B0%8C%EB%8B%A4---%EC%95%84%EB%AC%B4%EB%8F%84-%EC%93%B0%EC%A7%80-%EC%95%8A%EB%8D%94%EB%9D%BC%EB%8F%84/ Sun, 01 Jan 2023 06:25:00 GMT 키킼 제작 스토리와 망한 이유 https://jeffrey-blog.nomadamas.org/posts/misc/%EC%82%AC%EB%AC%B4%EC%8B%A4%EC%9D%B4-%EC%A7%91%EC%9D%B4%EA%B3%A0-%EC%A7%91%EC%9D%B4-%EC%82%AC%EB%AC%B4%EC%8B%A4%EC%9D%B8-%EC%82%B6-edai/ https://jeffrey-blog.nomadamas.org/posts/misc/%EC%82%AC%EB%AC%B4%EC%8B%A4%EC%9D%B4-%EC%A7%91%EC%9D%B4%EA%B3%A0-%EC%A7%91%EC%9D%B4-%EC%82%AC%EB%AC%B4%EC%8B%A4%EC%9D%B8-%EC%82%B6-edai/ Sun, 01 Jan 2023 06:20:00 GMT 내가 살고 있는 해커하우스 라이프 스타일에 대한 이야기 https://jeffrey-blog.nomadamas.org/posts/misc/22%EC%82%B4-%EC%B0%BD%EC%97%85%ED%95%98%EC%A7%80-%EC%95%8A%EC%95%84%EC%95%BC-%ED%95%A0-%EC%9D%B4%EC%9C%A0%EA%B0%80-%EC%97%86%EB%8B%A4/ https://jeffrey-blog.nomadamas.org/posts/misc/22%EC%82%B4-%EC%B0%BD%EC%97%85%ED%95%98%EC%A7%80-%EC%95%8A%EC%95%84%EC%95%BC-%ED%95%A0-%EC%9D%B4%EC%9C%A0%EA%B0%80-%EC%97%86%EB%8B%A4/ Sun, 25 Dec 2022 06:29:00 GMT 패기가 넘치던 EDAI 창업 시절, 제로 리스크 창업의 이유 https://jeffrey-blog.nomadamas.org/posts/my-path/%EB%AC%B4%EC%9E%91%EC%A0%95-%EC%9B%A8%EB%B9%84%EB%82%98-%EC%97%B4%EC%96%B4%EB%B3%B4%EA%B8%B0/ https://jeffrey-blog.nomadamas.org/posts/my-path/%EB%AC%B4%EC%9E%91%EC%A0%95-%EC%9B%A8%EB%B9%84%EB%82%98-%EC%97%B4%EC%96%B4%EB%B3%B4%EA%B8%B0/ Sun, 18 Dec 2022 06:32:00 GMT EDAI 하면서 웨비나를 열어보았던 경험 https://jeffrey-blog.nomadamas.org/posts/my-path/3%EC%9D%BC%EA%B0%84-%EB%AF%B8%ED%8C%85-50%EB%B2%88-%ED%95%98%EA%B8%B0---%EC%A7%80%EC%8A%A4%ED%83%80-%ED%9B%84%EA%B8%B0/ https://jeffrey-blog.nomadamas.org/posts/my-path/3%EC%9D%BC%EA%B0%84-%EB%AF%B8%ED%8C%85-50%EB%B2%88-%ED%95%98%EA%B8%B0---%EC%A7%80%EC%8A%A4%ED%83%80-%ED%9B%84%EA%B8%B0/ Sat, 19 Nov 2022 07:03:00 GMT EDAI 인게임 PPL 홍보를 위하여 갔던 지스타! https://jeffrey-blog.nomadamas.org/posts/misc/%EB%A9%94%ED%83%80-%EB%A6%AC%EC%BF%A0%EB%A5%B4%ED%84%B0-%EA%B2%BD%ED%97%98/ https://jeffrey-blog.nomadamas.org/posts/misc/%EB%A9%94%ED%83%80-%EB%A6%AC%EC%BF%A0%EB%A5%B4%ED%84%B0-%EA%B2%BD%ED%97%98/ Sun, 21 Aug 2022 05:59:00 GMT 영국 리쿠르터와의 전화 통화 https://jeffrey-blog.nomadamas.org/posts/migrated/papers/hifacegan/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/hifacegan/ Fri, 22 Jul 2022 06:02:00 GMT 이미지 업스케일링 논문 리뷰 https://jeffrey-blog.nomadamas.org/posts/migrated/papers/restoreformer/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/restoreformer/ Tue, 05 Jul 2022 06:03:00 GMT RestoreFormer 논문 리뷰입니다. https://jeffrey-blog.nomadamas.org/posts/migrated/papers/dfdnet/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/dfdnet/ Thu, 30 Jun 2022 06:05:00 GMT DFDNet 논문 리뷰입니다. https://jeffrey-blog.nomadamas.org/posts/migrated/papers/super-resolution-survey/ https://jeffrey-blog.nomadamas.org/posts/migrated/papers/super-resolution-survey/ Wed, 22 Jun 2022 06:07:00 GMT DL SR 서베이 논문 리뷰입니다.