AutoRAG 채팅 인터페이스 배포 가이드 - AutoRAG, Kotaemon, fly.io
이 튜토리얼에서는 Kotaemon을 사용하여 AutoRAG를 배포하여 사용할 수 있는 방법에 대해서 안내합니다.
Quick context
First, this page captures one concrete build-log step, research note, or project lesson from Jeffrey Kim.
Next, use the tags, related reading, and home archive to move from this note to deeper material in the same topic cluster.
Finally, follow the RSS feed if you want the next experiment, retrospective, or paper review as soon as it ships.
이 튜토리얼에서는 Kotaemon을 사용하여 AutoRAG를 배포하여 사용할 수 있는 방법에 대해서 안내합니다. 이 가이드를 통해 AutoRAG를 통해 최적화한 RAG 시스템을 멋진 채팅 UI로 활용할 수 있습니다.
튜토리얼 순서
- AutoRAG를 통해 RAG를 최적화합니다.
- 최적화한 RAG에서 API 서버를 실행합니다.
- AutoRAG x Kotaemon 웹을 fly.io에 배포합니다.
- 웹에서 API 서버를 연결해 사용합니다.
사전 요구사항
1. AutoRAG로 RAG를 최적화
먼저 최적화된 RAG 파이프라인을 찾아야 합니다. 최적화하는 방법은 이 튜토리얼을 참고하세요.
2단계: AutoRAG API 서버 실행
AutoRAG API 서버를 로컬에서 실행하려면 다음 명령어를 사용하세요:
autorag run_api --trial_dir /trial/dir/0 --host 0.0.0.0 --port 8000trial 디렉토리는 최적화 후 프로젝트 디렉토리 내부의 디렉토리입니다. 디렉토리 이름은 “숫자”입니다. 채팅 인터페이스의 백엔드로 사용하고자 하는 디렉토리 이름을 지정해야 합니다.
AutoRAG에서는 API 서버의 공개 액세스를 위해 NGrok을 사용합니다. 서버 실행 시 로그에서 공개 URL을 확인할 수 있습니다:
INFO [api.py:199] >> Public API URL: api.py:199
<https://8a31-14-52-132-205.ngrok-free.app>
터미널에 표시된 URL을 꼭 기억해주세요.
3단계: AutoRAG-kotaemon 배포
먼저, AutoRAG Kotaemon 저장소를 클론합니다:
git clone https://github.com/vkehfdl1/AutoRAG-web-kotaemon.git
cd AutoRAG-web-kotaemon그 이후에 fly.io
- Fly.io CLI 도구 설치:
brew install flyctlMac OS 사용자용입니다.
다른 OS를 사용하는 경우 여기를 참조하세요.
- Fly.io 인증:
fly auth login- Fly.io로 배포:
fly launch
위와 같이 설정해야 합니다. 이 때, Region이나 Name 등은 원하시는 대로 설정하면 됩니다.
참고: 초기 배포 과정은 10-15분 정도 소요될 수 있습니다.
또한, 원활한 실행을 위해서는 최소 1GB의 메모리가 필요합니다.
이제, 배포 완료가 되면 fly URL을 확인할 수 있습니다. CLI에서 찾지 못하면 fly.io의 대시보드에 접속해서 확인해 보세요. 클릭해보면 곧바로 Kotaemon 초기 설정 화면을 볼 수 있습니다.
5단계: Kotaemon 설정
가장 먼저 실행하면 다음과 같이 초기 설정 화면이 나옵니다. 여기서 OpenAI API Key 혹은 Cohere API key를 설정하거나, 빨간색 버튼을 눌러서 설정 없이 진행할 수 있습니다.
해당 api key를 설정하지 않으면 “대화 제목 자동 설정” 기능을 이용할 수 없습니다. 만약, private한 데이터를 다룬다면 해당 api 키를 설정하지 말고 빨간색 버튼을 눌러 다음 단계로 넘어가세요.
그리고 다음과 같이 로그인 화면이 나올텐데, 첫 실행에서는 id와 비밀번호 모두 admin으로 설정하세요. 그러면 문제 없이 사용할 수 있습니다.
실행 이후, 반드시 왼쪽 위의 Settings 탭에 들어가 Reasoning settings 탭에 들어가세요.
AutoRAG API Endpoint URL 탭에, 앞에서 기록해 두었던 API 서버의 URL을 넣으세요. 반드시 끝이 .app과 같은 형태로 끝나야 합니다. /를 끝에 적지 마세요.
마지막으로 Save Changes 버튼을 누르면 됩니다!
6단계 : 사용해보기
이제 최적화된 RAG 파이프라인을 Kotaemon으로 아래와 같이 사용할 수 있습니다!
Fly.io 배포 중지
Fly.io는 유료 서비스이므로, 사용하지 않을 때는 배포를 중지하는 것이 좋습니다.
Fly.io에서 애플리케이션을 중지하려면:
fly scale count 0을 입력하세요.