예시: PDF 채팅봇 📚#

설명:

이 예제는 로컬 LLM과 임베딩 모델을 사용하여 PDF 챗봇을 구축하는 방법을 보여줍니다.

관련 기술:

@ Xinference 를 LLM 모델 호스팅 서비스로 사용

@ LlamaIndex 는 전체 RAG 파이프라인을 오케스트레이션하는 데 사용됩니다.

@ Streamlit 는 대화형 사용자 인터페이스에 사용됩니다.

데모 기능에 대한 상세 설명:

  • Dockerfile을 작성하여 Docker를 통해 배포 프로세스를 간소화하고 쉽게 재현할 수 있도록 했습니다.

  • Xinference를 사용하여 LLM과 임베딩 모델을 띄우고, 이에 접근할 수 있도록 두 개의 포트를 노출합니다.

  • Streamlit을 사용하여 원활한 파일 업로드와 채팅 엔진과의 상호작용 통신을 구현합니다.

  • OpenAI의 API보다 문서 임베딩 속도가 5배 빠릅니다.

  • GGML의 강력한 기능을 활용하여 모델을 GPU에서 실행함으로써 가속화하고 응답 대기 시간을 줄입니다.

소스 코드