예시: 명령줄 챗봇 🤖️#

설명:

Xinference와 상호작용하는 방법을 시연하며, 명령줄에서 LLM 기반 채팅 기능을 통해 AI 에이전트와 상호작용합니다.💻

관련 기술:

@ ggerganov ggml

@ Xinference 를 플랫폼으로 사용

Xinference 추론 가 지원하는 모든 LLaMA 및 Chatglm 모델

데모 기능에 대한 상세 설명:

  1. 터미널에서 사용자의 명령줄 입력을 받아 모델을 시작하는 데 필요한 매개변수를 가져옵니다.

  2. Xinference 프레임워크를 시작하고 사용자가 요청한 모델을 자동으로 클러스터에 배포합니다.

  3. 빈 채팅 기록을 초기화하여 채팅방의 모든 컨텍스트를 저장합니다.

  4. 사용자 입력을 프롬프트로 재귀적으로 요청하여 모델이 프롬프트와 채팅 기록을 기반으로 응답을 생성하도록 합니다. 터미널에 응답 출력을 표시합니다.

  5. 사용자의 입력과 에이전트의 응답을 채팅 기록에 저장하여, 다가오는 대화 턴의 맥락으로 사용합니다.

소스 코드