예시: Gradio 채팅 인터페이스 🤗

설명:

이 예제는 Gradio ChatInterface 채팅 인터페이스와 Xinference 로컬 LLM을 사용하여 단 120줄의 코드로 채팅 봇을 구축하는 방법을 보여줍니다.

관련 기술:

@ Xinference 를 LLM 모델 호스팅 서비스로 사용

@ Gradio 를 챗봇의 웹 인터페이스로 사용합니다.

데모 기능에 대한 상세 설명:

• 사용자가 제공한 명령줄 인수를 분석하여 모델 이름, 크기, 형식 및 양자화 방식과 같은 주요 모델 매개변수를 캡처합니다.

• Xinference 프레임워크와의 연결을 설정하고 지정된 모델을 배포하여 실시간 상호작용이 가능하도록 준비합니다.

• 보조 함수(flatten 및 to_chat)를 구현하여 채팅 상호작용을 효율적으로 처리하고 저장하며, 모델이 관련 응답을 생성할 수 있는 컨텍스트를 갖도록 보장합니다.

• Gradio를 사용하여 대화형 채팅 인터페이스를 설정하면 사용자가 친숙한 환경에서 모델과 소통할 수 있습니다.

• Gradio 웹 인터페이스를 시작하여 사용자가 채팅 세션을 시작하고, 질의에 따라 모델이 생성한 응답을 받을 수 있도록 합니다.

소스 코드

• Gradio ChatInterface