예시

여기에서 Xinference 사용 방법에 대한 예제와 학습 자료를 찾을 수 있습니다.

예시

Xinference를 사용한 엔드 투 엔드 애플리케이션:

• M2 Max에서 AI 에이전트와 음성 대화하는 팟캐스트

• LLM 모델과 상호작용: CLI 예제

• LLM 모델과 상호작용: Gradio 채팅 페이지 예제

• 로컬 LLM 및 임베딩 모델을 사용한 PDF 챗봇

• LangChain 및 Streamlit을 사용한 로컬 문서 대화

당신의 작업 흐름에서 다른 예제를 발견하면, `PR <xorbitsai/inference>`_을 제출해 주시기 바랍니다!

튜토리얼

다음 튜토리얼은 다양한 시나리오에서 Xinference를 사용하는 기본 지식을 다룹니다:

• [Notebook] Xinference, Milvus 및 LangChain을 사용한 질의응답(QA) 애플리케이션 <RayJi01/Xprobe_inference>_

• LlamaIndex에서 Xinference 로컬 LLMs 사용하기

• [Chinese] 如何让 Chatbox 接入开源大模型，实现免费聊天

• [Chinese] 摆脱 OpenAI 依赖，8 分钟教你用开源生态构建全栈 AI 应用

• [Chinese] 使用全套开源工具构建 LLM 应用实战： 在 Dify 调用 Baichuan 开源模型能力

써드파티 라이브러리 통합

Xinference는 오픈소스 AI 모델을 원활하게 통합하고 배포할 수 있어 AI 분야의 주요 도구 키트를 지원합니다. Xinference는 다음과 같은 타사 라이브러리와 함께 사용할 수 있습니다:

• LangChain Text Embedding Models and LLMs

• LlamaIndex Xinference LLM