Xinference에 오신 것을 환영합니다!#
Xorbits Inference (Xinference)는 다양한 AI 모델의 실행과 통합을 간소화하는 오픈소스 플랫폼입니다. Xinference를 사용하면 오픈소스 LLM, 임베딩 모델 및 멀티모달 모델을 클라우드 또는 로컬 환경에서 실행하고, 강력한 AI 애플리케이션을 만들 수 있습니다.
Xinference를 사용하여 실제 시나리오의 AI 애플리케이션 개발하기#
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
# Chat to LLM
model.chat(
messages=[{"role": "system", "content": "You are a helpful assistant"}, {"role": "user", "content": "What is the largest animal?"}],
generate_config={"max_tokens": 1024}
)
# Chat to VL model
model.chat(
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What’s in this image?"},
{
"type": "image_url",
"image_url": {
"url": "http://i.epochtimes.com/assets/uploads/2020/07/shutterstock_675595789-600x400.jpg",
},
},
],
}
],
generate_config={"max_tokens": 1024}
)
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
model.create_embedding("What is the capital of China?")
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
model.text_to_image("An astronaut walking on the mars")
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
with open("speech.mp3", "rb") as audio_file:
model.transcriptions(audio_file.read())
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
query = "A man is eating pasta."
corpus = [
"A man is eating food.",
"A man is eating a piece of bread.",
"The girl is carrying a baby.",
"A man is riding a horse.",
"A woman is playing violin."
]
print(model.rerank(corpus, query))
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
model.text_to_video("")
시작 가이드#
Xinference 설치
Linux, Windows 및 macOS에 Xinference 설치하기.
지금 바로 체험해보세요!
먼저 로컬 컴퓨터에서 Xinference를 실행합니다.
모델 탐색
Xinference가 지원하는 다양한 모델 탐색하기.
자신의 모델을 등록하세요
모델 가중치를 등록하고 API로 변환합니다.
API 탐색#
채팅 & 생성
Xinference에서 LLM과 채팅하는 방법을 알아보세요.
도구
LLM을 외부 도구와 연결하는 방법을 학습합니다.
임베딩
Xinference에서 텍스트 임베딩을 생성하는 방법을 알아보세요.
리랭킹(Re-ranking)
Xinference에서 리랭킹 모델을 사용하는 방법을 알아보세요.
이미지
Xinference를 사용하여 이미지를 생성하는 방법을 학습합니다.
다중 모달
LLM을 사용하여 이미지와 오디오를 처리하는 방법을 학습합니다.
audio
Xinference를 사용하여 오디오를 텍스트로 변환하거나 텍스트를 오디오로 변환하는 방법을 학습합니다.
동영상
Xinference를 사용하여 비디오를 생성하는 방법을 학습합니다.
Flexible model
Xinference를 사용하여 전통적인 머신러닝 모델을 추론하는 방법을 알아보세요.
참여해 주세요#
최신 뉴스
Twitter에서 팔로우하세요
도움을 요청합니다
Discord 커뮤니티
Telegram 그룹에 가입
Github에서 이슈 제출
기여
Github에서 PR 제출