model#

모델 목록#

Xinference에서 시작할 수 있는 모든 특정 유형의 모델을 나열할 수 있습니다.

xinference registrations --model-type <MODEL_TYPE> \
                         [--endpoint "http://<XINFERENCE_HOST>:<XINFERENCE_PORT>"] \

curl http://<XINFERENCE_HOST>:<XINFERENCE_PORT>/v1/model_registrations/<MODEL_TYPE>

from xinference.client import Client
client = Client("http://<XINFERENCE_HOST>:<XINFERENCE_PORT>")
print(client.list_model_registrations(model_type='<MODEL_TYPE>'))

Xinference는 다음 ``MODEL_TYPE``을 지원합니다:

LLM

텍스트 생성 모델 또는 대규모 언어 모델

대규모 언어 모델

embedding

텍스트 임베딩 모델

임베딩 모델

image

이미지 생성 또는 처리 모델

Image model

audio

오디오 모델

audio model

rerank

Re-ranking model

video

비디오 모델

유연 모델

유연 모델 (전통적 머신러닝 모델)

전통적인 머신러닝 모델 (실험적 성격)

:ref:`여기 <models_builtin_index>`에서 Xinference가 지원하는 모든 내장 모델을 확인할 수 있습니다. 필요한 모델이 없을 경우, Xinference는 사용자 정의 모델을 :ref:`등록 <models_custom>`할 수도 있습니다.

모델 시작 및 중지#

각 실행 중인 모델 인스턴스에는 고유한 모델 uid가 할당됩니다. 기본적으로 모델 uid는 모델명과 동일합니다. 이 ID는 이후 모델 인스턴스를 사용하기 위한 핸들이며, 시작 명령의 --model-uid 옵션을 통해 수동으로 지정할 수 있습니다.

명령줄이나 Xinference의 Python 클라이언트를 통해 모델을 시작할 수 있습니다.

xinference launch --model-name <MODEL_NAME> \
                  [--model-engine <MODEL_ENGINE>] \
                  [--model-type <MODEL_TYPE>] \
                  [--model-uid <MODEL_UID>] \
                  [--endpoint "http://<XINFERENCE_HOST>:<XINFERENCE_PORT>"] \

from xinference.client import Client

client = Client("http://<XINFERENCE_HOST>:<XINFERENCE_PORT>")
model_uid = client.launch_model(
  model_name="<MODEL_NAME>",
  model_engine="<MODEL_ENGINE>",
  model_type="<MODEL_TYPE>"
  model_uid="<MODEL_UID>"
)
print(model_uid)

모델 유형 ``LLM``의 경우, 모델을 시작할 때 모델 이름뿐만 아니라 파라미터 크기, 모델 형식 및 모델 엔진도 지정해야 합니다. 대규모 언어 모델 문서를 참조하십시오.

다음 명령은 Xinference에서 실행 중인 모델을 나열합니다:

xinference list [--endpoint "http://<XINFERENCE_HOST>:<XINFERENCE_PORT>"]

curl http://<XINFERENCE_HOST>:<XINFERENCE_PORT>/v1/models

from xinference.client import Client

client = Client("http://<XINFERENCE_HOST>:<XINFERENCE_PORT>")
print(client.list_models())

현재 실행 중인 모델이 더 이상 필요하지 않을 때, 다음과 같은 방법으로 점유된 리소스를 해제합니다:

xinference terminate --model-uid "<MODEL_UID>" [--endpoint "http://<XINFERENCE_HOST>:<XINFERENCE_PORT>"]

curl -X DELETE http://<XINFERENCE_HOST>:<XINFERENCE_PORT>/v1/models/<MODEL_UID>

from xinference.client import Client

client = Client("http://<XINFERENCE_HOST>:<XINFERENCE_PORT>")
client.terminate_model(model_uid="<MODEL_UID>")

참고

더 이상 유지보수되지 않고 이전 버전 라이브러리(예: transformers)에 의존하는 모델의 경우, 모델 가상 환경 기능을 활성화하여 호환 가능한 환경에서 정상적으로 실행될 수 있도록 권장합니다.

모델 사용#

채팅 & 생성

Xinference에서 LLM과 채팅하는 방법을 배웁니다.

채팅 & 생성

도구

LLM을 외부 도구와 연결하는 방법을 배우십시오.

도구

임베딩

Xinference에서 텍스트 임베딩을 생성하는 방법을 학습합니다.

임베딩

리랭킹

Xinference에서 재정렬 모델을 사용하는 방법을 알아보세요.

리랭킹

이미지

Xinference를 사용하여 이미지를 생성하는 방법을 학습합니다.

이미지

다중 모달

LLM을 사용하여 이미지와 오디오를 처리하는 방법을 학습합니다.

멀티모달

오디오

Xinference를 사용하여 오디오를 텍스트로 변환하거나 텍스트를 오디오로 변환하는 방법을 알아보세요.

오디오

동영상

Xinference를 사용하여 비디오를 생성하는 방법을 학습합니다.

동영상 (실험적 성격)

유연 모델

Xinference를 사용하여 전통적인 머신러닝 모델을 추론하는 방법을 알아보세요.

전통적인 머신러닝 모델 (실험적 성격)