Kubernetes 클러스터에 Xinference 설치#

네이티브 Helm 방식 기반#

Xinference는 네이티브 Helm을 기반으로 Kubernetes 클러스터에 설치하는 방식을 제공합니다.

준비 조건#

  • 사용 가능한 Kubernetes 클러스터.

  • Kubernetes에서 GPU 지원을 활성화하려면 여기 를 참조하십시오.

  • ``Helm``을 올바르게 설치하십시오.

구체적인 단계#

  1. Added Xinference Helm repository

    helm repo add xinference https://xorbitsai.github.io/xinference-helm-charts

  2. 저장소 인덱스를 업데이트하고 설치 가능한 버전을 조회합니다.

    helm repo update xinference
helm search repo xinference/xinference --devel --versions

  3. 설치

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version>

사용자 지정 설치#

위 설치 방식은 단일 머신과 유사한 Xinference를 설치한 것으로, 즉 노드가 하나뿐이며 다른 모든 시작 매개변수는 기본값으로 유지됩니다.

아래는 몇 가지 일반적인 사용자 지정 설치 구성입니다.

  1. ModelScope에서 모델을 다운로드해야 합니다.

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version> --set config.model_src="modelscope"

  2. Xinference의 CPU 버전 이미지(또는 다른 버전의 이미지)를 사용하고 싶습니다.

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version> --set config.xinference_image="<xinference_docker_image>"

  3. 4개의 Xinference worker 노드를 시작해야 하며, 각 worker는 4개의 GPU를 관리합니다.

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version> --set config.worker_num=4 --set config.gpu_per_worker="4"

위의 설치 방식은 Helm --set 옵션에 기반합니다. 더 복잡한 사용자 정의 설치 시나리오(예: 여러 worker가 스토리지를 공유하는 경우)에서는 자체 values.yaml 파일을 사용한 후, Helm -f 옵션을 통해 설치하는 것을 적극 권장합니다.

The default values.yaml file is located here. Some examples can be found here.

타사 KubeBlocks 기반 방식#

또한 서드파티 ``KubeBlocks``를 통해 K8s 클러스터에 Xinference를 설치할 수 있습니다. 이 방식은 Xinference 공식적으로 유지 관리되지 않으므로, 실시간 업데이트 및 가용성을 엄격히 보장할 수 없습니다. 문서 를 참조하십시오.