시작 가이드#
- 설치
- 사용
- 로그
- Docker 이미지
- Kubernetes 클러스터에 Xinference 설치
- 문제 해결
- huggingface 저장소 권한이 없습니다
- NVIDIA 드라이버와 PyTorch 버전이 일치하지 않습니다.
- 외부 시스템에서 ``<IP>:9997``을 통해 Xinference 서비스에 접근할 수 없습니다.
- 내장 모델을 시작하는 데 오랜 시간이 걸리며, 모델이 때때로 다운로드에 실패합니다.
- 공식 Docker 이미지를 사용할 때 RayWorkerVllm이 OOM으로 인해 종료되어 모델을 로드할 수 없습니다.
- LLM 모델 로드 시
model_engine매개변수가 누락되었다는 메시지가 표시됩니다. - MKL 스레드 레이어 충돌 해결
- PyPI 미러를 구성하여 패키지 설치 속도 향상
- uv를 사용한 Xinference 1.12.0 설치 실패 (2025년 11월 기준)
- vLLM + Torch + Xinference 호환성 문제 (세그멘테이션 오류)
- 환경 변수
- XINFERENCE_ENDPOINT
- XINFERENCE_MODEL_SRC
- XINFERENCE_HOME
- XINFERENCE_HEALTH_CHECK_FAILURE_THRESHOLD
- XINFERENCE_HEALTH_CHECK_INTERVAL
- XINFERENCE_HEALTH_CHECK_TIMEOUT
- XINFERENCE_DISABLE_HEALTH_CHECK
- XINFERENCE_DISABLE_METRICS
- XINFERENCE_DOWNLOAD_MAX_ATTEMPTS
- XINFERENCE_TEXT_TO_IMAGE_BATCHING_SIZE
- XINFERENCE_SSE_PING_ATTEMPTS_SECONDS
- XINFERENCE_MAX_TOKENS
- XINFERENCE_ALLOWED_IPS
- XINFERENCE_BATCH_SIZE
- XINFERENCE_BATCH_INTERVAL
- XINFERENCE_ALLOW_MULTI_REPLICA_PER_GPU
- XINFERENCE_LAUNCH_STRATEGY
- XINFERENCE_MAX_CONCURRENT_LAUNCHES
- XINFERENCE_ENABLE_VIRTUAL_ENV
- XINFERENCE_VIRTUAL_ENV_SKIP_INSTALLED
- XINFERENCE_CSG_TOKEN
- XINFERENCE_CSG_ENDPOINT
- XINFERENCE_QWEN3_RERANK_TEMPLATE
- XINFERENCE_LAUNCH_HISTORY_DB_PATH
- 버전 릴리스 노트