환경 변수#

XINFERENCE_ENDPOINT#

Xinference의 서비스 주소로, Xinference와 연결하는 데 사용됩니다. 기본 주소는 http://127.0.0.1:9997이며, 로그에서 이 주소를 확인할 수 있습니다.

XINFERENCE_MODEL_SRC#

모델 다운로드 저장소를 구성합니다. 기본 다운로드 소스는 “huggingface”이며, “modelscope”로 다운로드 소스를 설정할 수도 있습니다.

XINFERENCE_HOME#

Xinference는 기본적으로 ``<HOME>/.xinference``를 모델과 로그 등 필요한 파일을 저장하는 기본 디렉토리로 사용합니다. 여기서 ``<HOME>``은 현재 사용자의 홈 디렉토리입니다. 이 환경 변수를 설정하여 기본 디렉토리를 변경할 수 있습니다.

XINFERENCE_HEALTH_CHECK_FAILURE_THRESHOLD#

Xinference 시작 시 허용되는 최대 건강 점검 실패 횟수입니다. 기본값은 5입니다.

XINFERENCE_HEALTH_CHECK_INTERVAL#

Xinference 시작 시의 상태 검사 간격(초). 기본값은 5입니다.

XINFERENCE_HEALTH_CHECK_TIMEOUT#

Xinference 시작 시 건강 검사 타임아웃 시간(초). 기본값은 10입니다.

XINFERENCE_DISABLE_HEALTH_CHECK#

조건이 충족되면, Xinference는 자동으로 worker 상태를 보고합니다. 환경 변수를 1로 설정하면 상태 확인을 비활성화할 수 있습니다.

XINFERENCE_DISABLE_METRICS#

Xinference는 기본적으로 supervisor와 worker에서 metrics exporter를 활성화합니다. 환경 변수를 1로 설정하면 supervisor에서 /metrics 엔드포인트를 비활성화하고, worker에서 HTTP 서비스(/metrics 엔드포인트만 제공)를 비활성화할 수 있습니다.

XINFERENCE_DOWNLOAD_MAX_ATTEMPTS#

모델 파일의 최대 다운로드 재시도 횟수입니다. 기본값은 3입니다.

XINFERENCE_TEXT_TO_IMAGE_BATCHING_SIZE#

텍스트-이미지 모델에 대해 대상 이미지 크기(예: 1024*1024)를 지정하여 연속 배치 처리를 활성화합니다. 기본적으로 설정되지 않습니다.

XINFERENCE_SSE_PING_ATTEMPTS_SECONDS#

서버 전송 이벤트의 keep-alive ping 간격(초)입니다. 기본값은 600입니다.

XINFERENCE_MAX_TOKENS#

요청의 전역 최대 토큰 제한 재정의. 기본값은 설정되지 않음.

XINFERENCE_ALLOWED_IPS#

특정 IP 주소 또는 CIDR 주소 블록에 대한 접근을 제한합니다. 기본값은 설정되지 않음(제한 없음)입니다.

XINFERENCE_BATCH_SIZE#

배치 처리를 활성화할 때 서버가 사용하는 기본 배치 크기입니다. 기본값은 32입니다.

XINFERENCE_BATCH_INTERVAL#

기본 배치 간격(초). 기본값은 0.003입니다.

XINFERENCE_ALLOW_MULTI_REPLICA_PER_GPU#

단일 GPU에 여러 복사본을 생성할 수 있는지 여부입니다. 기본값은 1 (활성화)입니다.

XINFERENCE_LAUNCH_STRATEGY#

복제본의 GPU 할당 전략입니다. 기본값은 IDLE_FIRST_LAUNCH_STRATEGY 입니다.

XINFERENCE_MAX_CONCURRENT_LAUNCHES#

Maximum number of model launches that can proceed concurrently on a single worker node. When more replicas are launched than this limit, excess launches queue and proceed as slots free up. This prevents resource exhaustion (fork storms, disk IO saturation, GPU memory contention) that can cause heartbeat timeouts. Default value is 5.

XINFERENCE_ENABLE_VIRTUAL_ENV#

전역 모델 가상 환경을 활성화합니다. 기본값은 1입니다(활성화, v2.0 버전부터 적용).

XINFERENCE_VIRTUAL_ENV_SKIP_INSTALLED#

시스템 site-packages에 이미 존재하는 패키지를 건너뛰며 가상 환경을 생성합니다. 기본값은 1입니다.

XINFERENCE_CSG_TOKEN#

CSGHub 모델 소스의 인증 토큰입니다. 기본값은 설정되지 않음입니다.

XINFERENCE_CSG_ENDPOINT#

CSGHub 모델 소스 엔드포인트. 기본값은 https://hub-stg.opencsg.com/ 입니다.

XINFERENCE_QWEN3_RERANK_TEMPLATE#

Enable template for Qwen3 rerank model family (0.6B, 4B, 8B,etc) globally. Default value is 1.

XINFERENCE_LAUNCH_HISTORY_DB_PATH#

Path to the SQLite database that stores the model launch configuration history shown in the “Launch Model” drawer of the Web UI. This store is shared across all clients so the history is available from any browser or machine, and it is independent of the authentication database. When authentication is enabled, each record keeps the creator’s username (created_by). Default value is <XINFERENCE_HOME>/launch_history.db.