选一个模型,平台在你独占的实例里把它跑起来。
第一次启动要把权重下载到实例的 /workspace 里,体积大时可能要十几分钟; 下载和加载的进度都能在日志里看到。
/workspace
—
模型服务要在 vLLM 运行时镜像里才起得来。当前实例不是这个镜像的话, 先到实例管理页「重装系统 → vLLM OpenAI server」,否则进程会因为找不到 vllm 直接退出(日志会如实显示)。换镜像会清掉系统盘,/workspace 里的数据默认保留。
vllm