Xinference Huggingface常用命令

指定Xinference下载模型的路径

1. 通过环境变量全局设置

  • 修改默认存储路径 在启动Xinference服务前,通过设置环境变量 XINFERENCE_HOME 指定模型和数据的存储目录。例如:

    javascript 复制代码
    Bash
    export XINFERENCE_HOME=/your/custom/path
    xinference-local --host 0.0.0.0 --port 9997

    这样所有模型和缓存文件都会保存在 /your/custom/path 目录下

  • 指定模型下载来源 若需从魔搭社区(ModelScope)下载模型,可额外设置:

    ini 复制代码
    Bash
    export XINFERENCE_MODEL_SRC=modelscope

    这会将默认的HuggingFace源替换为ModelScope

2. 在代码中指定模型路径

  • 使用ModelScope下载时自定义路径 若通过代码下载模型,可以在 snapshot_download 函数中直接设置 cache_dir 参数:

    ini 复制代码
    Python
    from modelscope import snapshot_download
    model_dir = snapshot_download('Jerry0/text2vec-base-chinese', cache_dir='/your/custom/path')

    此方法适用于需要临时调整单个模型的存储位置

  • 注册自定义模型时指定路径 自定义模型需在 model.json 配置文件中明确 model_uri 字段为模型的绝对路径:

    json 复制代码
    Json
    {
      "model_uri": "/home/your_model_path",
      ...
    }

    注册后,Xinference会直接从此路径加载模型

3. 通过软链接调整路径

  • 创建软链接覆盖默认缓存目录 如果已手动下载模型文件,可以通过软链接将自定义路径映射到Xinference的默认缓存路径:

    bash 复制代码
    Bash
    ln -s /your/custom/model/path ~/.xinference/cache/model-name-format

    例如,将已下载的ChatGLM3模型链接到默认缓存目录:

    javascript 复制代码
    Bash
    ln -s ~/Downloads/chatglm3-6b ~/.xinference/cache/chatglm3-pytorch-6b

    此方法适用于希望复用现有模型文件的情况

4. 通过启动参数临时指定

  • 启动服务时指定路径 直接在启动命令中结合环境变量设置:

    lua 复制代码
    Bash
    XINFERENCE_HOME=/your/custom/path xinference-local --host 0.0.0.0 --port 9997

    这种方式无需永久修改环境变量,适合临时调整

注意事项

  • 路径权限:确保自定义路径有读写权限。

  • 软链接校验 :Xinference会检查 ~/.xinference/cache 目录下的 __valid_download 文件,若通过软链接添加模型,需手动复制该文件或确保其存在

  • 模型格式 :路径中的模型目录需符合Xinference的命名规则(如 model-name-format),否则可能无法识别

以上方法可根据实际需求灵活选择。如果需要进一步调试,可参考Xinference的日志文件(默认在 ~/.xinference/logs 或自定义路径中)。

相关推荐
熬了夜的程序员9 小时前
【华为机试】34. 在排序数组中查找元素的第一个和最后一个位置
数据结构·算法·华为od·华为·面试·golang
小徐不徐说11 小时前
C++ 模板与 STL 基础入门:从泛型编程到实战工具集
开发语言·数据结构·c++·qt·面试
牛客企业服务14 小时前
2025校招AI应用:校园招聘的革新与挑战
大数据·人工智能·机器学习·面试·职场和发展·求职招聘·语音识别
倔强青铜三14 小时前
苦练Python第38天:input() 高级处理,安全与异常管理
人工智能·python·面试
小高00715 小时前
🚀把 async/await 拆成 4 块乐高!面试官当场鼓掌👏
前端·javascript·面试
雲墨款哥15 小时前
为什么我的this.name输出了空字符串?严格模式与作用域链的微妙关系
前端·javascript·面试
丘山子17 小时前
DNS 原理入门
前端·后端·面试
丘山子20 小时前
Python 布尔运算的优雅实践
后端·python·面试
海风极客20 小时前
Go内存逃逸分析,真的很神奇吗?
后端·面试