Xinference Huggingface常用命令

指定Xinference下载模型的路径

1. 通过环境变量全局设置

  • 修改默认存储路径 在启动Xinference服务前,通过设置环境变量 XINFERENCE_HOME 指定模型和数据的存储目录。例如:

    javascript 复制代码
    Bash
    export XINFERENCE_HOME=/your/custom/path
    xinference-local --host 0.0.0.0 --port 9997

    这样所有模型和缓存文件都会保存在 /your/custom/path 目录下

  • 指定模型下载来源 若需从魔搭社区(ModelScope)下载模型,可额外设置:

    ini 复制代码
    Bash
    export XINFERENCE_MODEL_SRC=modelscope

    这会将默认的HuggingFace源替换为ModelScope

2. 在代码中指定模型路径

  • 使用ModelScope下载时自定义路径 若通过代码下载模型,可以在 snapshot_download 函数中直接设置 cache_dir 参数:

    ini 复制代码
    Python
    from modelscope import snapshot_download
    model_dir = snapshot_download('Jerry0/text2vec-base-chinese', cache_dir='/your/custom/path')

    此方法适用于需要临时调整单个模型的存储位置

  • 注册自定义模型时指定路径 自定义模型需在 model.json 配置文件中明确 model_uri 字段为模型的绝对路径:

    json 复制代码
    Json
    {
      "model_uri": "/home/your_model_path",
      ...
    }

    注册后,Xinference会直接从此路径加载模型

3. 通过软链接调整路径

  • 创建软链接覆盖默认缓存目录 如果已手动下载模型文件,可以通过软链接将自定义路径映射到Xinference的默认缓存路径:

    bash 复制代码
    Bash
    ln -s /your/custom/model/path ~/.xinference/cache/model-name-format

    例如,将已下载的ChatGLM3模型链接到默认缓存目录:

    javascript 复制代码
    Bash
    ln -s ~/Downloads/chatglm3-6b ~/.xinference/cache/chatglm3-pytorch-6b

    此方法适用于希望复用现有模型文件的情况

4. 通过启动参数临时指定

  • 启动服务时指定路径 直接在启动命令中结合环境变量设置:

    lua 复制代码
    Bash
    XINFERENCE_HOME=/your/custom/path xinference-local --host 0.0.0.0 --port 9997

    这种方式无需永久修改环境变量,适合临时调整

注意事项

  • 路径权限:确保自定义路径有读写权限。

  • 软链接校验 :Xinference会检查 ~/.xinference/cache 目录下的 __valid_download 文件,若通过软链接添加模型,需手动复制该文件或确保其存在

  • 模型格式 :路径中的模型目录需符合Xinference的命名规则(如 model-name-format),否则可能无法识别

以上方法可根据实际需求灵活选择。如果需要进一步调试,可参考Xinference的日志文件(默认在 ~/.xinference/logs 或自定义路径中)。

相关推荐
努力的小郑33 分钟前
别再说你会 new Object() 了!JVM 类加载的真相,绝对和你想的不一样
java·jvm·面试
Aphasia3111 小时前
react常用hook
前端·react.js·面试
AAA修煤气灶刘哥2 小时前
被参数校验 / 日志逼疯?AOP:1 个切入点,所有方法自动加 buff
java·后端·面试
似水流年流不尽思念2 小时前
mysql日志文件有哪些,分别介绍下作用 ?
后端·mysql·面试
AAA修煤气灶刘哥2 小时前
ThreadLocal:后端仔的「线程私藏小仓库」,再也不用到处传 userId 啦!
java·后端·面试
Warren983 小时前
如何在 Spring Boot 中安全读取账号密码等
java·开发语言·spring boot·后端·安全·面试·测试用例
南篱6 小时前
JavaScript原型链没那么难:一文彻底搞懂
javascript·面试
MaxHua6 小时前
多数据源与分库分表方案设计
后端·面试
AAA修煤气灶刘哥7 小时前
避坑!线程 / 线程池从入门到华为云实战,面试官听了都点头
java·后端·面试
前端小巷子9 小时前
Vue 3 运行机制
前端·vue.js·面试