模型从 HuggingFace 转存到 ModelScope

由于 HuggingFace 网络访问比较慢,国内通常会使用魔搭下载模型,如果魔搭上还没有,需要从 HuggingFace 准存一下,本文将通过 Colab + AliyunPan 的方式下载模型并进行转存。

登录Colab 并运行一下命令

安装依赖包,Huggingface 和云盘

复制代码
# 安装需要的包
!pip install huggingface_hub aligo

下载模型

复制代码
import huggingface_hub as hh

repo_id = "TencentBAC/Conan-embedding-v1"
revision_list = hh.list_repo_refs(repo_id)
ref = revision_list.branches[0].ref
hh.snapshot_download(repo_id=repo_id, revision=ref, local_dir="./download")

登录阿里云盘

复制代码
# 上传阿里云盘,填上token
from aligo import Aligo
ali = Aligo()

# 获取用户信息和获取网盘根目录文件列表
user = ali.get_user()
print(user.user_name, user.nick_name, user.phone)
ll = ali.get_file_list() 

上传目录

复制代码
outpath="/content/download"
remote_folder = ali.get_folder_by_path("model100", create_folder=True)
ali.upload_folder(outpath, remote_folder.file_id)

文件成功上传

上传 ModelScope

在 ModelScope 上启动 Notebook

进入 Notebook 安装依赖

复制代码
!pip install aligo

登录云盘,会出现二维码,扫码登录

复制代码
from aligo import Aligo
ali = Aligo()

下载模型,设置云盘的目录位置,指定目标路径并下载

复制代码
file = ali.get_folder_by_path('model100/download')

ali.download_folder(folder_file_id=file.file_id, local_folder="/tmp")

上传到魔搭,替换为自己的 Token,设置模型 Id 为自己创建的模型的 Id,甚至本地路径。

复制代码
from modelscope.hub.api import HubApi
local_dir = "/tmp/download"
'''
魔搭需要一个配置文件,否则上传失败,这里创建一个空文件
'''
!touch {local_dir+"/configuration.json"}
YOUR_ACCESS_TOKEN = '9ec19501-230a-4749-9909-b093e5466e74'
api = HubApi()
api.login(YOUR_ACCESS_TOKEN)
api.push_model(
    model_id="model1001/Conan",
    model_dir=local_dir
)

修改配置文件内容,model 的配置信息直接从 HuggingFace config.json 文件中拷贝即可。

复制代码
{
    "framework": "pytorch",
    "task": "sentence-embedding",
    "model": {
        "architectures": [
            "BertModel"
        ],
        "attention_probs_dropout_prob": 0.1,
        "classifier_dropout": null,
        "directionality": "bidi",
        "gradient_checkpointing": false,
        "hidden_act": "gelu",
        "hidden_dropout_prob": 0.1,
        "hidden_size": 1024,
        "initializer_range": 0.02,
        "intermediate_size": 4096,
        "layer_norm_eps": 1e-12,
        "max_position_embeddings": 512,
        "model_type": "bert",
        "num_attention_heads": 16,
        "num_hidden_layers": 24,
        "pad_token_id": 0,
        "pooler_fc_size": 768,
        "pooler_num_attention_heads": 12,
        "pooler_num_fc_layers": 3,
        "pooler_size_per_head": 128,
        "pooler_type": "first_token_transform",
        "position_embedding_type": "absolute",
        "torch_dtype": "float32",
        "transformers_version": "4.36.2",
        "type_vocab_size": 2,
        "use_cache": true,
        "vocab_size": 21128
    },
    "pipeline": {
        "type": "sentence-embedding"
    }
}

上传成功后,会进入审核进度,审核很快可以完成。

测试上传的模型

复制代码
from modelscope.models import Model
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

model_id = "model1001/Conan"
pipeline_se = pipeline(Tasks.sentence_embedding,
                       model=model_id,
                       sequence_length=512
                       ) 

# 当输入包含"soure_sentence"与"sentences_to_compare"时,会输出source_sentence中首个句子与sentences_to_compare中每个句子的向量表示,以及source_sentence中首个句子与sentences_to_compare中每个句子的相似度。
inputs = {
        "source_sentence": ["吃完海鲜可以喝牛奶吗?"],
        "sentences_to_compare": [
            "不可以,早晨喝牛奶不科学",
            "吃了海鲜后是不能再喝牛奶的,因为牛奶中含得有维生素C,如果海鲜喝牛奶一起服用会对人体造成一定的伤害",
            "吃海鲜是不能同时喝牛奶吃水果,这个至少间隔6小时以上才可以。",
            "吃海鲜是不可以吃柠檬的因为其中的维生素C会和海鲜中的矿物质形成砷"
        ]
    }

result = pipeline_se(input=inputs)
print (result)

总结

HuggingFace 模型转到 ModelScope 基本上就是直接的文件拷贝,上传前需要将模型配置稍微调整一下。

相关推荐
AI大模型9 小时前
MCP快速入门—快速构建自己的服务器
llm·agent·mcp
AI大模型9 小时前
拒绝“纸上谈兵”!这本《图解大模型:生成式 AI 原理与实战》太适合入门大模型了
程序员·llm·deepseek
聚客AI13 小时前
⚡手撕Transformer心脏:从RoPE到2025 Meta三线性体积编码的跃迁
人工智能·pytorch·llm
智泊AI13 小时前
多模态对比学习模型CLIP原理是什么?(讲人话版)
llm
G皮T13 小时前
【人工智能】通过 Dify 构建智能助手
人工智能·ai·llm·大语言模型·dify·ai agent·智能体
JimmysAIPG16 小时前
从零训练大模型之模型升级版搭建及训练总结(下)
llm
用户3151837181718 小时前
LLM大模型智能引擎实战–SpringAI+RAG+MCP+实时搜索 | 高清同步
llm
大模型开发1 天前
5分钟带你搞懂从0打造一个ChatGPT
chatgpt·程序员·llm
大模型教程1 天前
一文速通提示词工程Prompt Engineering
程序员·llm·agent
AI大模型1 天前
大模型炼丹术(八):手把手教你玩转 LLM 的指令微调
程序员·llm·agent