直接运行llamafile格式模型

Llamafile是由Mozilla发布开源的,一个将大型语言模型和运行环境全部封装在一个可执行文件中的创新项目。在ModelScope平台上开放的丰富的Llamafile模型,都可以通过ModelScope命令行,直接在Linux/Mac/Windows等不同操作系统环境中,实现一键运行大模型。

无需提前配置或安装任何运行环境,直接安装ModelScope后,即可一键拉起指定的大模型。

复制代码

pip install modelscope -U

一键运行#

ModelScope平台上目前开放了数百个Llamafile格式的大模型,基本对于头部的大模型,都提供了对应的llamafile格式。您可以在模型页面左侧的框架选项中,选中Lllamfile,即可以直接筛选出Llamafile格式的模型。

同时您也可以通过对应的链接直达列表页。

在选择了您想要使用的模型后,可以如下命令行来调用:

复制代码

modelscope llamafile --model {model_id}

例如如果要运行Qwen2.5-3B模型:

复制代码

modelscope llamafile --model Qwen-Llamafile/Qwen2.5-3B-Instruct-llamafile

  • 在Linux环境上:

  • 在Mac笔记本上:

WebUI访问#

同时llamafile底层基于llama.cpp搭建,在运行的同时,通过默认的http://127.0.0.1:8080/ 地址即可访问其WebUI:

命令行选项#

除了如上基本的用法以外,使用ModelScope命令行拉起llamafile大模型时,还可以指定精度,或指定模型库里的llamafile文件等配置。例如如果要使用不同精度的llamafile文件,可以通过--accuracy参数来指定,例如Q2_K,Q5_0等等。 同时也可以通过--file参数,来直接指定模型库里的llamafile文件名,例如:

比如如下两种调用方式,是等效的,都是选择模型库里,精度为"Q2_K"的模型。

复制代码

modelscope llamafile --model Qwen-Llamafile/Qwen2.5-3B-Instruct-llamafile --accuracy Q2_K

复制代码

modelscope llamafile --model Qwen-Llamafile/Qwen2.5-3B-Instruct-llamafile --file qwen2.5-3b-instruct-q2_k.llamafile

相关推荐
旷世奇才李先生14 小时前
Swift 安装使用教程
开发语言·ios·swift
Daniel_Coder1 天前
Xcode 中常用图片格式详解
ios·xcode·swift
帅次1 天前
Objective-C面向对象编程:类、对象、方法详解(保姆级教程)
flutter·macos·ios·objective-c·iphone·swift·safari
RyanGo1 天前
iOS断点下载
ios·swift
杂雾无尘1 天前
掌握生死时速:苹果应用加急审核全攻略!
ios·swift·apple
HarderCoder1 天前
Swift 6.2 中的 `@concurrent`
ios·swift
YungFan2 天前
iOS26适配指南之通知
ios·swift
大熊猫侯佩11 天前
消失的它:摆脱 SwiftUI 中“嵌入视图数量不能超过 10 个”限制的秘密
swiftui·swift·apple
大熊猫侯佩11 天前
Swift 抛砖引玉:从数组访问越界想到的“可抛出错误”属性
swift·apple
大熊猫侯佩11 天前
ruby、Python 以及 Swift 语言关于 “Finally” 实现的趣谈
python·ruby·swift