直接运行llamafile格式模型

Llamafile是由Mozilla发布开源的,一个将大型语言模型和运行环境全部封装在一个可执行文件中的创新项目。在ModelScope平台上开放的丰富的Llamafile模型,都可以通过ModelScope命令行,直接在Linux/Mac/Windows等不同操作系统环境中,实现一键运行大模型。

无需提前配置或安装任何运行环境,直接安装ModelScope后,即可一键拉起指定的大模型。

复制代码

pip install modelscope -U

一键运行#

ModelScope平台上目前开放了数百个Llamafile格式的大模型,基本对于头部的大模型,都提供了对应的llamafile格式。您可以在模型页面左侧的框架选项中,选中Lllamfile,即可以直接筛选出Llamafile格式的模型。

同时您也可以通过对应的链接直达列表页。

在选择了您想要使用的模型后,可以如下命令行来调用:

复制代码

modelscope llamafile --model {model_id}

例如如果要运行Qwen2.5-3B模型:

复制代码

modelscope llamafile --model Qwen-Llamafile/Qwen2.5-3B-Instruct-llamafile

  • 在Linux环境上:

  • 在Mac笔记本上:

WebUI访问#

同时llamafile底层基于llama.cpp搭建,在运行的同时,通过默认的http://127.0.0.1:8080/ 地址即可访问其WebUI:

命令行选项#

除了如上基本的用法以外,使用ModelScope命令行拉起llamafile大模型时,还可以指定精度,或指定模型库里的llamafile文件等配置。例如如果要使用不同精度的llamafile文件,可以通过--accuracy参数来指定,例如Q2_K,Q5_0等等。 同时也可以通过--file参数,来直接指定模型库里的llamafile文件名,例如:

比如如下两种调用方式,是等效的,都是选择模型库里,精度为"Q2_K"的模型。

复制代码

modelscope llamafile --model Qwen-Llamafile/Qwen2.5-3B-Instruct-llamafile --accuracy Q2_K

复制代码

modelscope llamafile --model Qwen-Llamafile/Qwen2.5-3B-Instruct-llamafile --file qwen2.5-3b-instruct-q2_k.llamafile

相关推荐
songgeb2 天前
Concurrency in Swift学习笔记-初识
ios·swift
杂雾无尘2 天前
2025 年了,是否该全面拥抱 Swift 6?
ios·swift·客户端
杂雾无尘3 天前
用高斯公式优化 Swift 代码,让运行速度飞跃数十万倍!
ios·swift·apple
杂雾无尘4 天前
解决 Xcode 烦人错误:"Build input file cannot be found" 一招搞定!
ios·swift·客户端
水木姚姚5 天前
图书管理软件iOS(iPhone)
macos·ios·iphone·xcode·swift
东坡肘子6 天前
F1:电影很好看,赛事很挣钱 | 肘子的 Swift 周报 #094
swiftui·swift·apple
YungFan6 天前
iOS26适配指南之动画
ios·swift
瓜子三百克7 天前
Swift6.1 - 基础知识1: 简单值、控制流、函数和闭包
开发语言·swift
songgeb7 天前
Currying and Partial application
swift·函数式编程
Keya9 天前
lipo 命令行指南
ios·xcode·swift