在Ubuntu Linux安装brew 使用brew安装llama.cpp 运行文心Ernie大模型

经常用Mac的都知道brew,是Mac下的包管理软件。其实这个包管理软件也可以安装在Linux系统,进而可以用brew管理和安装linux软件包。

安装brew

直接安装

直接用下面命令安装即可,注意需要用管理员权限

复制代码
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

配置环境变量

安装完成,提示配置环境变量:

复制代码
    echo >> /root/.bashrc
    echo 'eval "$(/home/linuxbrew/.linuxbrew/bin/brew shellenv)"' >> /root/.bashrc
    eval "$(/home/linuxbrew/.linuxbrew/bin/brew shellenv)"

因为是直接在root账户下安装的,所以环境变量也都设置的root账户下。

同时它还提醒安装gcc,照办:

复制代码
brew install gcc

配置一下清华加速镜像

复制代码
export HOMEBREW_BREW_GIT_REMOTE="https://mirrors.ustc.edu.cn/brew.git"
export HOMEBREW_CORE_GIT_REMOTE="https://mirrors.ustc.edu.cn/homebrew-core.git"
export HOMEBREW_BOTTLE_DOMAIN="https://mirrors.ustc.edu.cn/homebrew-bottles"

安装完成,测试一下,安装llama.cpp

安装llama.cpp

先用brew search查看一下 llama相关的软件包

复制代码
brew search llama
==> Formulae
gollama                       llama.cpp                     ollama                        lla                           llm

直接brew安装llama.cpp

复制代码
brew install llama.cpp

配置llama.cpp加速镜像

如果速度慢,就加上Huggingface的加速镜像

复制代码
export HF_ENDPOINT=https://hf-mirror.com

用llama.cpp启动文心ERNIE模型

就用这个文心ERNIE明星模型ERNIE-4.5-21B-A3B-Thinking ,当然是GGUF格式的:ERNIE-4.5-21B-A3B-Thinking-Q4_K_M-GGUF

复制代码
llama-cli --hf-repo enacimie/ERNIE-4.5-21B-A3B-Thinking-Q4_K_M-GGUF --hf-file ernie-4.5-21b-a3b-thinking-q4_k_m.gguf -p "The meaning to life and the universe is"

如果下载模型速度慢,就加上Huggingface的加速镜像

复制代码
export HF_ENDPOINT=https://hf-mirror.com

启动了,但是因为只用了异构计算架构的cpu,么有用到dcu,所以速度非常慢,有多慢呢,简直比13年前的cpu慢

复制代码
<|im_start|>user
The meaning to life and the universe is 
<|im_start|>assistant

We are going to explore the meaning of life and the universe in the context of human existence. 

The Meaning of Life:

Philosophical Perspectives:
- Existentialism: Emphasizes individual freedom and responsibility. The meaning of life is what each person chooses to create. 
- Eudaimonism: Focuses on flourishing (eudaimonia) through virtues and realizing one's potential. 
- Religious/Spiritual Views: Many religions propose that life's meaning comes from serving a higher power or fulfilling a divine plan. 

The Meaning of the Universe: 

Cosmological View: 
- The universe is vast and indifferent to human concerns. 
- Big Bang Theory: The universe began 13.8 billion years ago and has been expanding ever since. 
- Steady State Theory: The universe is eternally constant, but this has been largely discredited. 
- Multiverse Theory: Our universe is one of many, with each having different physical laws. 

Connecting Life and

总结

这次主要是实践在Linux系统安装brew,并通过brew来安装llama.cpp,进而启动文心大模型。

总体实践成功过!

相关推荐
吴佳浩4 小时前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
forest_097 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区8 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔9 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区9 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM1239 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI9 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健10 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV10 小时前
Google 重返第一梯队
人工智能·google·aigc