Ollama&llama

Olllama

直接下载ollama程序,安装后可在cmd里直接运行大模型;

llama 3

meta 开源的最新llama大模型;

下载运行

1 ollama

ollama run llama3

2 github

下载仓库,需要linux环境,windows可使用wsl;

  1. 接受许可协议。获取下载链接
  2. 仓库运行download.sh

    3.quickstart
3 huggingface

meta

接受协议,访问模型文件,(不知道是不是affiliation填none被拒绝了)

补充

1.windows访问wsl文件

复制代码
\\wsl$ 

查看文件

  1. wsl访问windows

lwsl文件系统mnt已挂载windows盘符,不过需要在linux 里(terminal)访问,使用cp复制等。

  1. 使用ip网络传输文件

    #wsl terminal
    #查看IP地址
    ip addr

    复制windows文件至wsl

    scp [-r] file/dir hostname@ip_addr:/home/

    windows terminal

    scp [-r] hostname@ip_addr:/home/ D:\rev

  2. wsl nvidia cuda
    似乎默认能直接访问gpu,但cuda还需安装nvidia-cuda-toolkit

5.模型后缀

Instruct is fine-tuned for chat/dialogue use cases.

Example: ollama run llama3 / ollama run llama3:70b
Pre-trained is the base model.

Example: ollama run llama3:text / ollama run llama3:70b-text

相关推荐
Victor Zhong2 天前
llama.cpp 部署大模型到 Ubuntu 台式机 SOP
linux·ubuntu·llama
空空dream3 天前
07 | FastAPI + llama.cpp 接入 Langfuse监控Prompt请求
prompt·fastapi·llama
goodlook01233 天前
opencode调用本地模型三
人工智能·llama
Imagination官方博客4 天前
PowerVR 上的 LLM 性能与加速
人工智能·架构·llama·gpu算力
空空dream4 天前
03 | 更新:Ollama 换成 llama.cpp构建更小的离线镜像
人工智能·语言模型·llama
Imagination官方博客4 天前
如何在 E 系列GPU上使用 llama.cpp 和 千问3.5 运行 OpenCode
软件构建·llama·gpu算力
阡陌数智7 天前
Llama 4 MoE 架构深度拆解:交替稀疏专家设计与生产环境推理落地实战
架构·llama
论文复现现场7 天前
8卡4090能跑70B吗?Llama-2显存预算、QLoRA与通信瓶颈
人工智能·深度学习·分布式训练·llama·显存·qlora·算家云
Vd7H20A78 天前
Windows 下用 llama.cpp 运行 Qwen3.8-27B 并开启 512K 上下文 完全指南
windows·llama
jason.zeng@15022078 天前
(六)Prompt 优化
python·ai·langchain·prompt·ai编程·llama