Ollama&llama

Olllama

直接下载ollama程序,安装后可在cmd里直接运行大模型;

llama 3

meta 开源的最新llama大模型;

下载运行

1 ollama

ollama run llama3

2 github

下载仓库,需要linux环境,windows可使用wsl;

  1. 接受许可协议。获取下载链接
  2. 仓库运行download.sh

    3.quickstart
3 huggingface

meta

接受协议,访问模型文件,(不知道是不是affiliation填none被拒绝了)

补充

1.windows访问wsl文件

复制代码
\\wsl$ 

查看文件

  1. wsl访问windows

lwsl文件系统mnt已挂载windows盘符,不过需要在linux 里(terminal)访问,使用cp复制等。

  1. 使用ip网络传输文件

    #wsl terminal
    #查看IP地址
    ip addr

    复制windows文件至wsl

    scp [-r] file/dir hostname@ip_addr:/home/

    windows terminal

    scp [-r] hostname@ip_addr:/home/ D:\rev

  2. wsl nvidia cuda
    似乎默认能直接访问gpu,但cuda还需安装nvidia-cuda-toolkit

5.模型后缀

Instruct is fine-tuned for chat/dialogue use cases.

Example: ollama run llama3 / ollama run llama3:70b
Pre-trained is the base model.

Example: ollama run llama3:text / ollama run llama3:70b-text

相关推荐
喜欢吃豆1 天前
llama.cpp 全方位技术指南:从底层原理到实战部署
人工智能·语言模型·大模型·llama·量化·llama.cpp
skywalk81632 天前
在星河社区部署大模型unsloth/Llama-3.3-70B-Instruct-GGUF
llama·aistudio
鹿子沐2 天前
LlamaFactory微调效果与vllm部署效果不一致
人工智能·llama
三千院本院3 天前
LlaMA_Factory实战微调Qwen-LLM大模型
人工智能·python·深度学习·llama
珊珊而川3 天前
MAC-SQL:SQL-Llama 的具体训练流程
sql·macos·llama
共绩算力3 天前
Llama 4 Maverick Scout 多模态MoE新里程碑
人工智能·llama·共绩算力
yanzhilv5 天前
Ollama + Open WebUI
llama
喜欢吃豆6 天前
掌握本地化大语言模型部署:llama.cpp 工作流与 GGUF 转换内核全面技术指南
人工智能·语言模型·架构·大模型·llama·llama.cpp·gguf
illuspas8 天前
Ubuntu 24.04下编译支持ROCm加速的llama.cpp
linux·ubuntu·llama
缘友一世11 天前
LLama3架构原理浅浅学学
人工智能·自然语言处理·nlp·transformer·llama