Ollama&llama

Olllama

直接下载ollama程序,安装后可在cmd里直接运行大模型;

llama 3

meta 开源的最新llama大模型;

下载运行

1 ollama

ollama run llama3

2 github

下载仓库,需要linux环境,windows可使用wsl;

  1. 接受许可协议。获取下载链接
  2. 仓库运行download.sh

    3.quickstart
3 huggingface

meta

接受协议,访问模型文件,(不知道是不是affiliation填none被拒绝了)

补充

1.windows访问wsl文件

复制代码
\\wsl$ 

查看文件

  1. wsl访问windows

lwsl文件系统mnt已挂载windows盘符,不过需要在linux 里(terminal)访问,使用cp复制等。

  1. 使用ip网络传输文件

    #wsl terminal
    #查看IP地址
    ip addr

    复制windows文件至wsl

    scp [-r] file/dir hostname@ip_addr:/home/

    windows terminal

    scp [-r] hostname@ip_addr:/home/ D:\rev

  2. wsl nvidia cuda
    似乎默认能直接访问gpu,但cuda还需安装nvidia-cuda-toolkit

5.模型后缀

Instruct is fine-tuned for chat/dialogue use cases.

Example: ollama run llama3 / ollama run llama3:70b
Pre-trained is the base model.

Example: ollama run llama3:text / ollama run llama3:70b-text

相关推荐
❀͜͡傀儡师1 小时前
基于Docker的LLaMA-Factory全流程部署指南
docker·容器·llama
d1z8881 小时前
(二十)32天GPU测试从入门到精通-llama.cpp CPU/GPU 混合推理day18
人工智能·llama·显卡·llama.cpp
AI自动化工坊1 天前
Google LiteRT-LM生产级部署指南:如何在边缘设备实现高效LLM推理?
人工智能·ai·llama
gergul2 天前
在llama-cpp-python中使用自己编译的llama.cpp,解决pip install llama-cpp-python报错
python·llama·llama.cpp·llamacpppython
黑牛儿2 天前
零成本!Ollama本地部署国产大模型全指南(支持Kimi-K2.5/GLM-5/Qwen,新手秒上手)
ai·llama
奇思智算3 天前
LLaMA/Bert/扩散模型微调GPU选型及租用指南
人工智能·bert·llama
xingyuzhisuan3 天前
LoRA微调实战:8卡4090服务器如何高效微调LLaMA?
运维·服务器·llama·gpu算力
yumgpkpm4 天前
华为昇腾910B上用Kubernetes(K8s)部署LLM和用Docker部署LLM的区别
docker·chatgpt·容器·stable diffusion·kubernetes·llama·gpu算力
yumgpkpm4 天前
华为昇腾910B上用Kubernetes(K8s)部署LLM(Qwen3-32B)的详细步骤,保姆级命令及方法、下载链接等
运维·服务器·华为·stable diffusion·aigc·copilot·llama
YanDDDeat4 天前
【大模型微调】基于 Llama3-8B 的 LoRA 微调专有领域QA 问答对生成模型
python·语言模型·llama