Ollama&llama

Olllama

直接下载ollama程序,安装后可在cmd里直接运行大模型;

llama 3

meta 开源的最新llama大模型;

下载运行

1 ollama

ollama run llama3

2 github

下载仓库,需要linux环境,windows可使用wsl;

  1. 接受许可协议。获取下载链接
  2. 仓库运行download.sh

    3.quickstart
3 huggingface

meta

接受协议,访问模型文件,(不知道是不是affiliation填none被拒绝了)

补充

1.windows访问wsl文件

复制代码
\\wsl$ 

查看文件

  1. wsl访问windows

lwsl文件系统mnt已挂载windows盘符,不过需要在linux 里(terminal)访问,使用cp复制等。

  1. 使用ip网络传输文件

    #wsl terminal
    #查看IP地址
    ip addr

    复制windows文件至wsl

    scp [-r] file/dir hostname@ip_addr:/home/

    windows terminal

    scp [-r] hostname@ip_addr:/home/ D:\rev

  2. wsl nvidia cuda
    似乎默认能直接访问gpu,但cuda还需安装nvidia-cuda-toolkit

5.模型后缀

Instruct is fine-tuned for chat/dialogue use cases.

Example: ollama run llama3 / ollama run llama3:70b
Pre-trained is the base model.

Example: ollama run llama3:text / ollama run llama3:70b-text

相关推荐
寒水馨1 天前
Windows下载、安装ollama-v0.32.1(附安装包OllamaSetup.exe)
windows·llm·大语言模型·llama·本地部署·ollama·模型运行
老刘说AI2 天前
AI服务核心: 高并发原理与性能监控调优
人工智能·神经网络·langchain·llama·持续部署
头茬韭菜3 天前
Kronos 模型推理性能基准测试报告
llama
亮亮在江湖3 天前
# 手写原生Transformers SFT脚本 vs LLaMA Factory 训练 核心完整对比
llama
染指11103 天前
61.RAG-RAG存在的问题
人工智能·llama·rag·llama_index·llamaindex
CClaris8 天前
大模型量化从0到1(九):用 llama.cpp 把模型转成 GGUF 并跑本地推理
人工智能·pytorch·python·深度学习·llama
染指11108 天前
56.llama_index-查询引擎
人工智能·llama·rag·llama_index·llamaindex
_codemonster8 天前
从零手搓大模型(七)GPT 转 Llama:从教学版 GPT 走向现代 LLM 架构
人工智能·gpt·大模型·llama
SLD_Allen9 天前
Purple Llama:Meta开源的LLM安全“紫队”工具箱
安全·开源·llama
俊俊谢9 天前
从零搭建:本地LangChain Agent调用远程LLaMA-Factory模型服务
langchain·llama