Ollama 可以玩 GLM4和CodeGeeX4了

最近这一两周看到不少互联网公司都已经开始秋招提前批了。

不同以往的是,当前职场环境已不再是那个双向奔赴时代了。求职者在变多,HC 在变少,岗位要求还更高了。

最近,我们又陆续整理了很多大厂的面试题,帮助一些球友解惑答疑,分享技术面试中的那些弯弯绕绕。

总结链接如下:

《大模型面试宝典》(2024版) 发布!

喜欢本文记得收藏、关注、点赞。更多实战和面试交流,文末加入我们


GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中, GLM-4-9B 在各项能力上均表现出卓越的能力。

CodeGeeX4-ALL-9B 是最新的 CodeGeeX4 系列模型的开源版本。该模型是在 GLM-4-9B 基础上持续训练的多语言代码生成模型,显著提升了代码生成能力。

GGUF模型链接:

https://www.modelscope.cn/models/LLM-Research/codegeex4-all-9b-GGUF

环境配置与安装

GGUF模型下载:

glm-4-9b-chat-GGUF

bash 复制代码
modelscope download --model=LLM-Research/glm-4-9b-chat-GGUF --local_dir . glm-4-9b-chat.Q5_K.gguf

codegeex4-all-9b-GGUF:

bash 复制代码
modelscope download --model=LLM-Research/codegeex4-all-9b-GGUF --local_dir . codegeex4-all-9b-Q5_K_M.gguf

使用Ollama推理

Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供了一个简单而高效的接口,用于创建、运行和管理这些模型,同时还提供了一个丰富的预构建模型库,可以轻松集成到各种应用程序中。Ollama支持多种操作系统,包括macOS、Windows、Linux以及Docker,适用性广泛。通过Ollama,用户可以方便地部署和运行GLM-4-9B 等开源的大语言模型。此外,Ollama还提供了包括网页、桌面应用和终端界面在内的多种互动方式,方便用户使用和管理这些模型。

本次我们在魔搭社区免费Notebook的CPU环境体验:

Linux环境使用

Liunx用户可使用魔搭镜像环境安装【推荐】

bash 复制代码
modelscope download --model=modelscope/ollama-linux --local_dir ./ollama-linux
cd ollama-linux
sudo chmod 777 ./ollama-modelscope-install.sh
./ollama-modelscope-install.sh

启动Ollama服务

bash 复制代码
ollama serve

创建ModelFile

复制模型路径,创建名为"ModelFile"的meta文件,内容如下:

bash 复制代码
FROM /mnt/workspace/glm-4-9b-chat.Q5_K.gguf
#FROM /mnt/workspace/codegeex4-all-9b-Q5_K_M.gguf

# set parameters
PARAMETER stop "<|system|>"
PARAMETER stop "<|user|>"
PARAMETER stop "<|assistant|>"

TEMPLATE """[gMASK]<sop>{{ if .System }}<|system|>
{{ .System }}{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}{{ end }}<|assistant|>
{{ .Response }}"""

创建自定义模型

使用ollama create命令创建自定义模型

bash 复制代码
ollama create myglm4 --file ModelFile

运行模型:

bash 复制代码
ollama run myglm4

技术交流&资料

用通俗易懂方式讲解系列

相关推荐
AI_小站2 分钟前
RAG 示例:使用 langchain、Redis、llama.cpp 构建一个 kubernetes 知识库问答
人工智能·程序人生·langchain·kubernetes·llama·知识库·rag
Doker 多克4 分钟前
Spring AI 框架使用的核心概念
人工智能·spring·chatgpt
Guofu_Liao5 分钟前
Llama模型文件介绍
人工智能·llama
思通数科多模态大模型35 分钟前
10大核心应用场景,解锁AI检测系统的智能安全之道
人工智能·深度学习·安全·目标检测·计算机视觉·自然语言处理·数据挖掘
数据岛39 分钟前
数据集论文:面向深度学习的土地利用场景分类与变化检测
人工智能·深度学习
学不会lostfound1 小时前
三、计算机视觉_05MTCNN人脸检测
pytorch·深度学习·计算机视觉·mtcnn·p-net·r-net·o-net
红色的山茶花1 小时前
YOLOv8-ultralytics-8.2.103部分代码阅读笔记-block.py
笔记·深度学习·yolo
龙的爹23331 小时前
论文翻译 | RECITATION-AUGMENTED LANGUAGE MODELS
人工智能·语言模型·自然语言处理·prompt·gpu算力
白光白光1 小时前
凸函数与深度学习调参
人工智能·深度学习
sp_fyf_20241 小时前
【大语言模型】ACL2024论文-18 MINPROMPT:基于图的最小提示数据增强用于少样本问答
人工智能·深度学习·神经网络·目标检测·机器学习·语言模型·自然语言处理