自己的mac 电脑上部署本地大模型

一下载并安装ollama

打开https://ollama.com/ ollama官网

击页面上的 "Download for macOS " 按钮，下载适用于 macOS 的安装包（通常是一个 .dmg文件）并安装ollama

安装后查看ollama版本：

二选择模型：

本人电脑配置：

由于电脑配置低，本人处理的文档基本都是中文，所以选择了阿里千问

下载命令如下：

复制代码

ollama pull qwen2.5:0.5b
ollama run qwen2.5:0.5b

结果如下：

复制代码

import os
from dotenv import load_dotenv
from langchain_openai import ChatOpenAI
from langchain_core.messages import HumanMessage, SystemMessage



# 2. 初始化模型（关键：配置 base_url）
llm = ChatOpenAI(
    model="qwen2.5:0.5b",  # 必须参数，也可用 "deepseek-reasoner"
    base_url="http://localhost:11434/v1",  # 指向DeepSeek
    api_key="not need",
    temperature=0.7 # 随机性：0-2，越高越随机
)

# 3. 构建对话消息
messages = [
    SystemMessage(content="你是一个专业文档身后助手。"),
    HumanMessage(content="请帮我审核一下合同的风险。")
]

# 4. 调用并获取响应
response = llm.invoke(messages)
print(response.content)

执行结果：

复制代码

/usr/local/bin/python3 /Users/fish_study/github/python/learn/langchain/demo_local.py
当然，我很乐意帮你审核合同的风险。不过，为了能够更准确地帮助你，我需要了解一些具体的信息：

1. **合同的详细内容**：包括主要条款、权利和义务、支付方式、付款条件等。
2. **涉及的方及其他相关方的情况**：比如供应商、客户、以及其他可能影响合同风险的所有相关方。
3. **违约情况下的后果**：如果合同发生违约，如何界定违约责任，并且如何解决或惩罚违约方。

请告诉我这些详细信息，我将根据你的描述来分析合同的风险。

Process finished with exit code 0