在 Azure OpenAI 上利用 GPT-35-Turbo 和 GPT-4 开启 AI 创新之旅

OpenAI 的强大 GPT 模型(包括 GPT-35-Turbo 和 GPT-4)现在可以通过 Azure OpenAI 服务 访问。

此服务使开发人员能够轻松将这些模型集成到应用程序中,用于聊天机器人、代码生成、内容创建等任务,同时受益于 Azure 强大的基础设施。

本指南将帮助您使用 Python 开始使用这些模型。

为什么选择 Azure OpenAI?

Azure OpenAI 服务通过提供以下功能将 OpenAI 模型的功能扩展到企业级别:

  • 企业级安全性:完全符合 ISO、SOC 等安全标准。

  • 可扩展性:利用 Azure 的全球数据中心提供可用性和性能。

  • 与 Azure 服务集成:无缝集成 Azure Functions、Logic Apps 和 Azure Machine Learning 等其他 Azure 服务。

价格表

https://azure.microsoft.com/en-us/pricing/details/cognitive-services/openai-service/#pricing

先决条件

在实施之前,请确保您具备以下条件:

  • Azure 订阅 :您可以在此免费创建一个

  • Python 3.8 或更高版本:确保您的机器上已安装 Python。

  • Azure OpenAI 资源 :部署 GPT-35-Turbo 或 GPT-4 模型。请按照此指南设置资源。

  • Python 库 :需要 OpenAI 库和 os 库来管理环境变量。

不同的集成方式

Azure OpenAI 服务支持不同的访问 GPT-35-Turbo 和 GPT-4 的方式:

  • REST API:通过 HTTP 请求与模型交互。

  • Python SDK :使用 openai 库在 Python 应用程序中集成模型。

  • Azure OpenAI Studio:一个用于测试、微调和管理模型的 Web 界面。

在本指南中,我们将重点介绍 Python SDK 方法,这是开发中最通用且最广泛使用的方法。

设置您的环境

1. 安装 OpenAI Python 客户端

第一步是安装 OpenAI Python 库,该库可让您与 GPT 模型进行交互:

plain 复制代码
pip install openai

该库由 OpenAI 维护并定期更新。您可以查看发布历史以保持最新的改进。

2. 获取 API 密钥和终端节点

要对 Azure OpenAI 进行身份验证请求,您需要两条重要信息:

  1. API 密钥:在 Azure OpenAI 资源设置中的"密钥和终端节点"下找到。

  2. 终端节点:同样可在"密钥和终端节点"部分找到。

将这些值安全地存储在环境变量中,以避免在代码中硬编码敏感数据。

设置环境变量

对于 Windows:

plain 复制代码
setx AZURE_OPENAI_API_KEY "YOUR_API_KEY"
setx AZURE_OPENAI_ENDPOINT "YOUR_ENDPOINT"

对于 Linux/Mac:

plain 复制代码
export AZURE_OPENAI_API_KEY="YOUR_API_KEY"
export AZURE_OPENAI_ENDPOINT="YOUR_ENDPOINT"

或者,为了在生产环境中更好地保护安全性,可以将您的凭据存储在 Azure Key Vault 中。

创建一个基础的 Python 应用程序

现在您的环境已经设置好,让我们创建一个基础的 Python 应用程序与 GPT-35-Turbo 模型进行交互。我们将使用 openai 库向模型发送查询并打印响应。

1. 创建应用程序文件

创建一个名为 quickstart.py 的文件,并将以下代码粘贴到其中:

plain 复制代码
import os
from openai import AzureOpenAI
# Initialize the client
client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"),
  api_key = os.getenv("AZURE_OPENAI_API_KEY"),
  api_version = "2024-02-01"  # Update this if necessary
)
# Define the prompt and conversation
response = client.chat.completions.create(
    model="gpt-35-turbo",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "What is Azure OpenAI?"}
    ]
)
# Print the assistant's response
print(response.choices[0].message.content)

2. 运行应用程序

要执行脚本,只需运行:

plain 复制代码
python quickstart.py

这将提示助手解释 Azure OpenAI 是什么,并在终端中打印响应。

理解代码结构

  • 系统角色:定义助手的行为(例如,乐于助人、正式等)。

  • 用户角色:向模型发送用户的查询。

  • 助手角色:助手对用户的输入作出回应。

这种格式使处理对话式交互成为可能,尤其适用于多轮对话(用户和助手之间多次问题和答案的交换)。

添加高级功能

1. 管理长对话

Azure OpenAI 模型每个请求都有令牌限制。对于 GPT-35-Turbo,令牌限制为 4096。每次发出新的 API 请求时,您需要发送整个对话历史记录,以保留上下文。如果您的对话超过了这个限制,模型将无法处理。

为了解决这个问题,您可以移除较旧的消息,以保持在令牌限制之内。

以下是实现方法的示例:

plain 复制代码
import os
from openai import AzureOpenAI
import tiktoken


# Initialize the client
client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"),
  api_key = os.getenv("AZURE_OPENAI_API_KEY"),
  api_version = "2024-02-01"
)
conversation = [{"role": "system", "content": "You are a helpful assistant."}]
max_tokens = 4096
def count_tokens(messages, model="gpt-35-turbo"):
    encoding = tiktoken.encoding_for_model(model)
    num_tokens = 0
    for message in messages:
        num_tokens += len(encoding.encode(message["content"]))
    return num_tokens
while True:
    user_input = input("You: ")
    conversation.append({"role": "user", "content": user_input})
    
    # Check if token limit is reached
    if count_tokens(conversation) >= max_tokens:
        del conversation[1]  # Remove the oldest message except the system message
    response = client.chat.completions.create(
        model="gpt-35-turbo",
        messages=conversation
    )
    
    conversation.append({"role": "assistant", "content": response.choices[0].message.content})
    print("Assistant:", response.choices[0].message.content)

这个脚本将通过删除较旧的消息来动态管理令牌数量,以保持在限制范围内。

2. 微调模型

微调允许您根据特定任务定制 GPT 模型。目前,Azure OpenAI 支持 GPT-4 和 GPT-35-Turbo 模型的微调。

微调模型的步骤如下:

  1. 准备一个 JSONL 格式的数据集,其中每个条目都是带有 promptcompletion 键的字典。

  2. 将数据集上传到 Azure Storage。

  3. 使用微调 API 在您的数据集上训练模型。

3. 为不同的用例定制系统角色

system 消息对于指导模型的行为非常强大。您可以定制助手以特定方式行事或提供安全防护。以下是一些示例:

示例 1:税务助手

plain 复制代码
{"role": "system", "content": "You are an expert tax advisor. Answer all questions related to taxes, but if you don't know the answer, recommend visiting the IRS website."}

示例 2:技术支持机器人

plain 复制代码
{"role": "system", "content": "You are a helpful support assistant. Your job is to answer questions related to Azure services and guide users through troubleshooting."}

示例 3:代码助手

plain 复制代码
{"role": "system", "content": "You are a coding assistant. Help users write and debug code snippets in Python and JavaScript."}

这种灵活性使您能够根据特定任务或领域调整助手的行为。

使用 Azure OpenAI REST API

除了 Python SDK 之外,Azure OpenAI 还提供 REST API 访问。以下是如何使用 curl 进行 API 调用的简要概述:

plain 复制代码
curl https://YOUR_ENDPOINT.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT/completions?api-version=2024-02-01 \
-H "Content-Type: application/json" \
-H "api-key: YOUR_API_KEY" \
-d '{
  "model": "gpt-35-turbo",
  "messages": [{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Tell me about Azure OpenAI."}]
}'

这将返回包含助手完成内容的 JSON 响应,类似于您从 Python SDK 获得的输出。

清理资源

实验结束后,请确保清理资源,以避免不必要的费用。您可以从 Azure 门户删除 Azure OpenAI 资源,也可以使用 Azure CLI 删除资源。

plain 复制代码
az resource delete --name YOUR_RESOURCE_NAME --resource-group YOUR_RESOURCE_GROUP

总结

Azure OpenAI 服务为将高级 GPT 模型(如 GPT-35-TurboGPT-4)集成到应用程序中提供了强大的方式。

无论您是构建智能聊天机器人、自动生成内容,还是提供个性化推荐,这些模型都可以帮助增强您的解决方案。

通过利用 Azure 的安全性和可扩展性,开发人员可以自信地在生产环境中部署 AI 驱动的功能。

通过本指南,您学习了如何设置 Azure OpenAI,使用 Python SDK,管理长对话,并探索微调等高级功能。

掌握这些知识后,您已经准备好开始构建强大的 AI 启用应用程序,充分利用 OpenAI 技术在 Azure 生态系统中的优势。祝您编码愉快!

相关推荐
思通数科多模态大模型13 分钟前
10大核心应用场景,解锁AI检测系统的智能安全之道
人工智能·深度学习·安全·目标检测·计算机视觉·自然语言处理·数据挖掘
数据岛17 分钟前
数据集论文:面向深度学习的土地利用场景分类与变化检测
人工智能·深度学习
DanielYQ41 分钟前
LCR 001 两数相除
开发语言·python·算法
龙的爹233344 分钟前
论文翻译 | RECITATION-AUGMENTED LANGUAGE MODELS
人工智能·语言模型·自然语言处理·prompt·gpu算力
白光白光1 小时前
凸函数与深度学习调参
人工智能·深度学习
sp_fyf_20241 小时前
【大语言模型】ACL2024论文-18 MINPROMPT:基于图的最小提示数据增强用于少样本问答
人工智能·深度学习·神经网络·目标检测·机器学习·语言模型·自然语言处理
weixin_543662861 小时前
BERT的中文问答系统33
人工智能·深度学习·bert
爱喝白开水a1 小时前
Sentence-BERT实现文本匹配【分类目标函数】
人工智能·深度学习·机器学习·自然语言处理·分类·bert·大模型微调
Jack黄从零学c++1 小时前
opencv(c++)---自带的卷积运算filter2D以及应用
c++·人工智能·opencv
vener_1 小时前
LuckySheet协同编辑后端示例(Django+Channel,Websocket通信)
javascript·后端·python·websocket·django·luckysheet