PandasAI：对话式数据分析新时代

PandasAI：对话式数据分析新时代

• 引言
• 项目概述分析
• • 基本信息
• 核心功能详解
• • [1. 自然语言查询处理](#1. 自然语言查询处理)
  • [2. 数据可视化生成](#2. 数据可视化生成)
  • [3. 多数据源集成分析](#3. 多数据源集成分析)
  • [4. 安全沙箱执行](#4. 安全沙箱执行)
  • [5. 云平台协作功能](#5. 云平台协作功能)
• 安装和使用教程
• • 1.环境要求
  • 2.安装步骤
  • 3.基本使用方法
  • 4.切换其他LLM
• 应用场景和实际价值
• • 1.适用业务场景
  • 2.与类似项目的优势对比
  • 3.实际应用价值效益
  • 4.局限性与注意事项
• 结论

引言

在当今数据驱动的世界中，数据分析工具的效率和易用性变得尤为重要。传统的数据分析方法往往需要专业的编程知识和对特定库语法的熟悉，这对非技术用户构成了障碍。PandasAI 应运而生，它将自然语言处理与数据分析完美结合，使得与数据的交互变得像日常对话一样简单。本文将深入探讨这个由 Sinaptik AI 团队开发的开源项目，分析其核心功能、技术原理及实际应用价值，帮助读者了解如何利用 PandasAI 提升数据分析效率。

项目概述分析

PandasAI 是一个基于 Python 的开源平台，旨在通过自然语言处理技术使数据分析变得更加直观和会话化。截至目前，该项目在 GitHub 上已获得约 19.9K 的 Star 和 1.9K 的 Fork，显示出其在开发者社区中的受欢迎程度。

基本信息

• 项目名称：PandasAI
• 项目地址：https://github.com/sinaptik-ai/pandas-ai
• 创建者 ：sinaptik-ai
• 开源许可证：MIT Expat 许可证
• GitHub 数据：19.9k Stars，1.9k Forks（截止到20250505）
• 编程语言：Python
• 使用文档：https://docs.getpanda.ai/v3/introduction
• 官方介绍：Chat with your database or your datalake (SQL, CSV, parquet). PandasAI makes data analysis conversational using LLMs and RAG.。

PandasAI 的架构设计围绕着将用户的自然语言查询转换为对数据的操作。该项目最新的稳定版本为 v2.4.2（v3.0.0还处于Beta 版本），项目团队正在持续更新和改进功能。项目的核心理念是让数据分析变得会话化，让无论是技术还是非技术用户都能以自然语言与数据进行交互。

核心功能详解

1. 自然语言查询处理

PandasAI 的核心优势在于它能够理解并执行自然语言形式的数据查询。用户只需用日常语言提出问题，如"哪些国家的销售额最高？"或"计算前三名国家的总销售额"，PandasAI 便能解析这些指令，将其转换为相应的数据操作，并返回结果。

这一功能背后是先进的 LLM 技术。PandasAI 默认使用 BambooLLM（由 PandasAI 团队开发的专为数据分析设计的语言模型），但也支持集成其他大语言模型。系统能够理解复杂的查询意图，进行上下文推理，并生成精确的 Python 代码来执行相应操作。

import pandasai as pai

# 创建示例 DataFrame
df = pai.DataFrame({
    "country": ["United States", "United Kingdom", "France", "Germany", "Italy", "Spain", "Canada", "Australia", "Japan", "China"],
    "revenue": [5000, 3200, 2900, 4100, 2300, 2100, 2500, 2600, 4500, 7000]
})

# 设置 API 密钥
pai.api_key.set("your-pai-api-key")

# 提问
df.chat('Which are the top 5 countries by sales?')
# 输出: 
#          country  revenue
#0           China     7000
#1   United States     5000
#2           Japan     4500
#3         Germany     4100
#4  United Kingdom     3200

# 提出更复杂的问题
df.chat("What is the total sales for the top 3 countries by sales?")
# 输出: The total sales for the top 3 countries by sales is 16500.

2. 数据可视化生成

除了文本形式的回答，PandasAI 还能根据自然语言指令生成数据可视化图表。用户只需描述所需的图表类型和要展示的数据，PandasAI 便会自动生成相应的可视化结果。这一功能大大简化了数据可视化过程，让用户无需编写复杂的绘图代码。

# 生成可视化图表
df.chat(
    "Plot the histogram of countries showing for each one the revenue. Use different colors for each bar",
)
# 系统会生成一个彩色柱状图，展示各国收入情况

3. 多数据源集成分析

PandasAI 支持同时分析多个数据帧，并能够理解它们之间的关系。这使得用户可以提出跨数据集的复杂问题，而无需手动执行数据合并或关联操作。

employees_data = {
    'EmployeeID': [1, 2, 3, 4, 5],
    'Name': ['John', 'Emma', 'Liam', 'Olivia', 'William'],
    'Department': ['HR', 'Sales', 'IT', 'Marketing', 'Finance']
}

salaries_data = {
    'EmployeeID': [1, 2, 3, 4, 5],
    'Salary': [5000, 6000, 4500, 7000, 5500]
}

employees_df = pai.DataFrame(employees_data)
salaries_df = pai.DataFrame(salaries_data)

# 跨数据集查询
pai.chat("Who gets paid the most?", employees_df, salaries_df)
# 输出: Olivia gets paid the most.

4. 安全沙箱执行

考虑到数据安全问题，PandasAI 提供了 Docker 沙箱执行环境，可以在隔离的环境中安全地执行代码，有效防止恶意代码攻击。这一功能特别适合企业环境或需要处理敏感数据的场景。

import pandasai as pai
from pandasai_docker import DockerSandbox

# 初始化沙箱
sandbox = DockerSandbox()
sandbox.start()

# 使用沙箱执行查询
pai.chat("Who gets paid the most?", employees_df, salaries_df, sandbox=sandbox)

# 使用完毕后停止沙箱
sandbox.stop()

5. 云平台协作功能

PandasAI 提供了云平台功能，支持团队协作分析数据。用户可以将数据集上传到平台，团队成员可以通过自然语言查询访问这些数据，这大大促进了数据分析的民主化和团队协作效率。

import pandasai as pai

pai.api_key.set("your-pai-api-key")

file = pai.read_csv("./filepath.csv")

dataset = pai.create(path="your-organization/dataset-name",
    df=file,
    name="dataset-name",
    description="dataset-description")

dataset.push()

安装和使用教程

1.环境要求

• Python 版本：3.8+ ❤️.12
• 依赖库：pandas、相关 LLM 和 NLP 库

2.安装步骤

PandasAI 可以通过 pip 或 poetry 进行安装：

使用 pip：

# 注意可能与matplotlib不兼容，可提前卸载
pip install "pandasai>=3.0.0b2"

使用 poetry：

poetry add "pandasai>=3.0.0b2"

对于需要安全沙箱的用户，还需安装 Docker 包：

pip install "pandasai-docker"

3.基本使用方法

导入库并设置 API 密钥：

import pandasai as pai

# 设置 API 密钥（可在 https://app.pandabi.ai 注册获取）
pai.api_key.set("your-pai-api-key")

注册账号之后，每月有免费使用次数。

创建或加载数据：

# 创建示例数据
df = pai.DataFrame({
    "name": ["John", "Mary", "Bob", "Alice"],
    "age": [25, 30, 35, 40],
    "salary": [50000, 60000, 70000, 80000]
})

# 或从文件加载数据
df = pai.read_csv("your_data.csv")

使用自然语言提问：

result = df.chat("What is the average salary of people over 30?")
print(result)

生成可视化：

df.chat("Create a bar chart showing the salary of each person")

可在 exports\charts\ 目录下查看生成的图表：

4.切换其他LLM

安装 Pandasai-litellm 扩展：

# Using poetry
poetry add pandasai-litellm

# Using pip
pip install pandasai-litellm

LiteLLM 支持但不限于以下 LLM，详情见https://docs.litellm.ai/docs/providers:

• OpenAI (gpt-3.5-turbo, gpt-4, etc.)
• Anthropic (claude-2, claude-instant-1, etc.)
• Google (gemini-pro, palm2, etc.)
• Azure OpenAI
• AWS (Bedrock, SageMaker)
• Mistral AI
• Cohere
• Hugging Face

只需要代码中添加几行代码设置 LLM 即可切换 deepseek 大模型：

import os
import pandasai as pai
from pandasai_litellm import LiteLLM

# Set your API keys as environment variables
os.environ["OPENAI_API_KEY"] = "your-openai-api-key"

# Example with deepseek
llm = LiteLLM(model="deepseek/deepseek-chat")

# Set your LLM configuration
pai.config.set({"llm": llm})

应用场景和实际价值

1.适用业务场景

1. 数据探索和分析：研究人员和数据分析师可以更快地探索新数据集，通过自然语言提问深入了解数据特征。
2. 业务报告生成：业务用户可以直接通过自然语言获取关键业务指标，无需掌握复杂的数据查询语言。
3. 数据可视化：快速生成数据可视化图表，支持决策制定和数据展示。
4. 团队协作分析：团队成员可以在同一数据集上进行协作分析，共享洞察。
5. 教育场景：教育工作者可以使用 PandasAI 简化数据科学教学，让学生专注于数据分析思维而非复杂语法。

2.与类似项目的优势对比

相比传统的数据分析工具，PandasAI 具有以下优势：

1. 降低技术门槛：用户无需掌握复杂的 Pandas 语法和数据操作方法，只需用自然语言表达分析需求。
2. 提高效率：即使是专业数据分析师，也能通过自然语言快速执行复杂查询，节省编写代码的时间。
3. 增强数据可访问性：使非技术背景的业务人员能够直接与数据交互，促进数据驱动决策。
4. 安全性：提供沙箱执行环境，确保代码安全执行，防止恶意攻击。

3.实际应用价值效益

1. 提高数据分析效率：通过自然语言查询，分析师可以将更多精力集中在数据解释和决策上，而非编写代码。
2. 促进数据民主化：让更多非技术人员能够参与数据分析过程，打破数据孤岛。
3. 加速洞察发现：快速生成可视化和统计分析，帮助用户更快地发现数据中的模式和趋势。
4. 降低学习成本：减少学习专业数据分析语言的时间投入，加速技能获取。

4.局限性与注意事项

1. 模型回答准确性：尽管 PandasAI 强大，但仍可能存在理解错误或生成不准确结果的情况，用户需要对关键结果进行验证。
2. 复杂查询处理：对于极其复杂的数据查询，可能仍需要专业人员介入或手动编写代码。
3. 依赖 API 密钥：默认使用 BambooLLM 需要 API 密钥，这可能对某些用户构成限制。
4. 处理超大数据集：在处理极大规模数据集时，可能面临性能挑战。

结论

PandasAI 代表了数据分析工具的重要发展方向------会话式数据分析。通过将先进的 LLM 技术与传统数据分析工具相结合，PandasAI 不仅提高了数据分析的效率，还显著降低了数据分析的技术门槛，让各行各业的用户都能轻松与数据对话。

在数据爆炸的时代，PandasAI 这类工具的价值在于它们能够帮助我们更民主、更高效地从数据中提取洞察。随着项目的不断发展和完善，我们可以期待 PandasAI 在未来为更多数据分析场景提供强大支持，进一步推动数据分析的民主化和智能化进程。

对于想要探索 PandasAI 的开发者和数据分析师，这是一个值得学习和关注的项目，它不仅可以提升工作效率，还能启发我们思考人工智能与数据分析结合的更多可能性。