使用 Python 与 BigQuery 进行交互:基础知识与实践

选择合适的 Python 库

在使用 BigQuery 时,您可以根据自己的需求选择以下三个 Python 库:

  1. BigQuery DataFrame:通过服务器端处理,支持 Pandas 和 Scikit-learn API,适合数据处理和机器学习任务。
  2. pandas-gbq:客户端库,用于在 Python 中读写 BigQuery 数据,适合简单的数据处理和分析。
  3. google-cloud-bigquery:Google 维护的库,提供完整的 BigQuery API 功能,适合复杂的数据管理和分析。

安装库

要使用这些库,您需要安装以下包:

bash 复制代码
pip install --upgrade pandas-gbq 'google-cloud-bigquery[bqstorage,pandas]'

运行查询

使用 GoogleSQL 语法

以下示例展示了如何使用 pandas-gbqgoogle-cloud-bigquery 运行 GoogleSQL 查询:

pandas-gbq

python 复制代码
import pandas

sql = """
    SELECT name
    FROM `bigquery-public-data.usa_names.usa_1910_current`
    WHERE state = 'TX'
    LIMIT 100
"""

# 使用标准 SQL 查询
df = pandas.read_gbq(sql, dialect="standard")

# 指定项目 ID
project_id = "your-project-id"
df = pandas.read_gbq(sql, project_id=project_id, dialect="standard")

google-cloud-bigquery

python 复制代码
from google.cloud import bigquery

client = bigquery.Client()
sql = """
    SELECT name
    FROM `bigquery-public-data.usa_names.usa_1910_current`
    WHERE state = 'TX'
    LIMIT 100
"""

# 使用标准 SQL 查询
df = client.query(sql).to_dataframe()

# 指定项目 ID
project_id = "your-project-id"
df = client.query(sql, project=project_id).to_dataframe()

使用旧版 SQL 语法

如果需要使用旧版 SQL 语法,可以通过以下方式进行:

pandas-gbq

python 复制代码
import pandas

sql = """
    SELECT name
    FROM [bigquery-public-data:usa_names.usa_1910_current]
    WHERE state = 'TX'
    LIMIT 100
"""

df = pandas.read_gbq(sql, dialect="legacy")

google-cloud-bigquery

python 复制代码
from google.cloud import bigquery

client = bigquery.Client()
sql = """
    SELECT name
    FROM [bigquery-public-data:usa_names.usa_1910_current]
    WHERE state = 'TX'
    LIMIT 100
"""
query_config = bigquery.QueryJobConfig(use_legacy_sql=True)

df = client.query(sql, job_config=query_config).to_dataframe()

使用 BigQuery Storage API 加速数据下载

BigQuery Storage API 可以显著提高大型结果的下载速度。以下示例展示了如何使用此 API:

pandas-gbq

python 复制代码
import pandas

sql = "SELECT * FROM `bigquery-public-data.irs_990.irs_990_2012`"

# 使用 BigQuery Storage API 加速下载
df = pandas.read_gbq(sql, dialect="standard", use_bqstorage_api=True)

google-cloud-bigquery

python 复制代码
from google.cloud import bigquery

client = bigquery.Client()
sql = "SELECT * FROM `bigquery-public-data.irs_990.irs_990_2012`"

# 如果 BigQuery Storage API 已启用,则自动使用
df = client.query(sql).to_dataframe()

配置查询

参数化查询

以下示例展示了如何使用参数化查询:

pandas-gbq

python 复制代码
import pandas

sql = """
    SELECT name
    FROM `bigquery-public-data.usa_names.usa_1910_current`
    WHERE state = @state
    LIMIT @limit
"""
query_config = {
    "query": {
        "parameterMode": "NAMED",
        "queryParameters": [
            {
                "name": "state",
                "parameterType": {"type": "STRING"},
                "parameterValue": {"value": "TX"},
            },
            {
                "name": "limit",
                "parameterType": {"type": "INTEGER"},
                "parameterValue": {"value": 100},
            },
        ],
    }
}

df = pandas.read_gbq(sql, configuration=query_config)

google-cloud-bigquery

python 复制代码
from google.cloud import bigquery

client = bigquery.Client()
sql = """
    SELECT name
    FROM `bigquery-public-data.usa_names.usa_1910_current`
    WHERE state = @state
    LIMIT @limit
"""
query_config = bigquery.QueryJobConfig(
    query_parameters=[
        bigquery.ScalarQueryParameter("state", "STRING", "TX"),
        bigquery.ScalarQueryParameter("limit", "INTEGER", 100),
    ]
)

df = client.query(sql, job_config=query_config).to_dataframe()

将 pandas DataFrame 加载到 BigQuery 表中

以下示例展示了如何将 pandas DataFrame 加载到 BigQuery 表中:

pandas-gbq

python 复制代码
import pandas

df = pandas.DataFrame(
    {
        "my_string": ["a", "b", "c"],
        "my_int64": [1, 2, 3],
        "my_float64": [4.0, 5.0, 6.0],
        "my_timestamp": [
            pandas.Timestamp("1998-09-04T16:03:14"),
            pandas.Timestamp("2010-09-13T12:03:45"),
            pandas.Timestamp("2015-10-02T16:00:00"),
        ],
    }
)
table_id = "my_dataset.new_table"

df.to_gbq(table_id)

google-cloud-bigquery

python 复制代码
from google.cloud import bigquery
import pandas

df = pandas.DataFrame(
    {
        "my_string": ["a", "b", "c"],
        "my_int64": [1, 2, 3],
        "my_float64": [4.0, 5.0, 6.0],
        "my_timestamp": [
            pandas.Timestamp("1998-09-04T16:03:14"),
            pandas.Timestamp("2010-09-13T12:03:45"),
            pandas.Timestamp("2015-10-02T16:00:00"),
        ],
    }
)
client = bigquery.Client()
table_id = "my_dataset.new_table"

# 确保正确的数据类型
job_config = bigquery.LoadJobConfig(
    schema=[
        bigquery.SchemaField("my_string", "STRING"),
    ]
)

job = client.load_table_from_dataframe(df, table_id, job_config=job_config)

# 等待加载完成
job.result()

pandas-gbq 的局限性

  • 数据集管理:不支持创建、更新或删除数据集。
  • 数据格式支持:仅支持 CSV 格式,不支持嵌套值或数组值。
  • 表管理:不支持列出表、复制表或删除表。
  • 数据导出:不支持直接导出数据到 Cloud Storage。

解决连接池错误

如果遇到连接池错误,可以通过以下方式增加连接池大小:

python 复制代码
import requests

client = bigquery.Client()
adapter = requests.adapters.HTTPAdapter(pool_connections=128, pool_maxsize=128, max_retries=3)
client._http.mount("https://", adapter)
client._http._auth_request.session.mount("https://", adapter)
相关推荐
Mr.Winter`几秒前
无人船 | 图解基于LQR控制的路径跟踪算法(以全驱动无人艇WAMV为例)
人工智能·算法·机器人·ros·ros2·运动规划·无人船
Wneosy2 分钟前
【CodeSprint】第二章-2.1 简单模拟
算法
小小年纪不学好8 分钟前
【60.组合总和】
java·算法·面试
关于不上作者榜就原神启动那件事8 分钟前
力扣hot100,739每日温度(单调栈)详解
算法·leetcode·职场和发展
小卡皮巴拉10 分钟前
【力扣刷题实战】丢失的数字
c++·算法·leetcode·位运算
我是哪吒19 分钟前
分布式微服务系统架构第122集:NestJS是一个用于构建高效、可扩展的服务器端应用程序的开发框架
前端·后端·面试
一个热爱生活的普通人25 分钟前
如何用go语言实现类似AOP的功能
后端·面试·go
lqstyle25 分钟前
Redis地理相亲事务所:Geo/Bitmap/HLL底层脱单算法全解
后端·面试
执念36526 分钟前
Java多线程(每天两道面试题)
后端·面试
十五年专注C++开发31 分钟前
Qt中的全局函数讲解集合(全)
开发语言·c++·qt·算法