从 Pandas 到 Polars 二十九：在Polars中进行机器学习预处理

sosogod2024-07-21 21:08

Polars中的机器学习

在最近的时间里，我将探索在Polars中进行机器学习（ML）可以走到多远。

除了ML模型外，scikit-learn还提供了许多数据预处理功能。让我们看看在Polars中进行一些这样的预处理是否值得。

最小-最大缩放示例

简单示例：我们有一个包含100,000行和100列的数据框，并希望对每个列进行最小-最大缩放。

python 复制代码

import polars as pl
import numpy as np
from sklearn.preprocessing import MinMaxScaler

N = 100000
df = pl.DataFrame(np.random.standard_normal((N,100)))
arr = df.to_numpy()

# Using sklearn
minMax = MinMaxScaler()
minMax.fit_transform(arr)
Time: 90 ms

# Using Polars
df.select(
    (pl.all()-pl.all().min()) / (pl.all().max()-pl.all().min())
)
Time: 40 ms

所以在这个比较中，Polars的速度是原来的两倍。

这只是使用Polars进行机器学习的开始！例如，我们可以创建一个类来用scikit-learn的API包装Polars代码。然后，在转换为numpy以用于机器学习模型之前，我们可以尽可能长时间地保持在快速且内存高效的Polars和ApacheArrow组合中。