spark mllib 特征学习笔记 (二)

当然,请继续介绍其他特征处理方法的公式、适用场景和案例:

10. StringIndexer

公式

将字符串类型的标签转换为数值索引:
StringIndexer ( x ) = { 0 , 1 , 2 , ... , N − 1 } \text{StringIndexer}(x) = \{0, 1, 2, \ldots, N-1\} StringIndexer(x)={0,1,2,...,N−1}

适用场景

用于将分类标签转换为数值标签,以便机器学习算法处理。

案例

python 复制代码
from pyspark.ml.feature import StringIndexer

data = spark.createDataFrame([(0, "a"), (1, "b"), (2, "c"), (3, "a"), (4, "a"), (5, "c")], ["id", "category"])
indexer = StringIndexer(inputCol="category", outputCol="categoryIndex")
indexedData = indexer.fit(data).transform(data)
indexedData.show()

11. VectorAssembler

公式

将多个特征列合并成一个特征向量:
VectorAssembler ( x 1 , x 2 , ... , x n ) = [ x 1 , x 2 , ... , x n ] \text{VectorAssembler}(\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_n) = [\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_n] VectorAssembler(x1,x2,...,xn)=[x1,x2,...,xn]

适用场景

用于将多个特征列合并成一个特征向量,作为机器学习算法的输入。

案例

python 复制代码
from pyspark.ml.feature import VectorAssembler
from pyspark.ml.linalg import Vectors

data = spark.createDataFrame([(1, 2, 3), (4, 5, 6)], ["a", "b", "c"])
assembler = VectorAssembler(inputCols=["a", "b", "c"], outputCol="features")
assembledData = assembler.transform(data)
assembledData.show()

12. Word2Vec

公式

Word2Vec 是一种词嵌入模型,通过训练将单词映射到低维向量空间:
Word2Vec ( sentence ) = v \text{Word2Vec}(\text{sentence}) = \mathbf{v} Word2Vec(sentence)=v

其中 (\mathbf{v}) 是单词的向量表示。

适用场景

用于自然语言处理中的词语表示学习,以便后续应用于文本分类、文本相似度等任务。

案例

python 复制代码
from pyspark.ml.feature import Word2Vec

data = spark.createDataFrame([
    ("Hi I heard about Spark".split(" "),),
    ("I wish Java could use case classes".split(" "),),
    ("Logistic regression models are neat".split(" "),)
], ["text"])

word2Vec = Word2Vec(vectorSize=3, minCount=0, inputCol="text", outputCol="result")
model = word2Vec.fit(data)
result = model.transform(data)
result.show(truncate=False)

这些例子展示了 PySpark MLlib 中几种常用的特征处理方法的基本用法和应用场景。根据具体的数据和任务需求,选择合适的特征处理方法可以有效地提高模型的性能和准确性。

当然,请继续介绍其他特征处理方法的公式、适用场景和案例:

13. UnivariateFeatureSelector

公式

基于单变量统计测试选择特征,例如卡方检验:
UnivariateFeatureSelector ( X , y ) = { features with highest score } \text{UnivariateFeatureSelector}(X, y) = \{ \text{features with highest score} \} UnivariateFeatureSelector(X,y)={features with highest score}

适用场景

用于基于单变量统计测试(如卡方检验)选择与标签相关性最高的特征。

案例

python 复制代码
from pyspark.ml.feature import UnivariateFeatureSelector
from pyspark.ml.linalg import Vectors

data = [(1, Vectors.dense(0.0, 1.1, 0.1)),
        (0, Vectors.dense(2.0, 1.0, -1.0)),
        (0, Vectors.dense(2.0, 1.3, 1.0)),
        (1, Vectors.dense(0.0, 1.2, -0.5))]
df = spark.createDataFrame(data, ["label", "features"])

selector = UnivariateFeatureSelector(featuresCol="features", outputCol="selectedFeatures", labelCol="label", selectionMode="numTopFeatures", numTopFeatures=1)
result = selector.fit(df).transform(df)
result.show()

14. VarianceThresholdSelector

公式

基于方差选择特征,移除方差低于阈值的特征:
VarianceThresholdSelector ( X ) = { features with variance above threshold } \text{VarianceThresholdSelector}(X) = \{ \text{features with variance above threshold} \} VarianceThresholdSelector(X)={features with variance above threshold}

适用场景

用于移除方差较低的特征,以减少噪声对模型的影响。

案例

python 复制代码
from pyspark.ml.feature import VarianceThresholdSelector
from pyspark.ml.linalg import Vectors

data = [(1, Vectors.dense(0.0, 1.0, 0.0)),
        (0, Vectors.dense(0.0, 1.0, 1.0)),
        (0, Vectors.dense(0.0, 1.0, 0.0))]
df = spark.createDataFrame(data, ["label", "features"])

selector = VarianceThresholdSelector(featuresCol="features", outputCol="selectedFeatures", threshold=0.0)
result = selector.fit(df).transform(df)
result.show()

15. VectorIndexer

公式

索引化向量中的类别特征列:
VectorIndexer ( X ) = { indexed features } \text{VectorIndexer}(X) = \{ \text{indexed features} \} VectorIndexer(X)={indexed features}

适用场景

用于处理数据集中的向量特征,自动识别并索引类别特征。

案例

python 复制代码
from pyspark.ml.feature import VectorIndexer
from pyspark.ml.linalg import Vectors

data = [(Vectors.dense(1.0, 2.0, 3.0),),
        (Vectors.dense(2.0, 5.0, 6.0),),
        (Vectors.dense(1.0, 8.0, 9.0),)]
df = spark.createDataFrame(data, ["features"])

indexer = VectorIndexer(inputCol="features", outputCol="indexed", maxCategories=2)
indexedData = indexer.fit(df).transform(df)
indexedData.show()

16. VectorSizeHint

公式

添加向量列的大小信息到元数据中:
VectorSizeHint ( X ) = { features with size hint in metadata } \text{VectorSizeHint}(X) = \{ \text{features with size hint in metadata} \} VectorSizeHint(X)={features with size hint in metadata}

适用场景

用于在向量列中添加大小信息,以提供给后续流水线阶段使用。

案例

python 复制代码
from pyspark.ml.feature import VectorSizeHint
from pyspark.ml.linalg import Vectors

data = [(Vectors.dense([1.0, 2.0]),),
        (Vectors.dense([2.0, 3.0]),)]
df = spark.createDataFrame(data, ["features"])

sizeHint = VectorSizeHint(inputCol="features", size=2)
sizeHint.transform(df).show()

这些例子展示了更多 PySpark MLlib 中特征处理方法的公式、适用场景和简单案例。每种方法都有其特定的数学原理和适用范围,根据具体任务的需求选择合适的方法可以提高数据处理的效率和模型的预测性能。

相关推荐
数据与后端架构提升之路26 分钟前
从神经元到神经网络:深度学习的进化之旅
人工智能·神经网络·学习
一行135 分钟前
电脑蓝屏debug学习
学习·电脑
咔叽布吉41 分钟前
【论文阅读笔记】CamoFormer: Masked Separable Attention for Camouflaged Object Detection
论文阅读·笔记·目标检测
johnny23343 分钟前
《大模型应用开发极简入门》笔记
笔记·chatgpt
亦枫Leonlew1 小时前
微积分复习笔记 Calculus Volume 1 - 4.7 Applied Optimization Problems
笔记·数学·微积分·1024程序员节
小肥象不是小飞象1 小时前
(六千字心得笔记)零基础C语言入门第八课——函数(上)
c语言·开发语言·笔记·1024程序员节
星LZX1 小时前
WireShark入门学习笔记
笔记·学习·wireshark
阑梦清川1 小时前
在鱼皮的模拟面试里面学习有感
学习·面试·职场和发展
qq_433099401 小时前
Isaac Gym学习笔记——概述
学习
努力变厉害的小超超3 小时前
ArkTS中的组件基础、状态管理、样式处理、class语法以及界面渲染
笔记·鸿蒙