原文发布日期: 2019-05-18 06:03:50 +0000
前述：能不能够仅仅依靠Power BI自身来实现一些较简单的机器学习算法呢，而不用事事都依赖于R和Python，因此，我使用DAX做了一些尝试。过去，我实现了用DAX完成了多元线性回归，但那属于回归算法。对于分类算法，至少在K近邻算法方面，Google和百度上找不到有人做过这样的尝试，这也许因为极少有人会认为机器学习算法在DAX上能行得通，但下文的实践可以证明，这是行得通的。
一、K近邻算法简介
此处如了解可直接跳过
KNN全称k-nearest neighbors, 意为K近邻，是一种监督机器学习算法，新的数据点会放在现有数据集中，根据它与相邻数据点的距离来判定该数据点属于哪个类别。比如说，数据集里有一百张猫的图片和一百张狗的图片，并且记录了它们身体各个部位的特点，因此，当一张新的图片进来时，比如说图片中的动物有尖尖的耳朵，那么K近邻算法会依据它与数据集某些数据的相似性而把它归类为猫。此外，在现实应用中，我们根据不同情况来决定K的取值，比如令K等于7，那么我们分析离新的数据点最近的七个点属于什么类别，如果这些点中有3个属于A类，其余的属于B类，那么算法会依据多数表决法把它归类为B类，如下图所示：
二、利用DAX的实现过程
1.准备工作
下图中的彩色散点是我随机生成的产品数据，横轴代表销量，纵轴代表利润，而其中7个白色三角形是待分类的测试数据：
训练数据集十分简单，ID代表产品ID，Class则代表产品的分类：
测试数据集使用如下代码生成：
Python
测试集 = DataTable("_ID", STRING,
"_Sales", INTEGER,
"_Profit",INTEGER
,{
{" ID501",15,23},
{" ID502",25,7},
{" ID503",45,3},
{" ID504",18,8},
{" ID505",56,9},
{" ID506",60,-5},
{" ID507",30,21}
}
)
结果如下：
案例目标是给这七个新的产品按照K近邻的原则自动分类。
2.实现方法
首先我们需要算出每个测试点和训练集数据点的距离，在此使用欧式距离公式计算，如下：
在此之前，我使用的方法是以测试集为主表，让它和训练集生成笛卡尔积，这样我们可以为每一个测试点去计算它和所有训练集数据点的距离，此外，我们需要算出所有训练数据中，有哪些数据点是被划分为测试点的邻近点的，在此处我取K等于9，在数据集中把这些距离测试点距离最小的前9名训练集数据标记出来，然后再过滤掉那些没有被标记的数据点，综上，执行如下代码以生成表"合并集"：
Python
合并集 =
VAR VT_1 =
ADDCOLUMNS(
GENERATEALL('测试集','训练集'),
"DISTANCE",
CEILING(
SQRT(('测试集'[_Sales]-'训练集'[Sales])^2+
('测试集'[_Profit]-'训练集'[Profit])^2),
0.01))
VAR VT_2 =
ADDCOLUMNS(VT_1,
"IsKNN",
VAR K = 9
VAR v_id = '测试集'[_ID]
return
IF(
RANKX(
filter(VT_1,'测试集'[_ID] = v_id),
DISTANCE\],ASC,Skip)\<=K, "T","F")) --临近点将会被标记为"T" VAR VT_3 = FILTER(VT_2,\[IsKNN\] = "T") RETURN VT_3 > > ``` > > ``` 执行结果如下：  现在我们已经找出了所有临近点，现在是分析它们的时候。对每个测试点，找出其所有临近点类别的最多的那个类别，然后把这个类别赋给测试点，以完成多数表决法的分类，最终结果返回在名为"结果集"的表格中： > > ```Python > > ``` 结果集 = VAR VT_4 = ADDCOLUMNS('合并集', "_Class", VAR CLASSNUM_MAX = CALCULATE( MAXX('合并集', CALCULATE( COUNT('合并集'\[Class\]), ALLEXCEPT('合并集','合并集'\[_Profit\],'合并集'\[Class\]))), ALLEXCEPT('合并集','合并集'\[_ID\])) RETURN IF( CLASSNUM_MAX = CALCULATE( COUNT('合并集'\[Class\]), ALLEXCEPT('合并集','合并集'\[_Profit\],'合并集'\[Class\])), CALCULATE( FIRSTNONBLANK('合并集'\[Class\],1), ALLEXCEPT('合并集','合并集'\[_ID\],'合并集'\[Class\]) ))) VAR VT_5 = CALCULATETABLE( GROUPBY( FILTER(VT_4,\[_Class\]\<\>BLANK()), '合并集'\[_ID\], '合并集'\[_Profit\], '合并集'\[_Sales\], \[_Class\], "Distance", SUMX(CURRENTGROUP(),'合并集'\[DISTANCE\]) )) RETURN VT_5 > > ``` > > ``` 执行结果如下，"__Class"即为K近邻的分类结果：  但此时，我们还需要考虑一种特殊情况(尽管在本案例未出现), 当某测试点的临近点中，有同样多的临近点属于A类，同样多的属于B类，那么该如何划分呢？在此则通过对比所有A类点和B类点距离测试点的实际距离，取距离较小者，因此，新建计算列如下： > > ```Python > > ``` KNN_Result = VAR Class_ = CALCULATE( MIN('结果集'\[Distance\]), ALLEXCEPT('结果集','结果集'\[合并集__ID\])) RETURN IF( class_ = '结果集'\[Distance\], '结果集'\[_Class\], BLANK()) > > ``` > > ``` 此时，"KNN_Result"即为本案例的最终结果，当遇到特殊情况，过滤空值即可。至此，测试点成功完成K近邻分类，如下所示：  ### 三、其他 数据集维度增加，公式以此类推即可，数据量过大会很消耗内存。如果你是一名DAX爱好者，你可以多做一些尝试。如果有关于用DAX(或M)实现K近邻更好的方法欢迎留言。