Java使用apache.commons.math3的DBSCAN实现自动聚类

K-Means: 如果你能大致估计出类别的数量,K-Means通常也是一个高效的选择。但它对异常值敏感,且要求簇是球状的。对于一些不知道数据可能会有多少类别的时候,可用试试DBSCAN算法,因为你通常无法预先知道文章会自动分成多少类(K值未知),用DBSCAN是非常不错的,能自动判断拿出类别数量,这里讲解一下java的math3里面自带方法

示例

java 复制代码
package com.data;

import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;

import org.apache.commons.math3.ml.clustering.Cluster;
import org.apache.commons.math3.ml.clustering.DBSCANClusterer;
import org.apache.commons.math3.ml.clustering.DoublePoint;

public class TestDBSCAN {

	public static void main(String[] args) {
		List<DoublePoint> rawPoints = new ArrayList<>();
		rawPoints.add(new DoublePoint(new double[] { 0.1, 0.2, 0.3 }));
		rawPoints.add(new DoublePoint(new double[] { 0.2, 0.14, 0.22 }));

		// 此处故意设置两个比较大点的值,和小点的值
		rawPoints.add(new DoublePoint(new double[] { 0.3, 0.4, 0.43 }));
		rawPoints.add(new DoublePoint(new double[] { 0.88, 0.8, 0.8 }));

		rawPoints.add(new DoublePoint(new double[] { 0.02, 0.112, 0.08 }));

		// 多少距离内归纳为同一个簇(两个向量之间的距离)
		double eps = 0.24;

		// 需要几个点形成簇
		int minPts = 0;

		// 执行聚类
		DBSCANClusterer<DoublePoint> clusterer = new DBSCANClusterer<>(eps, minPts);
		List<Cluster<DoublePoint>> clusters = clusterer.cluster(rawPoints);

		System.out.println("==== 聚类结果 ====");
		System.out.println("发现簇数量: " + clusters.size());

		// 打印每个簇
		for (int i = 0; i < clusters.size(); i++) {
			System.out.println("\n簇 #" + (i + 1) + ":");
			for (DoublePoint p : clusters.get(i).getPoints()) {
				System.out.println("  " + Arrays.toString(p.getPoint()));
			}
		}

	}

}

打印结果,很明显的自动区分了3个类别

java 复制代码
==== 聚类结果 ====
发现簇数量: 3

簇 #1:
  [0.1, 0.2, 0.3]
  [0.2, 0.14, 0.22]
  [0.02, 0.112, 0.08]

簇 #2:
  [0.3, 0.4, 0.43]

簇 #3:
  [0.88, 0.8, 0.8]
java 复制代码
// 多少距离内归纳为同一个簇(两个向量之间的距离)
double eps = 0.24;

// 需要几个点形成簇
int minPts = 0;

关键在于这两个参数,eps,比如设置成1,所有的都是同一类,也就只有一个簇,
当minPts设置为1的时候,这里不会出现簇2 簇3,因为小于等于1不认为是一个簇(分类),
所以具体根据数据调整参数即可

文本分类如何应用

既然上面讲述了算法,文本无非就是提取向量,扔进去计算,一般文本向量分为两种,词频向量(TF),语义向量(bert,word2vec,大模型经常用到的那种),只要拿到向量扔进去就能自动归类,这样知道其中某一段文本的类别,其他自然都知道了,应用完全能根据自己需求实现,思路大致都是一样的

相关推荐
MobotStone19 分钟前
让AI干活,为什么验收标准要在开工前写
人工智能
AI算力7 小时前
让安全驾驶有“AI”相伴|腾视科技DMS视频监控一体机,守护每一次出行
人工智能·科技·ai·车载终端·ai算力·车载智能终端·车载dvr
泯泷8 小时前
超越基准:Claude Opus 4.5 的 4 个惊人洞察
人工智能
果果软件8 小时前
2026 后台管理系统选型:若依、JeecgBoot、芋道、NocoBase 和 GewuMind Boot 怎么选?
java·人工智能·后端·ai·开源
Csvn8 小时前
刚开始用 WorkBuddy,第一步该做什么?
人工智能
一水鉴天8 小时前
同一与唯一:AppBus 外壳与 DevOps 内核 之1 20261121(元宝)
人工智能·机器学习
Wellijohn9 小时前
一个 Android 老兵的十年开源路:从 167 star 的滑动控件,到本地优先的 AI Agent
android·人工智能·开源
ZONGYUAN-ROOT9 小时前
【API配额】API 配额监控告警不生效?用 Python 监控读数变化量,抓住静态阈值漏掉的「假重置」
人工智能
Wellijohn9 小时前
我把公司内部的 12 个 CRUD 接口交给了 AI Agent,然后省出了两周
人工智能·python·mcp