作者：厦门立马耀网络科技有限公司大数据开发工程师 陈宏毅
背景介绍
行业
- 蝉选是蝉妈妈出品的达人选品服务平台。蝉选秉持"陪伴达人赚到钱"的品牌使命，致力于洞悉达人变现需求和痛点，提供达人选高佣、稳变现、速响应的选品服务。
业务特征
- 个性化推荐：利用大数据和人工智能算法，根据用户的兴趣和行为提供定制化的产品推荐。
- 数据驱动：通过分析用户和市场趋势，优化推荐策略，提升用户满意度。
- 精准营销：帮助商家通过精准的用户画像进行有效的产品推广。
- 高效搜索：提供强大的搜索功能，帮助用户快速找到所需产品。
产品原有架构痛点
依赖传统搜索方案的向量检索进行相似商品推荐的痛点
- 性能瓶颈： 在处理高维向量时，性能可能不如专用的向量数据库。
- 存储效率： 高维向量的存储效率较低，占用较多磁盘空间。
- 复杂性： 需要额外配置和插件才能支持向量检索。
- 更新成本： 频繁更新向量数据可能导致索引重建，影响性能。
- 资源消耗： 内存和计算资源消耗较大，尤其在大规模数据集上。
Spark集群原架构的痛点
- 集群稳定性： 需要自行监控和维护集群，可能面临稳定性问题。
- 性能优化： 缺乏类似Fusion的加速技术，可能导致任务执行速度较慢。
- 运维负担： 需要手动管理集群，包括配置、监控和故障排除。
- 资源利用率： 资源分配不够灵活，可能导致资源浪费。
- 费用问题： 即使在空闲时也可能产生费用，导致成本增加。
- 复杂性： 需要配置和管理底层基础设施，增加了复杂性。
为了应对新的业务挑战，蝉妈妈选择与阿里云合作，利用其 Serverless Spark & Milvus，构建了符合业务场景和分析师习惯的工程解决方案。
为什么选择阿里云 Serverless Spark&Milvus
完善的周边服务： 提供全面的监控和告警功能，能够实时跟踪任务状态和性能，及时发现并解决问题。
托管弹性伸缩功能： 自动根据工作负载调整资源，减少手动干预。
集群稳定性： 由云服务商管理，提供高稳定性和可靠性。
弹性资源管理： 按需分配资源，避免资源浪费。
按需计费： 仅为实际使用的资源付费，降低成本。
快速启动： 无需预配置资源，能够快速启动和运行任务。
自动扩展： 根据工作负载自动调整资源，提升灵活性。
性能优化： Serverless Spark通过技术如Fusion加速任务执行，提高效率，降低成本；Milvus支持并保证超大规模向量检索的性能。
技术方案设计
架构图
业务场景介绍
在Serverless Spark中，通过周期性的离线任务，从StarRocks数据库中提取商品数据。这些数据包含商品的基本信息，如商品ID、名称、描述等。接着，使用Serverless Spark的计算能力，调用机器学习模型服务，将商品标题转换为向量表示。生成的向量数据与其他商品信息结合后，批量写入阿里云Milvus向量数据库。Milvus负责高效存储和管理这些向量数据，并支持快速相似性搜索。通过构建数据接口，Milvus中的数据可以对外提供查询服务，用户可以通过该接口输入一个商品或其特征，系统将返回相似商品的列表。这种架构支持大规模、低延迟的相似商品检索，适用于推荐系统、个性化营销等应用场景。
关键服务组件
Serverless Spark
EMR Serverless Spark 是一款面向 Data+AI 的高性能 Lakehouse 产品。它为企业提供了一站式的数据平台服务，包括任务开发、调试、调度和运维等，极大地简化了数据处理和模型训练的全流程。同时，它100%兼容开源 Spark 生态，能够无缝集成到客户现有的数据平台。使用 EMR Serverless Spark，企业可以更专注于数据处理分析和模型训练调优，提高工作效率。
向量检索服务 Milvus 版
阿里云向量检索服务Milvus版是一款云原生、全托管的向量检索引擎，100%兼容开源Milvus，支持自建Milvus集群无缝迁移上云。具备易⽤性、可⽤性、安全性、低成本与⽣态优势，能提供超大规模向量数据的相似性检索服务，广泛应用于多模态检索、RAG、大模型AI等场景。
迁移后的收益
Serverless Spark
- 性能：离线任务耗时减少40%，核心报表更早产出。
- 稳定性：任务稳定性显著提高，失败率降低 80%。
- 运维灵活性：根据业务需求自动调整扩充计算资源。
- 性价比：真正的按量付费，不使用时没有资源消耗；提供多种资源包选择，进一步降低成本。
Milvus
- 降本：与传统搜索方案相比，阿里云Milvus 实现向量检索的成本降低了 75%。
- 提效：作为专业级向量数据库，在处理高维向量时，检索性能显著提升。
- 业务支持：Milvus 能支持更大规模的数据读取和写入，覆盖了商品范围更广，查询响应速度更快。
后续期待
希望 Serverless Spark 能够全面兼容 Spark Launcher 这一便捷方式提交任务，支持任务无缝迁移至全托管环境。