11月1日,南方科技大学商学院和 DolphinDB 联合举办了高校课程讲座。讲座由南方科技大学商学院高级研究学者冯鹏举主持,DolphinDB 创始人兼 CEO 周小华博士、某百亿私募数据平台架构师潜蛟老师进行精彩演讲。
Part 1 : 大数据时代下数据库架构革新与生态建设
潜蛟老师首先登台,向同学们介绍了大数据系统架构 以及DolphinDB 生态在大数据时代的应用。潜蛟老师详细介绍了国内大数据架构的发展历程,阐述了从数据采集到搭建数据仓库再到数据中心的完整过程。其中,实时数据采集与离线数据处理是大数据架构中不可或缺的环节。他提到,早期的数据处理主要依赖于批处理方式,数据被集中存储后,再进行定时分析和处理。这种方式虽然简单,但无法满足实时数据处理的需求。随着技术的发展,流式计算逐渐兴起,流式计算架构不断演进。
Lambda 架构包含两个处理层:批处理层 和流处理层 ,分别处理历史数据和实时数据,然后再合并结果。但这种架构较为复杂,要求两个处理层保持一致且维护两套代码逻辑。Kappa 架构则是一种应对大数据实时处理的变种架构。它将所有的数据处理看成是数据流的处理,即使是历史数据,也可以重新流入系统进行实时计算。这样一来,架构更加简洁,数据处理逻辑也更加统一。后来,流式计算架构又衍生出流批一体、Dataflow 模型以及实时数仓等形式,进一步优化数据处理过程。
介绍完大数据系统架构的发展历程和现状后,潜蛟老师又分析了现代化数据库技术发展的前沿趋势。目前,现代数据库正逐渐向分布式架构发展,以适应 PB 级别的数据存储和处理需求。时序数据库日益受到金融、物联网和工业生产领域的关注,该模型实现的一大关键是可以进行统一的权限管理。同时,对多类型数据的查询和处理需求使多模数据库成为未来一大发展趋势,它能丰富数据源并将数据更好地整合在一起。
在谈到现代化数据库的选型时,潜蛟老师认为 DolphinDB 是现代化数据库的一大典型代表。"DolphinDB 自主研发了分布式架构,底层采用 C++ 进行优化,在海量数据的存储和计算上有着极致性能。"他还提到,"在最近的版本更新中,DolphinDB 增加了单点登录和多集群管理功能,完善了统一权限管理。TSDB、OLAP、VectorDB、TextDB 等存储引擎的推出也拓展了 DolphinDB 可处理的数据类型。"
DolphinDB 的丰富生态也能在大数据时代得到广泛应用,如建设数据中心、实时数据平台、分析与计算中心等。潜蛟老师指出:" DolphinDB 开发了大量优质插件 ,同时也与主流的开源插件适配,打造了完善的生态。由于 DolphinDB 已经构建了许多通用的 C++ 框架,拥有一定研发水平的团队完全可以在 DolphinDB 基础上进一步扩展插件,满足多样化的业务需求。"
Part 2 : DolphinDB 中高频量化交易的探索与实践
随后,周小华博士为同学们带来了主题为"从数据分析到实时计算:中高频量化交易的探索与实践"的精彩演讲。
周博士开场谈到,量化机构在挖掘因子时,会像挖矿一样,从原始数据中提取因子。在量化流程中,随着高频数据的采集和 AI 深度学习方法的运用,会涉及上千个甚至上万个因子,但真正使用的可能只有几个。如今,市场成熟度不断提升,获取 Alpha 收益的难度逐年加剧,业界正持续聚焦于"如何高效地存储、分析海量数据,并迅速挖掘新的有效因子"这一热点议题。
之后,周博士剖析了传统方案在数据存储、分析及实时计算上的挑战,并展示了如何利用 DolphinDB 实现流批一体化的中高频因子开发。在因子开发中,回测是很重要的一环。为了给用户带来更好的回测体验,DolphinDB 开发了集数据回放、模拟撮合引擎、回测引擎于一体的回测框架。
讲座尾声,周博士与大家探讨了交易系统构建和 AI 应用的前沿技术。他详细介绍了 DolphinDB 的一系列强大功能,包括因子开发管理平台、实时曲线拟合引擎、实时估值定价引擎,以及 CPU-GPU 异构计算平台 Shark 等。同学们积极与周博士互动,现场气氛活跃。
DolphinDB 与南方科技大学商学院联合课程开启
《量化投资》课程由南方科技大学商学院与 DolphinDB 合作开发并联合授课。此课程针对本科和研究生开设,旨在探索量化投资的核心理念及其实际应用,内容涵盖量化策略与算法交易、金融数据处理(如 Wind、彭博、Tushare)、市场有效性假说、多因子模型及其在资产定价和组合优化中的应用、Barra模型、风险控制模型,以及量化软件DolphinDB 的使用。
DolphinDB 的课程内容覆盖了从软件部署到中高阶使用的完整实践,具体包括软件安装、数据处理与数据库入门,初、中、高级的多因子构建与回测知识 ,多因子组合优化等策略实战内容。本次课程的学习和实践,能提升同学们在金融市场中的应用能力和实践技能。成绩优异的同学将有机会通过 DolphinDB 技能认证考试,并获得在 DolphinDB 和知名金融机构实习与就业的机会。
DolphinDB 高校合作计划
DolphinDB 高校合作计划旨在通过产学研协同创新、人才共育等多种形式,致力于将 DolphinDB 引入高校,共同培养具备国际视野、创新精神和实践能力的高素质金融科技人才。合作内容包括讲座、课程开发、人才实训及联合研究等,为学生提供丰富的学习资源、实习机会及研究课题。
目前,DolphinDB 已与多所知名高校开展合作,包括上海交通大学安泰经济与管理学院、上海交通大学高级金融学院、浙江大学经济学院、中国科学技术大学管理学院、上海财经大学实验中心、南方科技大学商学院、复旦大学等。