数据分析

Asa121381 天前
数据分析
R语言实现多组学因子分析(MOFA)在医学随访研究中,我们经常同时观察到两类数据:传统做法是"两步走"——先用线性混合模型分析纵向指标的变化,再用 Cox 比例风险模型分析生存时间。但这存在一个根本问题:纵向指标通常存在测量误差,且只在离散的随访时间点被观测到。直接把观测值当作真实值塞进 Cox 模型,会低估关联、引入偏倚。
漂着的圆木1 天前
sql·数据分析·agent·githubcopilot·度量
Agent 功能参与度:Copilot 怎么算团队在判断要不要继续投入某个 Copilot 功能时,缺一个能横向比较的采用指标。GitHub 在 9 月 17 日的官方更新里给出了新口径:每个功能有多少活跃用户在 28 天内至少两天用到了它。这篇文章说清这条口径的定义、它能证明什么、不能证明什么,以及怎么用本地活动表和任务结果表复算同一口径。
paopaokaka_luck1 天前
前端·javascript·spring boot·spring·数据分析·echarts
智慧社区综合服务小程序(人脸识别、AI问答、Echarts图形化分析)关键词:Spring Boot · Vue 3 · uni-app · 人脸识别(百度 AI)· DeepSeek 智能问答 · ECharts 图形化分析 · 房屋绑定审批 · 物业缴费与余额 · 工单流转
Aloudata1 天前
大数据·人工智能·数据分析·data agent·语义层
语义层和SQL Copilot:一个降低写SQL门槛,一个统一业务逻辑语义层与 SQL Copilot 解决的是企业数据分析中的两个不同问题。SQL Copilot 利用大模型理解自然语言、数据库 Schema 和查询上下文,辅助用户生成、修改、解释或优化 SQL,主要降低数据查询的技术门槛;语义层则将指标定义、维度关系、业务对象、时间语义、权限和计算规则统一建模,解决不同人员、BI 工具和 Agent 是否按照同一业务逻辑分析数据。
IT研究室1 天前
大数据·信息可视化·数据分析·spark·课程设计
最新大数据毕业设计选题推荐-基于大数据的信用等级数据分析与可视化-大数据-Spark-Hadoop-Bigdata✨作者主页:IT研究室✨ 个人简介:曾从事计算机专业培训教学,擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。 ☑文末获取源码☑ 精彩专栏推荐⬇⬇⬇ Java项目 Python项目 安卓项目 微信小程序项目
paopaokaka_luck1 天前
前端·javascript·spring boot·spring·数据分析·echarts
考研政治刷题小程序(AI推荐题目、ECharts数据分析、章节练习与专项训练、模拟考试、错题本与收藏夹、学习打卡与目标管理、题库和组卷维护)关键词:Spring Boot 3.3.1 · uni-app 微信小程序 · Vue 3 管理端 · 章节练习与专项训练 · 模拟考试与答题卡 · 错题本与收藏夹 · 学习打卡与目标管理 · ECharts 数据分析
2601_960620372 天前
数据分析
2026校招市场策略岗项目准备指南:调研/竞品/活动/竞赛4类项目应届生做市场策略岗位,最该准备的项目是能完整跑通市场调研、用户洞察、竞品分析、策略制定与复盘闭环的实战项目,优先做市场调研分析类与校园活动策划类;本文依据蓝月亮、欣旺达、白象食品、蒙牛等企业2026届校招JD原文,以及美团、蓝月亮等2026届面经整理。
SelectDB2 天前
大数据·数据库·数据分析
同等资源下 Apache Doris 4.2 vs StarRocks 4.1.1:1TB SSB 与 TPC-H 性能实测文章转载自:野生数据人分析型数据库的性能比较,最终还是要回到真实 Query 和实际运行数据。我们基于 Apache Doris 4.2 与 StarRocks 4.1.1,在相同计算资源和相同测试协议下进行了新一轮 1TB 规模性能测试。目前已经完成 SSB、SSB-Flat 和 TPC-H 三组测试(TPC-DS 测试仍在进行中,后续将单独公布)。
SelectDB2 天前
大数据·数据库·数据分析
Doris vs ClickHouse:企业 OLAP 走向下一阶段,两种技术路线如何选择过去几年,ClickHouse 凭借优秀的列式存储、数据压缩和执行效率,在日志分析、明细查询等场景中快速普及,成为实时分析领域的重要技术选择。
AI职业加油站2 天前
人工智能·学习·职场和发展·数据分析·职场发展
数据要素价值释放年:大数据治理工程师,站上职业新风口2026年被官方定义为“数据要素价值释放年”,依托国家数据局市场化改革部署,全国统一数据产权登记、一体化数据市场建设工作全面落地。这也意味着国内数字化发展正式迎来分水岭:过去企业拼系统搭建、数据互联互通,如今核心竞争转向数据资产盘活、数据合规落地、数据价值变现。在此行业变革之下,长期被低估的大数据治理工程师,一跃成为数字产业的刚需热门职业。
buligbulig2 天前
数据分析
数据分析平台的层次与产品构成一、数据分析平台层次 数据源可分为离线数据、近似实时数据和实时数据,主要说明数据存储结构。流数据的核心是连续性和快速分析性。 计算层中,Spark利用集群内存加载处理数据,省去部分I/O开销,加快计算。Impala利用分布式集群和高效存储,加快大数据集查询速度,即近似实时查询。底层文件系统以HDFS为主,上层YARN是MapReduce第二版,合在一起即Hadoop最新版本。基于之上的应用有Hive、PigLatin,利用SQL思想查询Hadoop上的数据。 关键是用大数据做决策支持。R可做统计分析并利用
quantdash_cc2 天前
开发语言·python·数据分析·量化交易·股票数据·quantdash
量化策略为什么需要实时行情数据?从信号产生到交易决策的时间差说起一句话结论:量化策略需要实时行情,并不是因为“实时”听起来更高级,而是因为交易信号本身依赖市场状态;如果策略计算使用的价格已经过时,信号产生时间与实际市场状态之间就可能出现偏差。
wang_yb2 天前
数据分析·databook
泊松分布:从基础到实际应用做技术的应该都遇到过这种场景:服务器每分钟收到多少请求?接口一天报错几次?网站一小时来多少访客?这些问题的共同点是:在一段固定时间里,某个事件发生了多少次。
databook2 天前
python·数据挖掘·数据分析
泊松分布:从基础到实际应用做技术的应该都遇到过这种场景:服务器每分钟收到多少请求?接口一天报错几次?网站一小时来多少访客?这些问题的共同点是:在一段固定时间里,某个事件发生了多少次。
buligbulig2 天前
数据分析
数据清洗的基本概念与方法一、基本概念 数据清洗指发现并纠正数据文件中可识别的错误,包括检查数据一致性、处理无效值和缺失值等。数据仓库中的数据从多个业务系统抽取而来并包含历史数据,难免存在错误或冲突数据,即“脏数据”。数据清洗的任务是过滤不符合要求的数据,将结果交给业务主管部门确认。不符合要求的数据主要分为不完整数据、错误数据和重复数据三类。 二、一致性检查 一致性检查根据变量的合理取值范围和相互关系,检查数据是否合乎要求,发现超出正常范围、逻辑上不合理或相互矛盾的数据。发现不一致时,要列出问卷序号、记录序号、变量名称、错误类别等
shujudang2 天前
大数据·数据挖掘·数据分析
业务数据分析项目中的分析方法与团队协作摘要: 从确定指标、接入数据,到完成专题分析、培养内部团队,数据分析项目不仅需要技术平台,更需要相应的方法和实践经验。本文以新客复购为例,探讨如何开展业务数据分析、讨论指标定义、进行数据校验以及实现方法传递。
SelectDB技术团队2 天前
数据库·数据分析·全文检索·快手·apache doris·向量索引·多模态检索
快手基于 Apache Doris 千亿多模态检索的实践作者:温佳豪,快手数据引擎技术中心架构师导读:大模型和 AI Agent 落地之后,多模态内容向量化与相似度检索逐渐成为大数据分析的基础能力。在快手,基于 Apache Doris 深度定制的 Bleem 分析引擎在承载标量分析的同时,将向量检索扩展到了千亿级规模。本文系统梳理 Bleem 引擎在存算分离架构下的演进过程,重点介绍在千亿规模、高维向量与成本约束下,结合 IVF-ON-DISK、RaBitQ 量化与全局两层索引的设计方案与实测收益,并总结生产环境沉淀的工程经验。
政企项目老覃2 天前
数据库·程序人生·性能优化·数据分析·系统架构
金融转账“幽灵失败“排查实录:从本地消息表到 Seata TCC 的选型与权衡2024 年 Q3,我们负责的某城商行互联网核心系统上线了 II 类户跨行转账功能。业务量不大,日均交易约 12 万笔,峰值 QPS 约 800。上线两周后,运营反馈一个异常现象:用户收到扣款短信,但收款方迟迟不到账,客服工单日均 40+ 起,投诉率环比上升 0.3 个百分点。 排查发现,问题集中在转账链路的"记账 + 通知"环节。我们的转账服务调用链是:账户服务(扣款)→ 账务流水落库 → 消息服务(发通知)。最初实现是本地事务 + 异步消息:扣款和流水在同一个本地事务里提交,然后通过 MQ 异步通知下
计算机源码社2 天前
大数据·hadoop·python·数据分析·spark·毕业设计·数据可视化
基于大数据技术的台北市住宅价格影响因素挖掘与可视化分析-基于Python与Hadoop的台北市住宅价格数据仓库构建与可视化💕💕作者:计算机源码社 💕💕个人简介:本人八年开发经验,擅长Java、Python、PHP、.NET、Node.js、Spark、hadoop、Android、微信小程序、爬虫、大数据、机器学习等,大家有这一块的问题可以一起交流! 💕💕学习资料、程序开发、技术解答、文档报告 💕💕如需要源码,可以扫取文章下方二维码联系咨询
IT研究室2 天前
大数据·信息可视化·数据分析·spark·课程设计
最新大数据毕业设计选题推荐-基于大数据的物流快递数据分析与可视化-大数据-Spark-Hadoop-Bigdata✨作者主页:IT研究室✨ 个人简介:曾从事计算机专业培训教学,擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。 ☑文末获取源码☑ 精彩专栏推荐⬇⬇⬇ Java项目 Python项目 安卓项目 微信小程序项目