数据分析

Data analyse45612 小时前
前端·网络·算法·数据分析
rnweb 回放数据量太大怎么办?分片存储与断点续传的实现思路摘要:会话回放每秒都在产生快照与事件数据,整段上报必然超限、断网即丢、上传失败整段作废。本文给出回放数据的分片策略(时间片 + 大小阈值 + 事件边界)、IndexedDB 本地缓存与「序号 + 确认 + 去重」的断点续传协议。
注塑机数据采集联网12 小时前
大数据·网络·数据库·物联网·数据挖掘·数据分析
注塑机数据采集网关对接MES系统数字化技术方案随着制造业数字化转型的深入推进,注塑车间作为生产链条中的关键环节,其设备数据采集与信息化管理的重要性日益凸显。中科晟达注塑机数据采集网关作为连接注塑设备与上层管理系统的桥梁,能够有效打通设备层与信息层之间的数据壁垒,为MES系统的精细化管控提供实时、准确的数据支撑。
Sharewinfo_BJ14 小时前
数据库·数据分析·智信bi·上北智信
Power BI沿袭视图详解:从看懂链路到做影响分析Lineage 一词最常用于指血统,这个词的翻译有很多版本,这里我参照微软官方文档,译作沿袭。在开始之前,我们先说明一条主线,在 Power BI 里,数据大概是这样流动的:
wang_yb16 小时前
ai·数据分析·databook
MinMax vs Standard vs Robust:三种特征缩放怎么选做特征工程时很多人有一套固定动作:StandardScaler 然后 fit_transform。(也就是先标准化数据,在训练模型)
databook17 小时前
python·机器学习·数据分析
MinMax vs Standard vs Robust:三种特征缩放怎么选做特征工程时很多人有一套固定动作:StandardScaler 然后 fit_transform。(也就是先标准化数据,再训练模型)
Data-Miner19 小时前
microsoft·数据分析·excel
数据分析,除了Excel数据透视表,还有什么工具?——2026 专业精选推荐榜透视表是 Excel 的看家本领,但一旦需求越过"单表汇总"这道线——多表关联、异常排查、定期月报、要给领导交一份能改的 Word/PPT——它就开始吃力。本文以企业办公人群的真实场景为准,用 5 个专业维度筛出 5 类值得长期用的数据分析工具,并给出按角色快速决策的建议清单。
paopaokaka_luck20 小时前
java·人工智能·spring boot·websocket·数据分析·echarts·推荐算法
民宿管理系统 (AI民宿总结、协同过滤推荐算法、WebSocket 在线咨询、ECharts 经营分析、房态与结算联动、 民宿预订业务闭环)①:架构:B/S、MVC、前后端分离,住客前台、房东后台、平台管理后台②:系统环境:Windows③:开发环境:IDEA、JDK17、Maven、MySQL、Node.js
烂蜻蜓21 小时前
数据挖掘·数据分析·pandas
Pandas入门教程(一):初识Pandas——数据分析的利器Pandas 是 Python 语言的一个扩展程序库,用于数据分析。名字来源: Pandas 名字衍生自术语 "panel data"(面板数据)和 "Python data analysis"(Python 数据分析)。
外收内放21 小时前
python·学习·数据分析
数据分析(数据清洗)目标:把原始表里的缺失值、重复值、异常值、格式问题逐一收拾干净。import pandas as pd
Data analyse4561 天前
大数据·运维·服务器·前端·数据库·数据分析
App埋点版本兼容的字段迁移校验摘要:事件字段含义要升级时,老版本客户端还在跑,直接改字段会导致新旧数据混用、报表口径断裂。本文以负责埋点字段升级的工程师视角,按"决策记录"的方式梳理背景与约束、逐项评估新增字段/复用迁移/双写并存三个备选方案,给出决策依据、风险与复核条件,并附上字段兼容校验代码与工程决策记录表。
Data analyse4561 天前
大数据·运维·服务器·数据库·数据分析
Nginx日志访客识别的边界处理摘要:基于 Nginx access log 统计 UV 时,UV 忽高忽低、爬虫被算成真实访客,根因往往不在统计代码本身,而在于访客识别在 NAT、动态 IP、爬虫、代理回源等边界场景下没有被显式处理。本文从 access log 的数据结构出发,逐类枚举边界场景,给出 IP+UA+行为指纹的组合判定策略与验收口径。
benchmark_cc1 天前
python·数据分析·pandas·量化交易·股票数据·quantdash
量化系统架构设计:为什么应该将数据获取与策略逻辑解耦?一句话结论: 将数据获取与策略逻辑解耦,可以让策略专注于信号计算和交易决策,让数据层负责行情获取、格式统一与数据质量检查,从而降低系统维护成本,并提高策略复用能力。
派小心.2 天前
大数据·服务器·前端·数据库·人工智能·小程序·数据分析
网站统计采样数据的误差核对摘要:当网站流量很大时,统计平台常按采样率上报,报表里的 PV/UV 与全量口径对不上就成了常态。本文以数据与指标负责人视角,拆解采样的三种机制、误差的三个来源,给出抽样误差公式、与全量对照、置信区间的核对方法,并列出可接受误差的判定标准与采样口径记录卡。
2601_966949652 天前
开发语言·python·数据分析·pandas·量化交易·股票数据·quantdash
如何判断实时行情数据是否已经更新?从时间戳、交易时段到行情有效性一句话结论:判断实时行情是否更新,不能只比较两次请求的价格,也不能简单地把 HTTP 请求成功当成数据更新成功。更可靠的做法是结合行情时间戳、数据内容、交易时段和数据有效性进行综合判断。
SelectDB技术团队2 天前
数据库·数据仓库·数据分析·湖仓一体·apache doris·lakehouse·多模湖仓
Apache Doris 基于 Lance 的向量检索深度解析导读:Apache Doris 5.0 多模湖仓预告(7)|技术解析篇:随着自动驾驶等多模态应用的发展,大规模数据查询需要同时满足向量检索、条件过滤和业务分析需求。Apache Doris 集成 Lance,支持直接查询 Lance 数据集,并通过并行检索、提前过滤、按需读列和缓存优化提升查询效率。本轮测试中,在 10 亿规模智能驾驶数据的四条件向量检索场景下,Doris + Lance 用时 2.32 秒,相比 Ray + pylance 提升约 10.87 倍。本文将介绍 Doris 与 Lance
明月_清风2 天前
后端·数据分析
ClickHouse 实战指南:为什么它能做到"亿级数据秒级查询"?作为 OLAP 领域的"性能怪兽",ClickHouse 近年来在实时数仓、用户行为分析、日志分析等场景大放异彩。本文带你从原理到实践,搞懂 ClickHouse 的核心设计。
shujudang2 天前
大数据·金融·数据挖掘·数据分析
金融行业数据分析平台选型:客户视图、转化诊断与权限管理摘要: 金融机构在私有化环境下构建数据分析体系,核心痛点在于如何将分散的前端触点事件与复杂的后端核心业务状态有效对齐。本文从多端数据模型映射、端到端转化漏斗断点诊断、基于状态触发的运营闭环以及细粒度行列级权限隔离等维度,深入探讨金融私有化数据分析平台的选型依据与架构考量。
没有梦想的咸鱼185-1037-16632 天前
开发语言·人工智能·数据分析·r语言
从通量数据到SCI论文——AI-R语言生态系统碳水热通量及其机制分析与论文本文以FLUXNET通量数据为基础,围绕生态系统碳、水、热通量观测、数据预处理、通量拆分、时空变化分析、驱动机制建模和论文写作展开,并将AI辅助分析与结果审查训练贯穿全程。掌握以下能力:
郝学胜-神的一滴2 天前
开发语言·python·程序人生·金融·数据挖掘·数据分析
金融数据分析实战:从数据清洗到策略回测,Python全链路落地金融领域一直是数据分析的经典战场,和普通业务数据分析最大的区别:金融数据是时序数据、存在幸存者偏差、噪声极大,所有结论都必须经过回测检验,不能简单拿相关性当做因果。
cc5725026532 天前
数据分析
2027风控岗求职:应用统计学如何衔接统计建模、SQL与业务规则?应用统计学专业投风控岗,如果目标是风控策略岗,业务规则和业务理解通常应优先;如果目标是风险模型岗,统计建模是核心竞争力,但不能脱离业务。