数据处理

RestCloud5 天前
etl·数据处理·etlcloud·数据传输·数据同步·数据集成平台
2026免费高性能的数据集成平台推荐根据IDC最新报告,2026年全球数据总量将突破200ZB大关,企业面临的数据整合压力前所未有。传统的数据集成方式已难以满足现代业务需求,主要体现在以下几个维度:
阿坤带你走近大数据8 天前
分布式·云原生·实时数仓·存储·数据处理·数据湖仓
大数据处理与分布式存储的各自介绍大数据处理与分布式存储是现代数据基础设施的两大基石。随着数据量的爆炸式增长(预计到2025年全球数据圈将达到175 ZB)以及AI大模型的兴起,这两项技术正在经历深刻的变革。
softbangong9 天前
microsoft·自动化·excel·办公自动化·数据处理·excel操作·excel工具
901-excel编辑工具通过调用 pywin32 模块实现对 Microsoft Excel 的自动化操作。无需编写代码即可完成 Excel 文件的各项操作,大大降低了 Excel 自动化处理的门槛。
长路 ㅤ   1 个月前
数据处理·java集合·guava工具类·lists.partition·hashbasedtable·immutableset
Guava工具类库使用博主介绍:✌目前全网粉丝4W+,csdn博客专家、Java领域优质创作者,博客之星、阿里云平台优质作者、专注于Java后端技术领域。
IT小哥哥呀1 个月前
大数据·人工智能·机器学习·数据处理·模型训练
如何优化机器学习模型的训练速度?——从基础知识到具体实现在机器学习的实际应用中,训练速度是一个关键的性能指标。提高训练速度不仅能大幅节省开发时间,还能提高实验的迭代效率。本文将从基础知识入手,逐步介绍优化训练速度的思路、框架,并最终深入到具体的工具准备、环境部署和代码实现。
XLYcmy2 个月前
开发语言·数据结构·windows·python·开发工具·数据处理·源代码
一个用于统计文本文件行数的Python实用工具脚本一、 功能概述与核心价值核心功能是可靠地统计一个给定路径的文本文件的总行数。这看似一个简单的任务,但其设计与实现充分考虑到了实际应用中的各种复杂性,使其超越了简单的 len(file.readlines()),成为一个健壮性高、用户体验好的命令行工具。
予枫的编程笔记2 个月前
mysql·数据处理·窗口函数·后端开发·json数据类型·数据库进阶·mysql高级特性
【MySQL筑基篇】从排名统计到非结构化存储:MySQL窗口函数与JSON实战教程还在认为MySQL只能存储简单行数据?大错特错!在现代开发中,窗口函数能轻松搞定复杂排名、分组统计,JSON数据类型可灵活处理非结构化数据,这两大高级特性早已成为后端开发者提升效率的利器。本文带你吃透这两个核心技能,摆脱“MySQL只会CRUD”的标签,轻松应对复杂业务场景!
ha_lydms2 个月前
大数据·hadoop·hdfs·架构·mapreduce·yarn·数据处理
Hadoop 架构高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。
Brduino脑机接口技术答疑2 个月前
算法·性能优化·数据处理·脑机接口
脑机接口数据处理连载(十四) 实时数据处理:低延迟算法设计与性能优化脑机接口(BCI)从实验室走向实际应用,实时性成为核心技术瓶颈。无论是临床假肢控制还是消费级脑控外设,都要求系统实现低延迟端到端处理(通常<200ms)。离线处理可追求极致精度,而实时BCI需在低延迟、高鲁棒性、轻量高效三者间取得平衡。
阿杰学AI2 个月前
人工智能·ai·语言模型·自然语言处理·aigc·数据处理·上下文工程
AI核心知识70——大语言模型之Context Engineering(简洁且通俗易懂版)上下文工程 (Context Engineering) 是随着大模型上下文窗口(Context Window)越来越大(从 4k 到 100万+ Token)而诞生的一门“信息整理术” 。
千桐科技2 个月前
数据处理·大数据平台·数据中台·逻辑模型·qdata·数据标准·标准登记
qData 数据中台核心能力解析|第 02 期:从“有标准”到“能执行”,数据标准体系全景解析在数据治理过程中,数据标准几乎是所有工作的起点。 但在现实中,很多组织的数据标准,往往停留在“文档层”:
康谋自动驾驶2 个月前
算法·自动驾驶·开发·数据处理·总线数据
汽车多总线数据采集:挑战、架构与同步策略全解析每一次极端天气下的紧急制动,每一段复杂路况中的精准识别,本质都在考验算法对现实世界的适应能力。因此,我们可以看到在智能辅助驾驶从“功能验证”到“场景攻坚”的关键阶段,真实、高质量的数据是算法性能提高的基石。尤其在极端天气、颠簸路面和电磁干扰等恶劣工况下,如何实现多源传感器数据的高可靠采集、高精度同步与高效率处理,是行业中常遇到的难题。
杰瑞不懂代码3 个月前
python·excel·pandas·办公自动化·数据处理
使用pandas操作EXCEL表格入门教程为什么要学习pandas?我们之前其实已经接触了xlwings,它的强项是控制 Excel。比如打开文件、读写单元格、设置字体颜色、操作图表。它不擅长计算,但是如果用 xlwings 逐行遍历 10 万行数据做加法,速度会比蜗牛还慢,同样如果用VBA处理,庞大的数据处理需求,就有点难为二位了
科研面壁者3 个月前
3d·可视化·origin·数据处理·科研绘图
Origin科研绘图——3D 百分比堆积墙型图更多免费教程和软件 :👆关注我👆 每天学点习吧!3D 百分比堆积墙型图(3D Percent Stacked Area/Wall Chart)是一种在三维效果下展示的堆积面积图。
ha_lydms3 个月前
java·大数据·python·spark·数据处理·maxcompute·spark 函数
5、Spark函数_s/tschema_of_avro(jsonFormatSchema, options) - Returns schema in the DDL format of the avro schema in JSON string format.
isNotNullX3 个月前
数据库·数据资产管理·数据处理·企业数字化
数据处理的流程是什么?如何进行数据预处理?目录第一部分:把数据处理看成一条有顺序的“流水线”第二部分:数据预处理:我们在处理哪些具体问题?第一个典型问题:数据不完整——有缺失、有空值
ha_lydms3 个月前
大数据·分布式·spark·函数·数据处理·dataworks·maxcompute
3、Spark 函数_d/e/f/j/h/i/j/k/ldate(expr) - Casts the value expr to the target data type date.
ha_lydms3 个月前
大数据·数据库·python·sql·spark·数据处理·dataworks
4、Spark 函数_m/n/o/p/q/rmake_date(year, month, day) - Create date from year, month and day fields. If the configuration spark.sql.ansi.enabled is false, the function returns NULL on invalid inputs. Otherwise, it will throw an error instead.
ha_lydms3 个月前
java·大数据·python·spark·数据处理·dataworks·spark 函数
6、Spark 函数_u/v/w/x/y/zucase(str) - Returns str with all characters changed to uppercase.