数据处理

2601_967987376 天前
python·性能优化·数据处理·collections·defaultdict
Python 教程:默认字典(defaultdict)全维度深度指南这是一份关于默认字典那个东西的深度指南, 它会告诉你所有的细节。在编程的日常实践这一件事情上面, 字典这种东西也就是通常说的dict, 是我们处理有关联关系的数据时候最频繁使用到的一个工具。然而标准字典有一个特性, 这个特性让开发者既喜爱又抱怨, 其具体表现是当你尝试去访问一个本来就不存在的键的时候, 它会毫不犹豫地抛出一些异常来作为回应。
2601_967979128 天前
数据处理·科学计算·python-excel·模块对比·excel操作库
Python-Excel 模块对比前言那些从网页上面爬取下来的大量的数据, 是需要用 Excel 来做一个清理和整理的。有成堆的科学实验数据是需要导入到excel里面去的, 因为要对那些数据进行一下分析工作。
第九序言T15 天前
python·数据分析·pandas·数据处理
数据分析岗 Pandas 面试题 20 道(上):概念与读代码前两篇讲了报错,这篇换个场景:面试。Pandas 面试有个特点——不考记忆,考理解。没人会问你 read_csv 有哪些参数(能查),但一定会问「loc 和 iloc 有什么区别」「为什么会有 SettingWithCopyWarning」——因为这些问题能看出你是否真的想过数据是怎么存的。
小杨互联网16 天前
开源·数据处理·cli·离线镜像
开源表格数据与文本处理 CLI 离线镜像合集本集合汇总 MIT / Apache / BSD 等宽松许可的表格数据与文本处理 CLI 离线包:Miller、xsv/qsv、csvkit、sd、fx、ripgrep、fzf、Biome、esbuild、Frictionless、Polars 等。主题侧重表格/文本流水线,与数据库客户端、HTTP 调试合集错开。
桑年17 天前
人工智能·python·线性代数·pandas·数据可视化·数据处理
四、Pandas数据处理Pandas是一个开源的、用于数据处理和分析的Python库,特别适合处理表格类数据。它建立在NumPy 数组之上,提供了高效的数据结构和数据分析工具,使得数据操作变得更加简单、便捷和高效。
第九序言T18 天前
开发语言·python·自动化·pandas·数据处理
Python 数据处理进阶(十八)批量处理同结构文件:一个文件夹一次跑完上一篇是「一份数据做成一份报表」,这一篇是它的放大版:一堆结构相同的文件,合成一张表。最常见的样子:财务给你一整年的销售明细,一个月一个文件、列名一样;或者几十个门店各自导出,文件名里带门店编号。手工操作就是打开、复制、粘贴 12 次,还容易漏一个。
chaser&upper20 天前
人工智能·agent·数据处理·合合信息·textin xparse
从 xParse 看企业 AI:业务知识如何进入工作流随着AI的极速变革,企业开始让 Agent参与采购、审合同、跟进订单,一个问题却变得越来越具体:模型理解了任务,那作出判断所需的业务知识从哪里来?交付条件在合同里,设备要求在参数表里,最新变更可能还留在一封邮件中。这些材料记录着企业如何运转,却未必能直接成为AI 可用的输入。过去,员工靠经验把它们联系起来,知道哪个版本有效,也知道表格下的一条备注可能改变整个判断。如今,这些工作逐渐交给Agent,原本依赖人工补齐的信息关系,就需要被更完整地保留下来。文档解析的质量,会影响企业知识以什么样的面貌进入 AI
ha_lydms1 个月前
大数据·数据仓库·hadoop·spark·数据处理·dataworks·maxcompute
Window Functions(窗口函数)原文:Apache Spark SQL — Window Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 9 个函数。
ha_lydms1 个月前
xml·大数据·hadoop·spark·数据处理·dataworks·maxcompute
Xml Functions(XML 函数)原文:Apache Spark SQL — Xml Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 12 个函数。
ha_lydms1 个月前
大数据·hadoop·spark·数据处理·dataworks·maxcompute·数据中台
Vector Functions(向量函数)原文:Apache Spark SQL — Vector Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 7 个函数。
ha_lydms1 个月前
大数据·hadoop·阿里云·spark·云计算·数据处理·dataworks
阿里云大数据组件阿里云拥有国内强大且丰富的云数据库产品家族,涵盖关系型数据库、非关系型数据库、数据仓库、数据库生态工具四大版块,可以为企业数据生产和集成、实时处理、分析与发现、开发与管理提供全链路生命周期的服务。
ha_lydms1 个月前
大数据·hadoop·阿里云·spark·数据处理·dataworks·maxcompute
Datetime Functions(日期时间函数)原文:Apache Spark SQL — Datetime Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 82 个函数。
ha_lydms1 个月前
大数据·hadoop·阿里云·spark·数据处理·dataworks·maxcompute
Bitwise Functions(位运算函数)原文:Apache Spark SQL — Bitwise Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 13 个函数。
ha_lydms1 个月前
大数据·hadoop·阿里云·spark·数据处理·dataworks·maxcompute
St Functions(空间函数)原文:Apache Spark SQL — St Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 5 个函数。
ha_lydms1 个月前
大数据·hadoop·阿里云·spark·数据处理·dataworks·maxcompute
Table Functions(表函数)原文:Apache Spark SQL — Table Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 2 个函数。
ha_lydms1 个月前
大数据·hadoop·spark·json·数据处理·dataworks·maxcompute
Json Functions(JSON 函数)原文:Apache Spark SQL — Json Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 7 个函数。
ha_lydms1 个月前
大数据·hadoop·阿里云·spark·数据处理·dataworks·maxcompute
Conditional Functions(条件函数)原文:Apache Spark SQL — Conditional Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 12 个函数。
ha_lydms1 个月前
大数据·hadoop·阿里云·spark·数据处理·dataworks·maxcompute
String Functions(字符串函数)原文:Apache Spark SQL — String Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 74 个函数。
茗创科技1 个月前
神经网络·脑网络·数据处理
种子点分析vs全脑分析:共激活模式(CAP)到底怎么选?作者:长沙茗创科技(脑科学数据分析团队)共激活模式(co-activation pattern,CAP)是一类基于单个 fMRI 时间点进行分析的方法。传统静息态功能连接通常用整段时间序列的相关性描述脑区之间的平均耦合,而 CAP 直接观察每一个 TR 对应的全脑 BOLD 空间模式,再把具有相似空间分布的时间点聚成若干状态。这样可以进一步描述不同脑状态在扫描过程中如何反复出现、持续和切换。
xixixi777771 个月前
人工智能·安全·ai·语言模型·大模型·数据处理·政务
大语言模型(LLM)核心能力及在政务领域的全域落地应用解析随着数字政府建设进入智能化、全域化、精细化新阶段,传统政务数字化的瓶颈愈发凸显:政务政策晦涩难懂、公文撰写审核效率低下、群众办事流程繁琐、部门数据协同壁垒突出、应急决策响应滞后。传统信息化手段仅实现了 “流程线上化”,却无法解决 “服务不智能、治理不精准、决策不高效” 的核心痛点。