技术栈
数据处理
Monkey的自我迭代
2 天前
python
·
机器学习
·
逻辑回归
·
数据处理
·
下采样
·
过采样
逻辑回归参数调优实战指南
在前面的学习中,我们参数使用的都是默认参数。所有在面对特殊问题的时候,准确率会高,召回率也不高。所以我们要对某些数据进行微调。
小关会打代码
9 天前
python
·
机器学习
·
pandas
·
数据处理
Python编程进阶知识之第四课处理数据(pandas)
目录简介1. 安装 Pandas2.基本数据结构1.Series(1.)创建Series(2.)Series的属性
麻辣长颈鹿Sir
10 天前
算法
·
信息可视化
·
数据分析
·
c/c++
·
数据处理
【C++】使用箱线图算法剔除数据样本中的异常值
目录一、箱线图算法介绍二、五数概括计算解释三、四分位距(IQR)与异常值判定四、箱线图在数据处理中的应用
青春不败 177-3266-0520
13 天前
信息可视化
·
气象学
·
数据处理
·
环境科学
·
地质工程
·
surfer
·
voxler
基于Surfer与Voxler数据处理及可视化技术应用
Surfer和Voxler分别是用于二维和三维数据可视化软件,具有强大的数据处理和插值功能,软件主要应用于气象、环境和地质(以及生物、医学等)等领域。其中Surfer主要用于绘制二维等值线图、三维表面图以及空间矢量图,Voxler主要用于绘制空间等势面图(如流线、污染羽分布、地下矿体形态等)。有助于土壤污染场地调查数据、野外地质调查、钻孔数据的可视化效率,展示令人惊叹的结果,推动相关领域实际工程项目的发展。
亿牛云爬虫专家
19 天前
flink
·
kafka
·
数据采集
·
爬虫代理
·
数据处理
·
二手房
·
定时抓取
Kafka与Flink打造流式数据采集方案:以二手房信息为例
近年来,国内多个城市的存量房市场呈现出波动频繁、挂牌量上升但成交周期拉长的结构性特征。特别是在一线与强二线城市中,房源更新节奏加快,用户浏览行为活跃,价格异动更加频繁。与此同时,政策层面也在不断优化限制措施,鼓励“以旧换新”“首付降低”等手段,进一步提升了市场活跃度。
胖达不服输
1 个月前
人工智能
·
python
·
机器学习
·
数据处理
「日拱一码」020 机器学习——数据处理
目录数据清洗缺失值处理删除缺失值:填充缺失值:重复值处理检测重复值处理重复值异常值处理Z-score方法
zhongqu_3dnest
2 个月前
vr
·
数据处理
·
vr看房
·
全景相机
·
技术革新
·
场景优化
·
交互技术
打破物理边界:VR 看房技术的创新与飞跃
在科技高速迭代的时代,房地产行业掀起数字化变革热潮,VR 看房作为其中的创新成果,正重塑人们的购房租房体验。这项技术突破时空限制,让用户沉浸式感受房屋实景,为行业带来便利,其发展离不开一系列技术革新,众趣科技在该领域也展现出独特优势。
RestCloud
2 个月前
数据仓库
·
etl
·
数据处理
·
数据脱敏
·
数据集成工具
ETLCloud中数据脱敏规则的使用技巧
数据脱敏,即在数据处理过程中,运用多样化的技术手段,对数据里的敏感信息予以屏蔽或替换,以此保障个人隐私与敏感信息的安全性。数据脱敏一般应用于数据共享、数据分析以及软件测试等场景之中,其核心目的在于削减数据泄露与被滥用的风险,为数据的合规使用与妥善管理筑牢坚实屏障,确保在充分挖掘数据价值的同时,最大程度地维护信息主体的权益与数据生态的健康稳定。
RestCloud
2 个月前
数据仓库
·
mysql
·
etl
·
数据处理
·
数据集成工具
·
集成平台
ETL常见的数据转换方式
数据转换就是把数据从一种格式或结构变换成另一种格式或结构。它借助一系列转换操作,让数据变得更整洁、规范,方便理解和使用。数据转换是 ETL(即数据抽取、转换、加载)流程里十分关键的一步,能保障数据在不同系统间顺畅流通,满足各类业务需求。它有助于提升数据质量,确保数据的准确性和一致性,降低分析时的误差,还能增强数据的可用性,使不同来源的数据能更好地和业务系统对接,进而优化企业决策效率,为企业提供高质量的数据支撑,让分析和预测更加精准可靠。
RestCloud
2 个月前
大数据
·
服务器
·
数据库
·
etl
·
数字化转型
·
数据处理
·
集成平台
ETLCloud中数据生成规则使用技巧
在数字化转型加速推进的背景下,数据生成规则作为数据工程的核心技术要素,其系统化应用已成为企业构建智能数据生态的关键路径。通过可配置的规则引擎实现数据的智能化构建。本文将结合ETLCloud平台的演示数据生成规则的使用技巧。
CodeCraft Studio
2 个月前
java
·
excel
·
数据处理
·
spire
国产化Excel处理组件Spire.XLS教程:用 Java 获取所有 Excel 工作表名称(图文详解)
在 Excel 中,工作表名称通常能够反映其用途或所含内容,提取这些名称有助于理清整个工作簿的结构。对于新用户或协作者来说,仅凭这些名称就能快速掌握各表中的数据类型。本文将演示如何使用 Java 获取 Excel 文件中的所有工作表名称,帮助你更高效地管理和理解工作簿数据。
RestCloud
2 个月前
数据库
·
数据仓库
·
mysql
·
etl
·
数据处理
·
数据同步
·
集成平台
如何通过ETLCloud实现跨系统数据同步?
在当今的数字化时代,企业面临着数据孤岛的问题,需要将分散在不同系统和数据库中的数据进行整合,以实现数据的统一管理和分析。ETLCloud作为一款零代码ETL工具,能够帮助企业快速对接多种数据源和应用系统,无需编码即可完成数据同步和传输。本文将详细介绍如何通过ETLCloud实现跨系统数据同步。
lczdyx
2 个月前
python
·
excel
·
pandas
·
数据清洗
·
数据处理
·
自动化办公
·
openpyxl
一键净化Excel数据:高性能Python脚本实现多核并行清理
本文分享两个基于Python的Excel数据净化脚本,通过多进程并行技术清除工作表内不可见字符、批注、单元格样式等冗余内容,利用OpenPyXL实现底层操作,结合tqdm进度条和进程级任务分配,可快速处理百万级单元格数据。适用于数据分析预处理、跨系统数据迁移等场景。
lczdyx
2 个月前
python
·
excel
·
pandas
·
数据清洗
·
数据处理
高效Excel数据净化工具:一键清除不可见字符与格式残留
本文将分享一款基于Python的Excel数据净化工具,用于自动清除给定的Excel文档中指定工作表中的不可见字符、批注、单元格样式等冗余数据。脚本支持进度可视化展示,保留核心数据处理逻辑的同时确保文件格式规整,特别适用于需要规范数据格式的企业级应用场景。
lczdyx
2 个月前
excel
·
pandas
·
数据处理
·
脱敏
Excel数据脱敏利器:自动保留格式的智能脱敏脚本
源码:📝 备注: 该数据脱敏脚本采用openpyxl库实现Excel文件的全自动化处理,具备三大特色能力:
c_weith
2 个月前
数据处理
·
json数据
·
xml数据
·
达梦管理工具
使用新一代达梦管理工具SQLark,高效处理 JSON/XML 数据!
在应用开发领域,JSON/XML数据结构因其灵活性和通用性,成为开发者存储和交换数据的首选。然而,传统管理工具在处理这些半结构化数据时,往往存在可视化效果差、编辑效率低等问题,严重影响开发者的工作效率。
RestCloud
2 个月前
大数据
·
数据仓库
·
etl
·
数字化转型
·
数据处理
·
数据集成平台
·
集成平台
ETL 数据集成与大数据技术的深度剖析
当下,数据已然跃居为企业最为核心的资产之一。然而,那些分散在各类业务系统、日志文件以及外部数据源中的原始数据,往往只有经过精细的加工处理流程,才能真正转化成为能够为企业创造价值的洞察分析结果。而这一关键流程中的核心环节—ETL(Extract,Transform,Load),在大数据开发领域变得十分重要。本文将深入浅出地剖析ETL在大数据场景下的丰富内涵、面临的挑战、技术体系架构以及未来发展趋势,为数据工程师们打造一份从理论认知到实际落地操作的全方位指南。
RestCloud
2 个月前
数据仓库
·
etl
·
数据处理
·
集成平台
ETL数据集成过程全流程优化指南
大数据时代数据已成为企业决策的核心依据,而数据仓库中的 ETL(抽取、转换、加载)过程则是确保数据质量的关键环节。然而,由于数据问题复杂多样,如数据质量问题、源数据变更等,ETL 过程常出现错误,这不仅会影响数据的准确性与完整性,还可能引发业务决策失误。谷云科技凭借多年 ETL 技术经验,为您提供全方位的 ETL 优化策略,助力企业提升数据处理的稳定性与可靠性。
RestCloud
2 个月前
数据仓库
·
api
·
etl
·
数据处理
·
数据转换
·
数据集成工具
·
集成平台
ETL数据集成产品选型需要关注哪些方面?
ETL(Extract,Transform,Load)工具作为数据仓库和数据分析流程中的关键环节,其选型对于企业的数据战略实施有着深远的影响。谷云科技在 ETL 领域耕耘多年,通过自身产品的实践应用,对 ETL 产品选型有着深刻的见解。