数据处理

喂完待续1 个月前
分布式·kafka·消息队列·big data·数据处理·序列晋升
【Big Data】Apache Kafka 分布式流处理平台的实时处理实践与洞察目录一、Apache Kafka是什么二、Kafka的诞生背景三、Kafka的架构设计四、Kafka解决的技术问题
RestCloud1 个月前
数据库·tidb·etl·gaussdb·数据处理·数据同步·集成平台
10迁移TiDB数据库数据到GaussDB数据库迁移与升级已成为应对业务发展、技术演进和合规要求的常见场景。将数据从TiDB分布式数据库迁移至华为云GaussDB,尤其对于追求更高安全性、稳定性和国产化兼容性的企业而言,是一项具有战略意义的决策。然而,迁移过程中的数据一致性、业务停机和转换复杂性往往是企业面临的主要挑战。本文将介绍如何借助ETLCloud这一领先的数据集成与迁移工具,轻松、高效、安全地完成从TiDB到GaussDB的迁移任务,化复杂为简单,实现平滑过渡。
sunxinyu2 个月前
大数据·线性回归·数据处理·数据拟合·二维三维空间数据
曲面/线 拟合gnuplot1. 下载gnuplot windows 版,安装,(别的绿色的可能下载即用,推荐下面链接这款)gnuplot - Browse Files at SourceForge.net
爱编码的程序员2 个月前
人工智能·python·ai·json·excel·数据处理·dsl
python 处理json、excel、然后将内容转化为DSL语句,适用于数据处理(实用版)Python -config -dev.py -data -data.json -dsl.json -dsl.txt -dsl模版.json -example.xls -将execel里面的内容转成DSL语句.xlsx -doc design.md -src -models -_init_py -main.py -utils -init.py -json_load_utils.py -README.md -requirements.txt -setup.py
Monkey的自我迭代2 个月前
python·机器学习·逻辑回归·数据处理·下采样·过采样
逻辑回归参数调优实战指南在前面的学习中,我们参数使用的都是默认参数。所有在面对特殊问题的时候,准确率会高,召回率也不高。所以我们要对某些数据进行微调。
小关会打代码2 个月前
python·机器学习·pandas·数据处理
Python编程进阶知识之第四课处理数据(pandas)目录简介1. 安装 Pandas2.基本数据结构1.Series(1.)创建Series(2.)Series的属性
麻辣长颈鹿Sir2 个月前
算法·信息可视化·数据分析·c/c++·数据处理
【C++】使用箱线图算法剔除数据样本中的异常值目录一、箱线图算法介绍二、五数概括计算解释三、四分位距(IQR)与异常值判定四、箱线图在数据处理中的应用
青春不败 177-3266-05202 个月前
信息可视化·气象学·数据处理·环境科学·地质工程·surfer·voxler
基于Surfer与Voxler数据处理及可视化技术应用Surfer和Voxler分别是用于二维和三维数据可视化软件,具有强大的数据处理和插值功能,软件主要应用于气象、环境和地质(以及生物、医学等)等领域。其中Surfer主要用于绘制二维等值线图、三维表面图以及空间矢量图,Voxler主要用于绘制空间等势面图(如流线、污染羽分布、地下矿体形态等)。有助于土壤污染场地调查数据、野外地质调查、钻孔数据的可视化效率,展示令人惊叹的结果,推动相关领域实际工程项目的发展。
亿牛云爬虫专家3 个月前
flink·kafka·数据采集·爬虫代理·数据处理·二手房·定时抓取
Kafka与Flink打造流式数据采集方案:以二手房信息为例近年来,国内多个城市的存量房市场呈现出波动频繁、挂牌量上升但成交周期拉长的结构性特征。特别是在一线与强二线城市中,房源更新节奏加快,用户浏览行为活跃,价格异动更加频繁。与此同时,政策层面也在不断优化限制措施,鼓励“以旧换新”“首付降低”等手段,进一步提升了市场活跃度。
胖达不服输3 个月前
人工智能·python·机器学习·数据处理
「日拱一码」020 机器学习——数据处理目录数据清洗缺失值处理删除缺失值:填充缺失值:重复值处理检测重复值处理重复值异常值处理Z-score方法
zhongqu_3dnest4 个月前
vr·数据处理·vr看房·全景相机·技术革新·场景优化·交互技术
打破物理边界:VR 看房技术的创新与飞跃在科技高速迭代的时代,房地产行业掀起数字化变革热潮,VR 看房作为其中的创新成果,正重塑人们的购房租房体验。这项技术突破时空限制,让用户沉浸式感受房屋实景,为行业带来便利,其发展离不开一系列技术革新,众趣科技在该领域也展现出独特优势。
RestCloud4 个月前
数据仓库·etl·数据处理·数据脱敏·数据集成工具
ETLCloud中数据脱敏规则的使用技巧数据脱敏,即在数据处理过程中,运用多样化的技术手段,对数据里的敏感信息予以屏蔽或替换,以此保障个人隐私与敏感信息的安全性。数据脱敏一般应用于数据共享、数据分析以及软件测试等场景之中,其核心目的在于削减数据泄露与被滥用的风险,为数据的合规使用与妥善管理筑牢坚实屏障,确保在充分挖掘数据价值的同时,最大程度地维护信息主体的权益与数据生态的健康稳定。
RestCloud4 个月前
数据仓库·mysql·etl·数据处理·数据集成工具·集成平台
ETL常见的数据转换方式数据转换就是把数据从一种格式或结构变换成另一种格式或结构。它借助一系列转换操作,让数据变得更整洁、规范,方便理解和使用。数据转换是 ETL(即数据抽取、转换、加载)流程里十分关键的一步,能保障数据在不同系统间顺畅流通,满足各类业务需求。它有助于提升数据质量,确保数据的准确性和一致性,降低分析时的误差,还能增强数据的可用性,使不同来源的数据能更好地和业务系统对接,进而优化企业决策效率,为企业提供高质量的数据支撑,让分析和预测更加精准可靠。
RestCloud4 个月前
大数据·服务器·数据库·etl·数字化转型·数据处理·集成平台
ETLCloud中数据生成规则使用技巧在数字化转型加速推进的背景下,数据生成规则作为数据工程的核心技术要素,其系统化应用已成为企业构建智能数据生态的关键路径。通过可配置的规则引擎实现数据的智能化构建。本文将结合ETLCloud平台的演示数据生成规则的使用技巧。