big data

北_鱼7 天前
大数据·flink·big data
Flink 资源静态调度本内容是根据 Flink 1.18.0-Scala_2.12 版本源码梳理而来。本文主要讲述任务提交时,为 Task 分配资源的过程。
锅泥叽蛙22 天前
big data·bigdata
一次性全部给你,这4款名不见经传的精品软件,用了就放不下Geek是个电脑卸载软件神器。Geek电脑空间不够了,想卸点应用来腾地方,但总是遇到各种问题,要么卸不干净,留下一些乱七八糟的文件,要么就是那些流氓软件,怎么卸都卸不掉,简直让人崩溃!
北_鱼23 天前
大数据·分布式·架构·kafka·big data
Kafka 架构Zookeeper 是一个分布式协调服务,用于管理 Kafka 的元数据。它负责维护 Kafka 集群的配置信息、Broker 列表和分区的 Leader 信息。 Zookeeper 确保了 Kafka 集群的高可用性和可靠性。 但 Zookeeper 已经成为 Kafka 性能瓶颈,Kafka 正在逐渐去 Zookeeper 化。
wuwolita12325 天前
大数据·数据仓库·big data·etl
大数据测试/ETL开发,如何造测试数据相信很多的小伙伴,有些是大数据测试岗位,有些是ETL开发,都面临着如何要造数据的情况。【大数据测试岗位】,比较出名的就是宁波银行,如果你在宁波银行做大数据开发,对着需求开发完代码之后,可能需要把代码提交给测试人员,那么测试人员会根据这个业务需求,他们会自己造一批数据,然后看看你的sql脚本,是不是有一些明显的sql错误,以及开发规范的问题。当然,还有最重要的一点是,他们会拿着你的脚本取跑数,看看的出来的数据是不是符合业务的逻辑与需求。
困了就倒头睡1 个月前
大数据·数据仓库·hive·hadoop·sql·hdfs·big data
摸鱼大数据——Hive函数14官网链接:Window Functions - Apache AsterixDB - Apache Software Foundation
LlnkTo1 个月前
java·大数据·hadoop·big data
HDFS RPC响应调优:FairCallQueue调优参考材料:Apache Hadoop 3.4.0 – Fair Call Queue Guide一、案例
云表平台1 个月前
big data
“Excel+中文编程”衍生新型软件,WPS用户:自家孩子你知道吗,我们中国人有时候真的挺有创新精神的。你可能熟悉Excel表格,也可能听说过中文编程,但你有没有脑洞大开,想过如果把这两者结合起来,会碰撞出什么样的火花呢?
困了就倒头睡1 个月前
数据库·数据仓库·hive·hadoop·sql·hdfs·big data
摸鱼大数据——Hive表操作——复杂类型其中ROW FORMAT是语法关键字,DELIMITED和SERDE二选其一。本次我们主要学习DELIMITED关键字相关知识点 如果使用delimited: 表示底层默认使用的Serde类:LazySimpleSerDe类来处理数据。 如果使用serde:表示指定其他的Serde类来处理数据,支持用户自定义SerDe类。
困了就倒头睡1 个月前
大数据·数据仓库·hive·hadoop·sql·hdfs·big data
摸鱼大数据——Hive表操作——分区表特点: 分区表会在HDFS上产生目录。查询数据的时候使用分区字段筛选数据,可以避免全表扫描,从而提升查询效率 注意: 如果是分区表,在查询数据的时候,如果没有使用分区字段,它回去进行全表扫描,会降低效率
鸣弦artha1 个月前
数据库·sql·mysql·database·big data
MySQL——不同查询方式不同查询方式查询结果
云表平台2 个月前
big data
回顾那些年的软件霸主,如今依然让人难以忘怀的经典之作互联网的历史长河里,真的有好多超酷的软件闪亮登场过。豪杰超级解霸记得那个超级解霸吗?还有那个江民KV3000,哇,真的是经典中的经典!别忘了金山游侠、MUD游戏,玩起来真的太嗨了。
王百万_2 个月前
大数据·运维·数据仓库·flink·spark·rabbitmq·big data
【ROMA核心特性数据、服务、消息、设备集成及统一运维】FDI旨在解决多种数据源的快速灵活集成能力,您可以在任意时间、任意地点、任意系统之间实现实时数据订阅和定时增量数据迁移。
封奚泽优2 个月前
大数据·数据库·sql·spark·json·big data
Spark SQL编程初级实践Spark编程: Spark SQL基本操作 2020.11.01_df.agg("age"->"avg")-CSDN博客
kaka.liulin -study2 个月前
人工智能·big data
LLM 构建Data Multi-Agents 赋能数据分析平台的实践之③:数据分析之一(智能报表)在企业数字化转型的过程中,ERP系统与数据平台作为核心支撑工具,对于提升运营效率、优化决策支持、实现业务流程一体化起着至关重要的作用。然而,智能报表与报表的智能化合并作为其中的重要领域,却往往面临诸多挑战与难点,这不仅关乎企业能否充分利用数据资产,更直接影响到数字化转型的深度与成效。 智能报表是现代企业数据分析与决策支持的关键组成部分,它以ERP系统和数据平台为基础,通过自动化、智能化手段对海量业务数据进行抽取、清洗、整合与可视化呈现,旨在为各级管理人员提供实时、精准、易于理解的业务洞察。 尽管智能报表与
云表平台2 个月前
big data
红极一时的VB,输给时代,新型开发工具,或成未来若要称VB为非专业人员改造自身行业的得力工具,这绝不夸张。对于众多编程语言而言,单纯学习语言本身往往应用有限,比如C++和Qt虽有关联却各自独立,但VB却独树一帜,它的实用性远超常规编程语言。
donnie4w2 个月前
hdfs·开源·开源软件·big data·dfs
如何部署 wfs 分布式服务以下用nginx作为资源访问的负载均衡服务器在nginx中,通过lua脚本或nginx原生的配置,可以快速解析uri,并定位到相应的wfs节点。
鸣弦artha2 个月前
大数据·数据库·sql·mysql·big data
MySQL88张表DDL练习——24-3624252627282930313233343536
锅泥叽蛙2 个月前
big data
国产软件不背黑锅:4款功能强大的黑科技软件,且用且珍惜国内软件常被冠以“流氓软件、需要额外付费、广告繁多”等负面标签,但实际上,其中不乏一些小众却功能强大、用户体验极佳的软件。
锅泥叽蛙2 个月前
big data
办公软件巨头CCED、WPS迎来新挑战,新款办公软件已形成普及之势CCED与WPS,这两者均是中国办公软件行业的佼佼者,为人们所熟知。然而,它们的成功并非一蹴而就,而是经过了长时间的积累与沉淀。
锅泥叽蛙3 个月前
big data
金山系不惧微软,前有WPS力扛Office,后有eversheet接力再战金山软件,作为国内互联网行业的老牌巨头,孕育了无数IT精英,其中包括小米的雷军、逸趣网络的吴裔敏、甜瓜在线的朱勇等业界佼佼者。