三面技术(运维)

1、说下hdfs读写流程

2、hdfs写的流程中block 大小为何是128m

A:block大小设置原则:最小化寻址开销,减少网络传输.

3、为什么HDFS中块(block)不能设置太大,也不能设置太小?

4、HDFS中块(block)的大小为什么设置为128M?

hdfs中存储以块的形式存储在DataNode,block块大小可以通过

HADOOP_HOME/etc/hadoop/hdfs-site.xml中dfs.blocksize实现(设置时先stop集群,修改完restart集群)。在Hadoop2.x之后的版本中,文件块的默认大小是128M,老版本中默认是64M;

5、你懂spark嘛?说下spark执行流程

6、doris和clickhouse比较

clickhouse做数据分析的数据库,拓展性不如doris。doris可以通过增加

OLAP数据库选型指南:Doris与ClickHouse的深入对比与分析-腾讯云开发者社区-腾讯云

7.数据迁移怎么做的?(数据迁移的步骤,纯听他人口述)

1、mysql中建有orcle对应的表,mysql有些数据类型不一样,比如:vachar,把orclr存

0、先备份orcle数据库

1、建好对应的表字段

2、

3、迁移过来,要确保数据一致性和完整性 查:count(*)orcle 一般多少多少条 (测试数据用的200多万条,每天大概增量数据 10个 200-300万条 和全量数据有一千万)

4、看是否会漏字段,看新建字段是否 一张表:自己看字段是否相同

5、在orcle和mysql

需求分析:

评估数据量

数据库orcle数据库备份

建好对应表

看orcle对应的数据类型和mysql有什么不一样,和orcle不一样的对应存储

写sqoop配置(写sqoop配置)--检测:全量的数据是否同步--先检查临时表

相关推荐
中屹指纹浏览器svip14 分钟前
指纹浏览器RPA自动化靠谱吗?先分清适用边界
运维·自动化·rpa
zuiyuewentian17 分钟前
借助 AI 在 Win11 上搭建 Rocky Linux:用 Visual Studio 直接调试 Linux 服务
linux·运维·visual studio
牢姐与蒯21 分钟前
WSL2 迁移教程:把Ubuntu+WSL2从C盘挪到别的盘
linux·运维·服务器·网络·ubuntu·1024程序员节
zxanz127 分钟前
证书运维自动化,守住业务 HTTPS 底线
运维·https·自动化
vipxieliang32 分钟前
Service Mesh 可观测性:分布式追踪、指标与日志的统一方案
运维
云飞云共享云桌面1 小时前
智能装备工厂研发部门多设计师共享一台SolidWorks服务器做设备装配建模
运维·服务器·网络·人工智能·3d·自动化·制造
Elastic 中国社区官方博客1 小时前
Elastic 在《Forrester Wave™:2026 年第四季度智能运维平台》报告中被评为强劲表现者
大数据·运维·数据库·elasticsearch·搜索引擎·全文检索
叼烟扛炮1 小时前
Linux 学习笔记(三十九):网络基石——TCP/IP 模型与 UDP 实战
linux·运维·网络·笔记·学习·tcp/ip
你看我名字2 小时前
Kafka 架构、消息可靠性与生产运维:从分区模型到故障治理
运维·架构·kafka
研发小能2 小时前
DevOps 工具链怎么选?已有工具的企业,先评估整合能力
运维·devops