bigdata

Hive的Serde在哪里听过这个词？--> 只要碰见将对象存入内存、硬盘、网络传输，对象必须序列化。对象可以想象为活物。

Hive的数据导出数据导出的分类：1. 从hive表中导出本地文件系统中(目录、文件)2. 从hive表中导出hdfs文件系统中

Hive基础标识符规则：大小写规则: 1. hive的数据库名、表名都不区分大小写 2. 建议关键字大写命名规则： 1. 名字不能使用数字开头 2. 不能使用关键字 3. 尽量不使用特殊符号

Hive简介 | 体系结构Hive 是一个框架，可以通过编写sql的方式，自动的编译为MR任务的一个工具。在这个世界上，会写SQL的人远远大于会写java代码的人，所以假如可以将MR通过sql实现，这个将是一个巨大的市场，FaceBook就这么干。（脸书） FaceBook --> Meta (元宇宙) --> 社交网站（校内网）在大数据中，发展趋势：所有的技术全部都变为SQL。

Hive安装-内嵌模式Hive会自动检测Hadoop的环境变量，如有就必须启动Hadoop打开该文件，进行替换：一个替换了4处

二、数据离线处理场景化解决方案https://connect.huaweicloud.com/courses/learn/Learning/sp:cloudEdu_?courseNo=course-v1:HuaweiX+CBUCNXE147+Self-paced&courseType=1

青春不流名

使用DataX同步hive数据到MySQL目录1、组件环境2、安装datax2.1、下载datax并解压3、安装datax-web3.0、下载datax-web的源码，进行编译

Google大数据架构技术栈Colossus作为Google下一代GFS（Google File System）。GFS 依赖单个主节点进行元数据管理，随着数据量和访问请求的增长，出现了可扩展性瓶颈。想象一下，只有一位图书管理员管理着一个庞大的图书馆——最终，事情变得难以承受。

一次性全部给你，这4款名不见经传的精品软件，用了就放不下Geek是个电脑卸载软件神器。Geek电脑空间不够了，想卸点应用来腾地方，但总是遇到各种问题，要么卸不干净，留下一些乱七八糟的文件，要么就是那些流氓软件，怎么卸都卸不掉，简直让人崩溃！

水煮白菜王

网站调用Edge浏览器API：https://api-edge.cognitive.microsofttranslator.com/translate这个URL（https://api-edge.cognitive.microsofttranslator.com/translate）指向的是微软服务中的API接口。该API允许开发者在应用中集成文本翻译功能，支持多种语言之间的翻译。URL中的translate?这是一个用于发起翻译请求的REST API路径，后面通常会跟上一系列查询参数，比如要翻译的文本、源语言和目标语言等。使用此API，开发者需要提供订阅密钥（通常通过HTTP头或查询参数传递）、指定源语言和目标语言代码，以及需要翻译的实际文本内容。

【大数据】分布式数据库HBase目录1.概述1.1.前言1.2.数据模型1.3.列式存储的优势2.实现原理2.1.region2.2.LSM树

Spark-Scala语言实战（10）在之前的文章中，我们学习了如何在spark中使用RDD的filter,distinct,intersection三种方法。想了解的朋友可以查看这篇文章。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点赞，谢谢。

Spark-Scala语言实战（11）在之前的文章中，我们学习了如何在spark中使用RDD中的cartesian,subtract最终两种方法。想了解的朋友可以查看这篇文章。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点赞，谢谢。

Spark-Scala语言实战（9）之前的文章中，我们学习了如何在spark中使用RDD方法的flatMap,take,union。想了解的朋友可以查看这篇文章。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点赞，谢谢。

[Doris] Doris的安装和部署 (二)当部署多个FE实例时，要保证FE的http_port配置相同。设置系统最大打开文件句柄数（注意这里的*不要去掉）。

数据可视化Tableau目录一.第一次实验课内容1、熟悉Tableau Desktop的工作环境。2、熟悉数据导入、维度和度量的区分以及不同数据字段类型的标识符。

健康之钥：新生儿维生素K的呵护指南引言：维生素K，在新生儿的成长旅程中扮演着不可忽视的角色。它对于血液凝结和骨骼发育至关重要。本文将深入探讨维生素K的功能、补充时机，以及在给新生儿补充维生素K时应该注意的事项，为小天使们提供最贴心的呵护。

小宝贝的小肚子：新生儿乳糖不耐受的关注与照顾引言：新生儿期是生命最初的阶段，而乳糖不耐受可能是一些宝宝在这个时期面临的问题之一。乳糖不耐受意味着宝宝难以消化乳糖，可能导致肠胃不适。本文将深入探讨新生儿乳糖不耐受的注意事项，以及家长在照顾这些宝宝时应该采取的关键措施。

大沙头三马路

华为认证大数据工程师（HCIA-Big Data）--练习题2、1、表引擎在ClickHouse中的作用十分关键，MergeTree系列引擎中，( ReplacingMergeTree )引擎适合于清除重复数据节省存储空间，但是它不保证重复数据不出现，一般不建议使用。

Spark（39）：Streaming DataFrame 和 Streaming DataSet 输出目录0. 相关文章链接1. 输出的选项2. 输出模式(output mode)