大数据技术概述(三)——编程语言的选择

文章目录

1.6编程语言的选择

大数据编程一般会使用Java、Scala和python等编程语言,Flink目前也支持上述3种语言。

1.6.1java和Scala

Java支持多线程,其生态圈中可用的第三方库众多。Java虚拟机(Java Virtval Machine,JVM)保证了程序的可移植性,可以快速部署到不同计算机上,是很多分布式系统首选的编程语言,比如Hadoop和Flink的绝大多数代码都是用Java编写的,这些框架提供了丰富的文档,网络社区的支持。

Scala是一门基于JVM的编程语言。Scala的特色是函数式编程。在并行计算方面,Scala支持Actor模型,Actor模型是一种更为先进的并行计算编程模型,很多大数据框架都基于Actor模型。Spark、Flink和Kafka都是基于Actor模型的大数据框架。Scala可以直接调用Java的代码,相比Java,Scala代码更为简洁和紧凑。

1.6.2Python

Python有大量第三方库,支持Web、科学计算和机器学习,被广泛应用到人工智能领域。大数据生态圈的各项技术对Python支持力度也很大,Hadoop、Spark、Kafka、HBase等技术都有Python版本的API。Flink的Python API名为PyFlink,相比于Java和Scala还不够完善,且PyFlink在不断迭代、完善。

1.6.3SQL

SQL并不是一种全能的编程语言,而是一种在数据库上对数据进行操作的语言。Flink把面向结构化查询的需求封装成了表(Table),对外提供Table API和SQL的调用接口,提供了非常成熟的SQL支持。

相关推荐
asdfg12589631 分钟前
`(line1, line2) -> line1 + line2` 此Lambda 表达式的理解
java·开发语言
Elastic 中国社区官方博客1 分钟前
jina-embeddings-v5-omni:用于文本、图像、音频和视频的 embeddings
大数据·人工智能·elasticsearch·搜索引擎·ai·音视频·jina
zhaoyong2222 分钟前
JavaScript中骨架屏Skeleton在异步数据加载中应用
jvm·数据库·python
如竟没有火炬3 分钟前
去除重复字母——贪心+单调栈
开发语言·数据结构·python·算法·leetcode·深度优先
泓博3 分钟前
Openclaw-Ubuntu常用命令
大数据·elasticsearch·搜索引擎·ai
m0_591364735 分钟前
C#怎么使用LINQ OrderBy排序 C#如何用LINQ对集合按多个字段进行升序降序排列【语法】
jvm·数据库·python
小仙女的小稀罕5 分钟前
外教课转写工具选择建议 | 实测筛选高口碑实用方案
大数据·人工智能·学习·自然语言处理·语音识别
m0_733565465 分钟前
HTML函数开发需要独立显卡吗_HTML函数与显卡关系详解【说明】
jvm·数据库·python
2401_884454157 分钟前
Python测试代码如何实现自解释_使用pytest描述性命名规范
jvm·数据库·python
AI人工智能+电脑小能手12 分钟前
【大白话说Java面试题 第49题】【JVM篇】第9题:什么是双亲委派机制?介绍一下运作过程。?
java·开发语言·jvm