大数据技术概述(三)——编程语言的选择

文章目录

1.6编程语言的选择

大数据编程一般会使用Java、Scala和python等编程语言,Flink目前也支持上述3种语言。

1.6.1java和Scala

Java支持多线程,其生态圈中可用的第三方库众多。Java虚拟机(Java Virtval Machine,JVM)保证了程序的可移植性,可以快速部署到不同计算机上,是很多分布式系统首选的编程语言,比如Hadoop和Flink的绝大多数代码都是用Java编写的,这些框架提供了丰富的文档,网络社区的支持。

Scala是一门基于JVM的编程语言。Scala的特色是函数式编程。在并行计算方面,Scala支持Actor模型,Actor模型是一种更为先进的并行计算编程模型,很多大数据框架都基于Actor模型。Spark、Flink和Kafka都是基于Actor模型的大数据框架。Scala可以直接调用Java的代码,相比Java,Scala代码更为简洁和紧凑。

1.6.2Python

Python有大量第三方库,支持Web、科学计算和机器学习,被广泛应用到人工智能领域。大数据生态圈的各项技术对Python支持力度也很大,Hadoop、Spark、Kafka、HBase等技术都有Python版本的API。Flink的Python API名为PyFlink,相比于Java和Scala还不够完善,且PyFlink在不断迭代、完善。

1.6.3SQL

SQL并不是一种全能的编程语言,而是一种在数据库上对数据进行操作的语言。Flink把面向结构化查询的需求封装成了表(Table),对外提供Table API和SQL的调用接口,提供了非常成熟的SQL支持。

相关推荐
请提交用户昵称19 分钟前
大数据各组件flume,datax,presto,DolphinScheduler,findBI在大数据数仓架构中的作用和功能。
大数据·flume·datax·dolphin·presto·findbi·大数据组件
在路上`25 分钟前
前端学习之后端java小白(三)-sql外键约束一对多
java·前端·学习
闲人编程25 分钟前
Flask 前后端分离架构实现支付宝电脑网站支付功能
python·架构·flask·支付宝·前后端·网站支付·apl
IT果果日记26 分钟前
详解DataX开发达梦数据库插件
大数据·数据库·后端
996终结者33 分钟前
同类软件对比(四):Jupyter vs PyCharm vs VS Code:Python开发工具终极选择指南
vscode·python·jupyter·pycharm·visual studio code
dazhong201234 分钟前
Spring Boot 项目新增 Module 完整指南
java·spring boot·后端
果壳~38 分钟前
【Python】爬虫html提取内容基础,bs4
爬虫·python·html
xrkhy1 小时前
SpringBoot之日志处理(logback和AOP记录操作日志)
java·spring boot·logback
搬山境KL攻城狮1 小时前
MacBook logback日志输出到绝对路径
java·intellij-idea·logback
yb0os11 小时前
RPC实战和核心原理学习(一)----基础
java·开发语言·网络·数据结构·学习·计算机·rpc