大数据技术概述(三)——编程语言的选择

文章目录

1.6编程语言的选择

大数据编程一般会使用Java、Scala和python等编程语言,Flink目前也支持上述3种语言。

1.6.1java和Scala

Java支持多线程,其生态圈中可用的第三方库众多。Java虚拟机(Java Virtval Machine,JVM)保证了程序的可移植性,可以快速部署到不同计算机上,是很多分布式系统首选的编程语言,比如Hadoop和Flink的绝大多数代码都是用Java编写的,这些框架提供了丰富的文档,网络社区的支持。

Scala是一门基于JVM的编程语言。Scala的特色是函数式编程。在并行计算方面,Scala支持Actor模型,Actor模型是一种更为先进的并行计算编程模型,很多大数据框架都基于Actor模型。Spark、Flink和Kafka都是基于Actor模型的大数据框架。Scala可以直接调用Java的代码,相比Java,Scala代码更为简洁和紧凑。

1.6.2Python

Python有大量第三方库,支持Web、科学计算和机器学习,被广泛应用到人工智能领域。大数据生态圈的各项技术对Python支持力度也很大,Hadoop、Spark、Kafka、HBase等技术都有Python版本的API。Flink的Python API名为PyFlink,相比于Java和Scala还不够完善,且PyFlink在不断迭代、完善。

1.6.3SQL

SQL并不是一种全能的编程语言,而是一种在数据库上对数据进行操作的语言。Flink把面向结构化查询的需求封装成了表(Table),对外提供Table API和SQL的调用接口,提供了非常成熟的SQL支持。

相关推荐
weixin_440730506 分钟前
python+request实现接口-小结
开发语言·python
QQ_216962909611 分钟前
【项目编号:project95315】SpringBoot公共自习室管理系统:座位预约、房间管理、签到核销、公告规则完整实战
java·spring boot·后端
zlinear数据采集卡30 分钟前
数据采集卡从入门到精通(38):上位机开发实战——Python/QT/LabVIEW的技术选型与分层架构
python·单片机·嵌入式硬件·qt·fpga开发·开源·labview
嵌入式阿蔡34 分钟前
面试高频考点 01:volatile / 中断 / 堆栈 八股精讲
java·面试·职场和发展·嵌入式实时数据库
秋饼1 小时前
LangChain4j + Java 实现企业级 Text-to-SQL 智能问数系统:从自然语言到安全可控的数据洞察
java·ai·技术分享·后端开发
Escalating_xu1 小时前
【C++ STL简介】从六大组件到容器、迭代器与算法协作
java·c++·算法
for_ever_love__1 小时前
PySpark学习: 数据输出
开发语言·python·学习·spark
张人玉1 小时前
基于 Python 的桌面端智能识别与可视化系统——生活垃圾分类可视化大屏
python·分类·sqlite·echarts·生活
何以解忧,唯有..1 小时前
Python os模块详解:文件与目录操作指南
java·服务器·python
言乐61 小时前
Python实现自动拉人脚本示例
开发语言·windows·python·django·pygame