大数据技术概述(三)——编程语言的选择

文章目录

1.6编程语言的选择

大数据编程一般会使用Java、Scala和python等编程语言,Flink目前也支持上述3种语言。

1.6.1java和Scala

Java支持多线程,其生态圈中可用的第三方库众多。Java虚拟机(Java Virtval Machine,JVM)保证了程序的可移植性,可以快速部署到不同计算机上,是很多分布式系统首选的编程语言,比如Hadoop和Flink的绝大多数代码都是用Java编写的,这些框架提供了丰富的文档,网络社区的支持。

Scala是一门基于JVM的编程语言。Scala的特色是函数式编程。在并行计算方面,Scala支持Actor模型,Actor模型是一种更为先进的并行计算编程模型,很多大数据框架都基于Actor模型。Spark、Flink和Kafka都是基于Actor模型的大数据框架。Scala可以直接调用Java的代码,相比Java,Scala代码更为简洁和紧凑。

1.6.2Python

Python有大量第三方库,支持Web、科学计算和机器学习,被广泛应用到人工智能领域。大数据生态圈的各项技术对Python支持力度也很大,Hadoop、Spark、Kafka、HBase等技术都有Python版本的API。Flink的Python API名为PyFlink,相比于Java和Scala还不够完善,且PyFlink在不断迭代、完善。

1.6.3SQL

SQL并不是一种全能的编程语言,而是一种在数据库上对数据进行操作的语言。Flink把面向结构化查询的需求封装成了表(Table),对外提供Table API和SQL的调用接口,提供了非常成熟的SQL支持。

相关推荐
郑州光合科技余经理2 小时前
同城系统海外版:一站式多语种O2O系统源码
java·开发语言·git·mysql·uni-app·go·phpstorm
一只乔哇噻2 小时前
java后端工程师+AI大模型开发进修ing(研一版‖day60)
java·开发语言·人工智能·学习·语言模型
千里码aicood2 小时前
计算机大数据、人工智能与智能系统开发定制开发
大数据·人工智能·深度学习·决策树·机器学习·森林树
Dolphin_Home2 小时前
笔记:SpringBoot静态类调用Bean的2种方案(小白友好版)
java·spring boot·笔记
MetaverseMan3 小时前
Java虚拟线程实战
java
浪潮IT馆3 小时前
Tomcat运行war包的问题分析与解决步骤
java·tomcat
ID_180079054733 小时前
基于 Python 的 Cdiscount 商品详情 API 调用与 JSON 核心字段解析(含多规格 SKU 提取)
开发语言·python·json
悟能不能悟3 小时前
Caused by: java.sql.SQLException: ORA-28000: the account is locked怎么处理
java·开发语言
Q_Q5110082854 小时前
python+django/flask+vue的大健康养老公寓管理系统
spring boot·python·django·flask·node.js
_院长大人_4 小时前
MyBatis Plus 分批查询优化实战:优雅地解决 IN 参数过多问题(实操)
java·mybatis