生态扩展Spark Doris Connector

生态扩展Spark Doris Connector

doris官网去查找相匹配的spark

spark的安装:

复制代码
tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz
  mv spark-3.1.2-bin-hadoop3.2 /opt/spark

spark环境配置:vim /etc/profile

复制代码
export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin

将编译好的spark-doris-connector-3.3_2.12-1.3.0-SNAPSHOT.jar复制到spark的jars目录

复制代码
cp spark-doris-connector-3.2_2.12-1.3.0-SNAPSHOT.jar /opt/spark/jars/

代码库地址:https://github.com/apache/doris-spark-connector

编译与安装

准备工作

修改custom_env.sh.tpl文件,重命名为custom_env.sh

在源码目录下执行: sh build.sh 根据提示输入你需要的 Scala 2.12与 Spark3.2.3 版本进行编译。

验证:

复制代码
scala> import org.apache.doris.spark._
import org.apache.doris.spark._

scala>

scala> val doris = spark.sql(
     |     s"""
     |     |CREATE TEMPORARY VIEW spark_doris
     |     |USING doris
     |     |OPTIONS(
     |     | "table.identifier"="demo.example_tbl",
     |     | "fenodes"="10.63.0.181:8030",
     |     | "user"="root",
     |     | "password"=""
     |     |);
     |     |""".stripMargin)
doris: org.apache.spark.sql.DataFrame = []

scala>

scala> spark.sql("SELECT * FROM spark_doris;").show
+-------+----------+----+---+---+-------------------+----+--------------+--------------+
|user_id|      date|city|age|sex|    last_visit_date|cost|max_dwell_time|min_dwell_time|
+-------+----------+----+---+---+-------------------+----+--------------+--------------+
|  10000|2017-10-01|北京| 20|  0|2017-10-01 07:00:00|  35|            10|             2|
|  10001|2017-10-01|北京| 30|  1|2017-10-01 17:05:45|   2|            22|            22|
|  10002|2017-10-02|上海| 20|  1|2017-10-02 12:59:12| 200|             5|             5|
|  10003|2017-10-02|广州| 32|  0|2017-10-02 11:20:00|  30|            11|            11|
|  10004|2017-10-01|深圳| 35|  0|2017-10-01 10:00:15| 100|             3|             3|
|  10004|2017-10-03|深圳| 35|  0|2017-10-03 10:20:22|  11|             6|             6|
+-------+----------+----+---+---+-------------------+----+--------------+--------------+


scala>
相关推荐
SeaTunnel30 分钟前
SeaTunnel 社区月报(5-6 月):全新功能上线、Bug 大扫除、Merge 之星是谁?
大数据·开源·bug·数据集成·seatunnel
hjs_deeplearning1 小时前
认知篇#10:何为分布式与多智能体?二者联系?
人工智能·分布式·深度学习·学习·agent·智能体
小毛驴8501 小时前
Windows 环境下设置 RabbitMQ 的 consumer_timeout 参数
windows·分布式·rabbitmq
时序数据说1 小时前
Java类加载机制及关于时序数据库IoTDB排查
java·大数据·数据库·物联网·时序数据库·iotdb
述雾学java3 小时前
Spring Cloud 服务追踪实战:使用 Zipkin 构建分布式链路追踪
分布式·spring·spring cloud·zipkin
大只鹅3 小时前
分布式部署下如何做接口防抖---使用分布式锁
redis·分布式
weixin_438335403 小时前
分布式定时任务:xxl-job
分布式
大数据CLUB3 小时前
基于spark的航班价格分析预测及可视化
大数据·hadoop·分布式·数据分析·spark·数据可视化
sanggou3 小时前
GoFastDFS:轻量级高性能分布式文件存储解决方案(Linux安装部署)
分布式
格调UI成品3 小时前
预警系统安全体系构建:数据加密、权限分级与误报过滤方案
大数据·运维·网络·数据库·安全·预警