Linux下Spark offline安装graphframes包

文章目录

背景

GraphX是Spark中用于图计算的模块. Spark安装包中内置Scala语言的GraphX库, 但是对于Python语言的安装包, 需要额外进行安装.

对于内网服务器, 不能访问外网, 安装GraphX的python库graphframes需要进行额外的步骤, 本文介绍如何在Linux下offline为Spark 安装graphframes包.

安装步骤

  • 下载spark-3.5.0-bin-hadoop3.tgz和graphframes-0.8.3-spark3.5-s_2.12.jar
  • cd $install_path and tar -zxvf spark-3.5.0-bin-hadoop3.tgz
  • cp graphframes-0.8.3-spark3.5-s_2.12.jar $install_path/spark-3.5.0-bin-hadoop3/jars/
  • mkdir -p $install_path/pluginlib/graphframes
  • cp graphframes-0.8.3-spark3.5-s_2.12.jar $install_path/pluginlib/graphframes/
  • jar xf graphframes-0.8.3-spark3.5-s_2.12.jar
  • 添加 $install_path/pluginlib/graphframes 到环境PYTHONPATH环境变量

这样, 就可以使用graphframes库了

相关推荐
kyle~2 小时前
嵌入式 SoC 系统
linux·c++·嵌入式·计算系统
人生!?4 小时前
Linux 从入门到进阶 | 基础语法
linux·笔记·教程
心之王者7165 小时前
Linux 进程信号:从产生、阻塞到捕捉与子进程回收
linux·服务器·网络
AndreaYYmm6 小时前
日志里 grep 到 Fail 就判失败?这六个假阳性我全踩过
linux·shell
爱吃香菜的初学者6 小时前
二十五.Linux——epoll
linux·运维·服务器
少司府6 小时前
嵌入式外设篇(一)GPIO·一:认识GPIO
linux·单片机·嵌入式硬件·mcu·系统·rtos·嵌入式软件
无奈笑天下8 小时前
银河麒麟上DHCP无法获取IP地址问题处理
linux·运维·服务器·网络协议
蜗牛一步步往上爬9 小时前
第六章 使用Linux环境变量
linux·运维
Vex2une9 小时前
电脑装双系统怎么弄?Win+Win 与 Win+Linux 安装及启动菜单管理全攻略
linux·windows·电脑·uefi·双系统安装·bcdedit启动项
StarsGreen11 小时前
Linux动态 DMA 映射指南(翻译版)
linux