Linux下Spark offline安装graphframes包

文章目录

背景

GraphX是Spark中用于图计算的模块. Spark安装包中内置Scala语言的GraphX库, 但是对于Python语言的安装包, 需要额外进行安装.

对于内网服务器, 不能访问外网, 安装GraphX的python库graphframes需要进行额外的步骤, 本文介绍如何在Linux下offline为Spark 安装graphframes包.

安装步骤

  • 下载spark-3.5.0-bin-hadoop3.tgz和graphframes-0.8.3-spark3.5-s_2.12.jar
  • cd $install_path and tar -zxvf spark-3.5.0-bin-hadoop3.tgz
  • cp graphframes-0.8.3-spark3.5-s_2.12.jar $install_path/spark-3.5.0-bin-hadoop3/jars/
  • mkdir -p $install_path/pluginlib/graphframes
  • cp graphframes-0.8.3-spark3.5-s_2.12.jar $install_path/pluginlib/graphframes/
  • jar xf graphframes-0.8.3-spark3.5-s_2.12.jar
  • 添加 $install_path/pluginlib/graphframes 到环境PYTHONPATH环境变量

这样, 就可以使用graphframes库了

相关推荐
yz_aiks2 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
hi_ro_a5 小时前
Ext系列⽂件系统详解
linux·服务器·操作系统
你住过的屋檐8 小时前
【SeaweedFS】Linux上搭建SeaweedFS文件存储服务完整教程
linux·运维·服务器
少司府9 小时前
嵌入式外设篇(三)GPIO·三:MCU系统结构、总线与统一编制
linux·python·stm32·单片机·嵌入式硬件·mcu·嵌入式软件
不积跬步无以至千里mmbb2610 小时前
Rust三大核心:Trait Crate Mod详解
linux·rust
Lansonli10 小时前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark
无忧.芙桃1 天前
Linux系统编程(四):用户与权限管理
linux·运维·服务器
戊本菌1 天前
进程(三)进程优先级:谁先上 CPU
linux·c语言·硬件架构
aningx1 天前
Arch 系用 greetd 实现开机自动进 Plasma Wayland,注销自动回桌面
linux
江无行者1 天前
Linux 服务器 top 命令详解
linux