Linux下Spark offline安装graphframes包

文章目录

背景

GraphX是Spark中用于图计算的模块. Spark安装包中内置Scala语言的GraphX库, 但是对于Python语言的安装包, 需要额外进行安装.

对于内网服务器, 不能访问外网, 安装GraphX的python库graphframes需要进行额外的步骤, 本文介绍如何在Linux下offline为Spark 安装graphframes包.

安装步骤

  • 下载spark-3.5.0-bin-hadoop3.tgz和graphframes-0.8.3-spark3.5-s_2.12.jar
  • cd $install_path and tar -zxvf spark-3.5.0-bin-hadoop3.tgz
  • cp graphframes-0.8.3-spark3.5-s_2.12.jar $install_path/spark-3.5.0-bin-hadoop3/jars/
  • mkdir -p $install_path/pluginlib/graphframes
  • cp graphframes-0.8.3-spark3.5-s_2.12.jar $install_path/pluginlib/graphframes/
  • jar xf graphframes-0.8.3-spark3.5-s_2.12.jar
  • 添加 $install_path/pluginlib/graphframes 到环境PYTHONPATH环境变量

这样, 就可以使用graphframes库了

相关推荐
半桔16 分钟前
【Linux手册】管道通信:从内核底层原理到使用方法
java·linux·服务器·网络·c++
DreamNotOver24 分钟前
基于Spark的中文文本情感分析系统研究
大数据·分布式·spark·情感分析
weixin_4569042744 分钟前
CentOS与Ubuntu的详细区别
linux·ubuntu·centos
zfxwasaboy1 小时前
linux Kbuild详解关于fixdep、Q、quiet、escsq
android·linux·ubuntu
十五年专注C++开发1 小时前
cargs: 一个轻量级跨平台命令行参数解析库
linux·c++·windows·跨平台·命令行参数解析
三坛海会大神5552 小时前
Linux服务器资源自动监控与报警脚本详解
linux·运维·服务器
向qian看_-_8 小时前
Linux 使用pip报错(error: externally-managed-environment )解决方案
linux·python·pip
yaoxtao8 小时前
java.nio.file.InvalidPathException异常
java·linux·ubuntu
2501_9200470311 小时前
git在Linux中的使用
linux·git·elasticsearch
程序设计实验室11 小时前
在鸡哥14x上安装Linux:Fedora 42 上手体验
linux