pyspark非安装使用graphframes

pyspark版本3.1.3

需要文件

  1. graphframes-0.8.2-spark3.1-s_2.12.jar
  2. spark-graphx_2.12-3.1.3.jar
  3. https://github.com/microsoft/adb2spark/raw/main/graphframes-0.8.2-py3-none-any.whl 下载graphframes-0.8.2-py3-none-any.whl。下载后把whl后缀改成zip,解压后其中一个文件夹是graphframes,直接把这个文件夹压缩成graphframes.zip
sql 复制代码
--jars graphframes-0.8.2-spark3.1-s_2.12.jar,spark-graphx_2.12-3.1.3.jar
--py-files graphframes.zip

验证是不是成功

sql 复制代码
from graghframes import GraphFrame 
相关推荐
不辉放弃13 天前
Apache Flink 的详细介绍
数据库·flink·pyspark·大数据开发
不辉放弃14 天前
pyspark中的kafka的读和写案例操作
大数据·数据库·pyspark·大数据开发
不辉放弃15 天前
Spark SQL 的 SQL 模式和 DSL模式
数据库·pyspark·大数据开发
不辉放弃15 天前
Apache Spark 的结构化流
大数据·数据库·pyspark·伪实时
@十八子德月生15 天前
第三阶段—8天Python从入门到精通【itheima】-143节(pyspark实战——数据计算——flatmap方法)
大数据·开发语言·python·数据分析·pyspark·好好学习,天天向上·question answer
不辉放弃18 天前
Spark SQL 的详细介绍
数据库·pyspark·大数据开发·sparksql
不辉放弃20 天前
Spark的宽窄依赖
大数据·数据库·pyspark
不辉放弃22 天前
kafka的消息存储机制和查询机制
数据库·kafka·pyspark·大数据开发
不辉放弃1 个月前
kafka的shell操作
数据库·kafka·pyspark·大数据开发
不辉放弃1 个月前
spark on yarn
pyspark·大数据开发