Pyspark分布式访问NebulaGraph图数据库

本教程以部署单机版Spark为例进行演示,正式环境可部署集群版Spark

一、安装 Java

PySpark 依赖于 Spark,而 Spark 又依赖于 Java,所以,首先要确保你的机器上安装了 Java。

1、下载安装java8

复制代码
sudo apt update
sudo apt install openjdk-8-jdk

2、配置环境变量

复制代码
nano ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH

source ~/.bashrc

二、本地安装Spark

1、下载 Spark

访问 Spark 官网下载页面,选择你需要的版本(例如,选择 3.x和 Hadoop 3.x),然后用 wget 下载,本教程使用Spark2.4.0

复制代码
wget http://archive.apache.org/dist/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.6.tgz

2、解压 Spark 压缩包

复制代码
tar -xvzf spark-2.4.0-bin-hadoop2.6.tgz

3、移动到目录 /opt/spark

复制代码
 sudo mv spark-2.4.0-bin-hadoop2.6 /opt/spark

4、配置环境变量

为了让 Spark 能在命令行中使用,你需要设置环境变量。打开.bashrc 文件:

复制代码
nano ~/.bashrc

在文件末尾添加以下内容:

在此步骤将python解释器一起进行配置(本教程使用的是python 3.7)

复制代码
export SPARK_HOME=/opt/spark/spark-2.4.0-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH
export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH
export PYSPARK_PYTHON=/home/dell/anaconda3/envs/pyspark_env/bin/python

source ~/.bashrc

三、Python环境安装Pyspark第三方库

Pyspark第三方库版本尽量与Spark版本一直,本教程都为2.4.0

复制代码
pip install pyspark==2.4.0 -i https://pypi.tuna.tsinghua.edu.cn/simple/

四、Pyspark验证安装

在终端输入:

复制代码
pyspark

你应该能看到类似以下的输出:

五、nebula-spark-connector下载

Nebula-Spark-Connector 是一个用于将 Nebula Graph 数据库与 Apache Spark 集成的连接器,它使得用户能够在 Spark 环境中轻松地读取、写入和处理 Nebula Graph 数据库中的图数据。

必须下载此组件。

spark使用2.x版本,Nebula-Spark-Connector尽量使用3.3以下版本。

Nebula-Spark-Connector下载地址:

https://repo1.maven.org/maven2/com/vesoft/nebula-spark-connector/

六、Pyspark连接NebulaGraph

复制代码
from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("NebulaVisualization") \
    .master("local[*]") \
    .config("spark.jars", "/mnt/data/nebula-spark-connector-3.3.0.jar") \
    .config("spark.driver.extraClassPath", "/mnt/data/nebula-spark-connector-3.3.0.jar") \
    .config("spark.executor.extraClassPath", "/mnt/data/nebula-spark-connector-3.3.0.jar") \
    .getOrCreate()
spark.sparkContext.setLogLevel("ERROR")

try:
    df = spark.read \
        .format("com.vesoft.nebula.connector.NebulaDataSource") \
        .option("metaAddress", "10.2.7.209:9559") \
        .option("spaceName", "construction_ontology") \
        .option("label", "dependsOnPreTask") \
        .option("type", "edge") \
        .option("returnCols", "") \
        .option("partitionNumber", "10") \
        .option("nebula.user", "root") \
        .option("nebula.password", "nebula") \
        .load()
    df.show()
    print("连接器验证成功!")

except Exception as e:
    print(f"连接器验证失败:{e}")
finally:
    spark.stop()

注意:spark参数 spark.jars、spark.driver.extraClassPath、

spark.executor.extraClassPath需要配置第四步下载的nebula-spark-connector jar

相关推荐
Pocker_Spades_A31 分钟前
工业物联网时序数据库选型:一份能直接抄走的技术规格书
数据库·物联网·时序数据库
苜蓿muxu1 小时前
缓存三大问题:穿透、击穿、雪崩
数据库·redis
Norna1 小时前
Git 给路径加了引号,这个文件就从 review 里消失了
python
wuyk5551 小时前
Python办公自动化-第04讲-批量新建Excel
开发语言·python·excel
wuyk5551 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
正在走向自律2 小时前
MySQL兼容性深度实践:建表、增删改查与迁移避坑全记录
数据库·sql·mysql·信创·数据库迁移
JonaHu2 小时前
关键词排名突然消失?用 Python、SQLite 和 SERP API 搭一套可解释的 SEO 监控
python·sqlite·seo·serp api
隔窗听雨眠3 小时前
openGauss开源五年的内核演进与生态工程
数据库·opengauss·国产数据库
prince_zxill3 小时前
把 17 个散文件装进一个文件夹:拆解 claude-plugins-official 的插件打包术(47,413 Star 实测)
python·github·agent·mcp·claude code
Decay__3 小时前
PostgreSQL 体系架构全解 —— 进程模型、共享内存、MVCC 与 WAL 预写日志深入
运维·数据库·sql·mysql·架构