图数据库neo4j进阶(一):csv文件导入节点及关系

CSV

[一、load csv](#一、load csv)
[二、neo4j-admin import](#二、neo4j-admin import)

一、load csv

在neo4j Browser中使用Cypher语句LOAD CSV,对于数据量比较大的情况,建议先运行create constraint语句来生成约束

sql 复制代码

create constraint for (s:Student) require s.student_id is unique;

该代码为学生的student_id生成了唯一性约束,可将该属性视为主键。添加约束后,不论是生成还是查询,效率都会显著提升

生成学生节点的代码示例如下

sql 复制代码

:auto
LOAD CSV with HEADERS from 'file:///student.csv' AS row
call {
	with row
	merge (s:Student{student_id:row.student_id,name:row.name,age:row.age})
} in transactions of 100000 rows;

LOAD CSV from '.csv'表示从csv文件中导入数据
若csv文件包含表头则加入with headers
单引号内写csv文件的路径,若csv文件已在当前数据库的Import文件夹内(可在桌面版主页点击数据库右侧三点键--Open folder --Import打开import文件夹),则直接写'file:///...csv';若不在,则写绝对路径
as row表示给数据表赋别名row,这时数据表相当于一个变量,后续用row.[字段]即可取得数据表的某列
with row表示在此处接收变量row并将其传递至后续语句
merge用于生成数据点,类似于match(查询)和create(创建)的结合
{name:row.name}表示将row的name列赋值给节点的属性name
call {} in transactions of 100000 rows表示批量处理数据,每批100000行。在处理大量数据时,建议使用该语句,不然易出现内存溢出错误

下述代码生成班级数据点

sql 复制代码

:auto
LOAD CSV with HEADERS from 'file:///class_id.csv' AS row
call {
	with row
	merge (s:Student{class_id:row.class_id,math_teacher:row.math_teacher,english_teacher:row.english_teacher,chinese_teacher:row.chinese_teacher})
} in transactions of 100000 rows;

接着生成关系(边)

sql 复制代码

:auto
LOAD CSV with HEADERS from 'file:///student.csv' AS row
call {
	with row
	match (s:student {student_id:row.student_id})
	match (c:class {class_id:row.class_id})
	merge (s)-[:BELONG] -> (c)
} in transactions of 100000 rows;

二、neo4j-admin import

<一>、导入入口

neo4j-admin针对的是数据量比较大,千万级数据,用LOAD CSV方法会报内存溢出错误
这一方法需在终端中使用(桌面版neo4j-desctop主页点击数据库右侧三点键--Terminal即可打开终端)

进入终端以后就可以执行导入命令了

<二>、文件准备

1、节点文件

顶点数据表头:"[...]:ID","[...]:LABEL","[...]:IGNORE","[...]:double"等

对于顶点数据表头

"[...]:ID"是必需项,比如将"CLASS_ID"改为"CLASS_ID:ID"
若整张表都是同一标签,则不需"[...]:LABEL"列,而是在命令行,见命令详解,--nodes=Class="...csv"表示这些节点都带Class标签
"[...]:IGNORE"表示导入时忽略该列
"[...]:double"表示导入时将该列的值转为double型,默认是string

eg:

class_id:ID	math_teacher	english_teacher	chinese_teacher
1	祖冲之	狄更斯	李白
2	张苍	莎士比亚	杜甫

导入到图数据库时,class_id,match_teacher,english_teacher,chinese_teacher都是节点的属性,Class为节点的标签

2、关系文件

边数据表头:"[...]:START_ID","[...]:END_ID","[...]:TYPE","[...]:IGNORE","[...]:double"等

对于边数据表头

"[...]:START_ID"、"[...]:END_ID"为必需项,比如"student_id:start_id"和"class_id:end_id"
"[...]:TYPE"类似于顶点数据表头的"[...]:LABEL",如"belong:TYPE",也可在命令行中指定,如--relationships=BELONG="...csv"
其它项同理

eg:

student_id:START_ID	class_id:END_ID	"belong":type	name	age
300	1	belong	李世民	18
301	2	belong	朱元璋	20

导入到图数据库时,会生成两条关系:如300 -[belong]->1,301 -[belong]->2,name、age为student的属性

注意:文件需放在当前数据库的import文件夹下

<三>、命令详解

bash 复制代码

neo4j-admin database import full 
--overwrite-destination 
--multiline-fields=true 
--skip-bad-relationships 
--nodes=Class="import\class.csv"
--relationships="import\student.csv" 
--input-encoding=UTF-8 
neo4j

--overwrite-destination:指定在导入数据时是否覆盖目标数据库中的现有数据,如果目标数据库中已经存在数据，导入操作会覆盖这些数据
multiline-fields:用于指定是否允许导入的字段包含多行数据。当设置为 true 时，该参数允许字段中的数据跨越多行，这对于处理包含换行符的文本数据非常有用
--skip-bad-relationships:用于指定是否跳过那些引用了不存在节点ID的关系。如果设置为 true，则在导入过程中，如果遇到引用了不存在的起始节点或结束节点的关系，这些关系将被跳过，而不会中断整个导入过程。这个参数的默认值是 false
--nodes:导入节点
--relationships：导入关系
neo4j:表示导入到哪个数据库,这里指的是默认的neo4j,如想更改,只需改成想导入的数据库即可