文章目录
- ----------------------------------常用cql------------------------------------
- ------------------------------手动导入数据--------------------------------------
- ------------------------------导入数据方式--------------------------------------
- -----------------------neo4j集成springboot------------------
- --------------------------踩坑----------------------
----------------------------------常用cql------------------------------------
删除所有节点
match(n) detach delete n
删除指定节点
match(n:sary) detach delete n
删除所有关系
match ()-[r]-() delete r
删除指定关系
match ()-[r:ZJ]-() delete r
查看所有节点
match(n) return n
查看某种节点
MATCH (n:sary) RETURN n LIMIT 25
查看总节点数
match(n) return count(n)
删除所有关系节点
match(n:RaRelationship) detach delete n
删除所有关系
match ()-[r]-() delete r
------------------------------手动导入数据--------------------------------------
导入节点
导入之前 需要给csv文件加上表头,且表头每个字段之间不能有空格
导入节点
#人员person
LOAD CSV WITH HEADERS FROM 'file:///person.csv' as row
MERGE (person:person {personsfzh:row.personsfzh}) on create set
person.personxm=row.personxm,person.personsjh=row.personsjh
#部门dept
LOAD CSV WITH HEADERS FROM 'file:///dept.csv' as row
MERGE (dept:dept {ajbh:row.ajbh}) on create set
dept.ajmc=row.ajmc,dept.jyaq=row.jyaq,dept.dplx=row.dplx,dept.lasj=row.lasj
导入关系
导入人-部门关系节点(使用)
#先清空
match(n:RaRelationship) detach delete n
#再导入
LOAD CSV WITH HEADERS FROM 'file:///ra_relationship.csv' as row
match (from:person {personsfzh: row.personsfzh})
match (to:dept {ajbh: row.ajbh})
create (relationship:RaRelationship)
set relationship.personjs=row.personjs,relationship.personzt=row.personzt,relationship.type=row.type
merge(from)<-[:PERSON]-(relationship)
merge(relationship)-[:DEPT]->(to)
#导入人-部门关系（目前不使用）
LOAD CSV WITH HEADERS FROM 'file:///RA_relatitionship.csv' as row
MATCH (person:person {personsfzh: row.personsfzh})
MATCH (dept:dept {ajbh: row.ajbh})
MERGE (person)-[:RaRelationship]->(dept)
#注意
关系与关系节点是不一样的，关系就是直接两个点之间的一条线，关系节点实际上是节点，只不过他有startNode和endNode，可以连接2个指定实体节点，所以也可以看作是一种关系
------------------------------导入数据方式--------------------------------------
1.Java内部使用api导入
2.使用csv文件 通过命令 load csv xxxxxx， 如上面
3.使用neo4j-admin在服务器内导入 （查到的部分资料表示：这种方式导入数据需要清空库，不能增量，只能全量导入）
4.使用第三方工具如apoc
-----------------------neo4j集成springboot------------------
版本
4.4
依赖 （注意 依赖版本与neo4j版本需要严格对应）
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-neo4j</artifactId>
<version>2.3.5.RELEASE</version>
</dependency>
<dependency>
<groupId>org.neo4j</groupId>
<artifactId>neo4j-ogm-core</artifactId>
<version>3.2.41</version>
</dependency>
配置
spring:
neo4j:
uri: bolt://127.0.0.1:7687
authentication:
username: neo4j
password: neo4j
logging:
level:
org.neo4j.ogm.drivers.bolt.request.BoltRequest: DEBUG
org.neo4j.driver: INFO
--------------------------踩坑----------------------
-
neo4j版本和集成springboot的依赖版本需要严格对应，跟jdk版本也要对应，4版本的至少要jdk13
-
网上查到的资料大部分都是用neo4j3.5版本的，如果使用的是4或5版本，有很多都是过时的
-
使用load csv导入数据，对数量有要求，大概超过2w行的，会报内存不足，这时候需要改用其他方式了，官网说可以使用批量提交，但是试了下，发现会报隐式事务问题，4.4版本需要安装apoc才行。
-
考虑到数据源是在mysql那边，且需要同步更新，全量计算，最后选择使用在java内建定时任务去同步、更新数据。
-
如果使用java里面的api导入数据，save和saveAll效率都会比较慢，但是也不能直接使用多线程、并发，会报死锁之类的报错。
查到的资料是说neo4j的api都是线程安全的，所以不能使用多线程导入数据之类的 没太看懂
解决办法：
4.1 先修改配置文件，开启多线程 dbms.threads.worker_count=12， 大小参照服务器核数（这个是4.4的配置，其他版本的配置不一样）
4.2 java内，使用并发流parallelStream()来save数据，但是这里有个问题，也会偶尔出现死锁之类的报错，但是比较少（还没找到原因）
4.3 最后选择加入信号量semaphore来控制，这样基本不会出现死锁之类的问题了，（好像还是会有 但很少了 基本没出现过）
dataList.parallelStream()
.forEach(item -> {
try {
semaphore.acquire();
rARelationshipRepository.save(item);
} catch (InterruptedException e) {
e.printStackTrace();
} finally {
semaphore.release();
}
});
4.4 由于还是有概率出现报错，最后选择try-catch，然后在catch模块使用分批导入，这样慢但是安全
for (List datas : ListUtil.split(dataList, 1000)) {
rARelationshipRepository.saveAll(datas)
}
这块没太多去研究neo4j并发导入数据，做得不是很好，勉强能用。
-
需要注意上面引生的问题，如果使用了xxljob之类的定时任务中间件，如果出现neo4j并发问题、死锁之类的，会直接阻塞住，导致任务一直卡住，所以任务中一定要防止并发问题
-
对于如何高效率导入数据到neo4j，网上大多还是建议使用apoc插件，在java内部导入还是太麻烦了，并且apoc可以直接从mysql更新到neo4j中，但是这块就没去研究了。
--第一次使用，时间赶还有很多地方都不清楚，一步一坑，有错误的地方还望指出。