图数据库Neo4j集成springboot及导入数据踩坑问题

文章目录

• ----------------------------------常用cql------------------------------------
• • • 删除所有节点
    • 删除指定节点
    • 删除所有关系
    • 删除指定关系
    • 查看所有节点
    • 查看某种节点
    • 查看总节点数
    • 删除所有关系节点
    • 删除所有关系
• ------------------------------手动导入数据--------------------------------------
• • • 导入节点
    • 导入人-部门关系节点(使用)
• ------------------------------导入数据方式--------------------------------------
• -----------------------neo4j集成springboot------------------
• • • 版本
    • [依赖 （注意 依赖版本与neo4j版本需要严格对应）](#依赖 （注意 依赖版本与neo4j版本需要严格对应）)
    • 配置
• --------------------------踩坑----------------------

----------------------------------常用cql------------------------------------

删除所有节点

match(n) detach delete n

删除指定节点

match(n:sary) detach delete n

删除所有关系

match ()-[r]-() delete r

删除指定关系

match ()-[r:ZJ]-() delete r

查看所有节点

match(n) return n

查看某种节点

MATCH (n:sary) RETURN n LIMIT 25

查看总节点数

match(n) return count(n)

删除所有关系节点

match(n:RaRelationship) detach delete n

删除所有关系

match ()-[r]-() delete r

------------------------------手动导入数据--------------------------------------

导入节点

导入之前 需要给csv文件加上表头,且表头每个字段之间不能有空格

导入节点

#人员person

LOAD CSV WITH HEADERS FROM 'file:///person.csv' as row

MERGE (person:person {personsfzh:row.personsfzh}) on create set

person.personxm=row.personxm,person.personsjh=row.personsjh

#部门dept

LOAD CSV WITH HEADERS FROM 'file:///dept.csv' as row

MERGE (dept:dept {ajbh:row.ajbh}) on create set

dept.ajmc=row.ajmc,dept.jyaq=row.jyaq,dept.dplx=row.dplx,dept.lasj=row.lasj

导入关系

导入人-部门关系节点(使用)

#先清空

match(n:RaRelationship) detach delete n

#再导入

LOAD CSV WITH HEADERS FROM 'file:///ra_relationship.csv' as row

match (from:person {personsfzh: row.personsfzh})

match (to:dept {ajbh: row.ajbh})

create (relationship:RaRelationship)

set relationship.personjs=row.personjs,relationship.personzt=row.personzt,relationship.type=row.type

merge(from)<-[:PERSON]-(relationship)

merge(relationship)-[:DEPT]->(to)

#导入人-部门关系（目前不使用）

LOAD CSV WITH HEADERS FROM 'file:///RA_relatitionship.csv' as row

MATCH (person:person {personsfzh: row.personsfzh})

MATCH (dept:dept {ajbh: row.ajbh})

MERGE (person)-[:RaRelationship]->(dept)

#注意
关系与关系节点是不一样的，关系就是直接两个点之间的一条线，关系节点实际上是节点，只不过他有startNode和endNode，可以连接2个指定实体节点，所以也可以看作是一种关系

------------------------------导入数据方式--------------------------------------

1.Java内部使用api导入

2.使用csv文件 通过命令 load csv xxxxxx， 如上面

3.使用neo4j-admin在服务器内导入 （查到的部分资料表示：这种方式导入数据需要清空库，不能增量，只能全量导入）

4.使用第三方工具如apoc

-----------------------neo4j集成springboot------------------

版本

4.4

依赖 （注意 依赖版本与neo4j版本需要严格对应）

	<dependency>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-data-neo4j</artifactId>
		<version>2.3.5.RELEASE</version>
	</dependency>
	<dependency>
		<groupId>org.neo4j</groupId>
		<artifactId>neo4j-ogm-core</artifactId>
		<version>3.2.41</version>
	</dependency>

配置

spring:
  neo4j:
    uri: bolt://127.0.0.1:7687
    authentication:
      username: neo4j
      password: neo4j

logging:
  level:
    org.neo4j.ogm.drivers.bolt.request.BoltRequest: DEBUG
    org.neo4j.driver: INFO

--------------------------踩坑----------------------

1. neo4j版本和集成springboot的依赖版本需要严格对应，跟jdk版本也要对应，4版本的至少要jdk13

2. 网上查到的资料大部分都是用neo4j3.5版本的，如果使用的是4或5版本，有很多都是过时的

3. 使用load csv导入数据，对数量有要求，大概超过2w行的，会报内存不足，这时候需要改用其他方式了，官网说可以使用批量提交，但是试了下，发现会报隐式事务问题，4.4版本需要安装apoc才行。

4. 考虑到数据源是在mysql那边，且需要同步更新，全量计算，最后选择使用在java内建定时任务去同步、更新数据。

5. 如果使用java里面的api导入数据，save和saveAll效率都会比较慢，但是也不能直接使用多线程、并发，会报死锁之类的报错。

   查到的资料是说neo4j的api都是线程安全的，所以不能使用多线程导入数据之类的 没太看懂

解决办法：

4.1 先修改配置文件，开启多线程 dbms.threads.worker_count=12， 大小参照服务器核数（这个是4.4的配置，其他版本的配置不一样）

4.2 java内，使用并发流parallelStream()来save数据，但是这里有个问题，也会偶尔出现死锁之类的报错，但是比较少（还没找到原因）

4.3 最后选择加入信号量semaphore来控制，这样基本不会出现死锁之类的问题了，（好像还是会有 但很少了 基本没出现过）

			  dataList.parallelStream()
                    .forEach(item -> {
                        try {
                            semaphore.acquire();
                            rARelationshipRepository.save(item);
                        } catch (InterruptedException e) {
                            e.printStackTrace();
                        } finally {
                            semaphore.release();
                        }
                    });

4.4 由于还是有概率出现报错，最后选择try-catch，然后在catch模块使用分批导入，这样慢但是安全

for (List datas : ListUtil.split(dataList, 1000)) {

rARelationshipRepository.saveAll(datas)

}

这块没太多去研究neo4j并发导入数据，做得不是很好，勉强能用。

6. 需要注意上面引生的问题，如果使用了xxljob之类的定时任务中间件，如果出现neo4j并发问题、死锁之类的，会直接阻塞住，导致任务一直卡住，所以任务中一定要防止并发问题

7. 对于如何高效率导入数据到neo4j，网上大多还是建议使用apoc插件，在java内部导入还是太麻烦了，并且apoc可以直接从mysql更新到neo4j中，但是这块就没去研究了。

--第一次使用，时间赶还有很多地方都不清楚，一步一坑，有错误的地方还望指出。