【hadoop】Davinci数据可视化工具的安装部署

Davinci作为数据可视化工具,只需要安装到一个节点上即可

一、Davinci安装与配置

步骤:

1.使用XFTP将Phantomjs和Davinci的安装包phantomjs-2.1.1-linux-x86_64.tar.bz2以及davinci-assembly_3.0.1-0.3.1-SNAPSHOT-dist-beta.9.zip发送到master机器的主目录。

2、先安装Phantomjs:

复制代码
tar -jxvf ~/phantomjs-2.1.1-linux-x86_64.tar.bz2

然后修改文件夹的名字,将其改为phantomjs,或者创建软连接也可:

复制代码
mv ~/phantomjs-2.1.1-linux-x86_64 ~/phantomjs

3、安装Davinci,由于它是zip压缩包,因此解压方式稍有不同:

先创建一个davinci文件夹:

复制代码
mkdir ~/davinci

然后将davinci的压缩包移动到davinci文件夹里面,再进行解压:

复制代码
mv ~/davinci-assembly_3.0.1-0.3.1-SNAPSHOT-dist-beta.9.zip ~/davinci

cd ~/davinci

unzip davinci-assembly_3.0.1-0.3.1-SNAPSHOT-dist-beta.9.zip

4、配置环境变量:

复制代码
vim ~/.bashrc

在文件末尾添加以下内容:

复制代码
export DAVINCI3_HOME=/home/hadoop/davinci

export PATH=$DAVINCI3_HOME/bin:$PATH

保存文件,然后刷新环境变量或重新启动命令行终端:

复制代码
source ~/.bashrc

5、进到MySQL,创建davinci数据库,让Davinci能够使用MySQL存储状态信息:

mysql -u root -p123456

mysql> CREATE DATABASE IF NOT EXISTS davinci0.3 DEFAULT CHARSET utf8mb4 COLLATE utf8mb4_general_ci;

6、授予当前节点root用户权限,以及授予root用户远程访问权限(若在Sqoop安装部署时做过,这步可以省略),在MySQL里面继续执行:

mysql> grant all on *.* to 'root'@'master' identified by '123456' with grant option;

mysql> grant all on *.* to 'root'@'%' identified by '123456' with grant option;

mysql> flush privileges;

7、退出MySQL,修改Davinci的初始化脚本:

复制代码
cd ~/davinci/bin

vim initdb.sh

将里面的连接配置修改成以下,主要改掉标红的参数即可:

mysql -P 3306 -h master -u root -p123456 davinci < $DAVINCI3_HOME/bin/davinci.sql

修改完以后保存。

8、增加执行权限,然后执行脚本:

复制代码
chmod u+x ~/davinci/bin/initdb.sh

sh ~/davinci/bin/initdb.sh

9、修改Davinci的服务端配置文件application.yml,先从模板复制过来,然后找到对应的地方修改参数就行:

复制代码
cd ~/davinci/config

mv application.yml.example application.yml

vim application.yml

请一定要小心配置,该文件是yml配置文件,对缩进是敏感的,不能随意删减空格:

①、server项,先找到以下片段,主要修改其中的地址项:(修改,不要复制我的,复制会导致缩进不一致)

server:

protocol: http

address: master

port: 8080

②、datasource项,同样找到以下片段,修改其中的参数,这里是连接MySQL的参数配置:

datasource:

url: jdbc:mysql://master:3306/davinci?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&allowMultiQueries=true

username: root

password: 123456

driver-class-name: com.mysql.jdbc.Driver

③、mail项(十分重要),你需要一个自己的邮箱,并且启动该邮箱的SMTP服务,这里以QQ邮箱为例来配置:(++++请注意每个参数冒号后面都有1个空格++++

mail:

host: smtp.qq.com

port: 465

username: 798312179@qq.com (此处你不能复制我的)

fromAddress: 798312179@qq.com (此处你不能复制我的)

password: hrqd********bcja (此处你不能复制我的)

nickname: Davinci

properties:

mail.smtp.auth: true

mail.smtp.starttls.enable: false

mail.smtp.ssl.enable: true

其中properties项,整个重构成上面配置里的3行即可,properties要对齐到上面nickname这个项的缩进,然后里面的子项则需要再缩进2空格。

这里的password是你邮箱STMP服务的授权码,或者是登录密码,但QQ邮箱是不允许使用STMP服务用密码去登录QQ邮箱的,因此要在个人QQ邮箱的安全管理页面,生成一个授权码,然后让Davinci这个授权码去登录邮箱发送邮件。

参考地址:https://wx.mail.qq.com/list/readtemplate?name=app_intro.html#/agreement/authorizationCode

QQ邮箱需要在账号与安全-安全设置里面开启STMP服务,同时生成授权码即可,然后将该授权码填入上面配置信息里的password一项。

其他邮箱请自行研究相关STMP服务的开启办法以及授权码的获取办法。

④、screenshot项:

screenshot:

default_browser: PHANTOMJS

timeout_second: 600

phantomjs_path: /home/hadoop/phantomjs

chromedriver_path: your_chromedriver_path

二、测试运行

步骤:

1、启动Davinci服务端:

复制代码
start-server.sh

2、没有报错的话,在浏览器中以master机器的IP地址加8080端口,进入Davinci的登录页面:

http://192.168.203.128:8080/

能进入到登录界面,则服务端启动成功。

3、然后本地化部署完Davinci以后,第一次使用需要注册账号,要用一个可以接收邮件的邮箱来注册,点击注册以后,邮箱会收到一封激活邮件,在本机点击激活即可完成注册。

若是点激活没反应,可以使用右键保存链接地址,然后在新的选项卡里面直接粘贴地址并打开即可。

后续可以使用该账户登录Davinci。

相关推荐
计算机编程小央姐6 小时前
【Spark+Hive+hadoop】基于spark+hadoop基于大数据的人口普查收入数据分析与可视化系统
大数据·hadoop·数据挖掘·数据分析·spark·课程设计
鲲志说7 小时前
数据洪流时代,如何挑选一款面向未来的时序数据库?IoTDB 的答案
大数据·数据库·apache·时序数据库·iotdb
没有bug.的程序员7 小时前
MVCC(多版本并发控制):InnoDB 高并发的核心技术
java·大数据·数据库·mysql·mvcc
nju_spy9 小时前
南京大学 - 复杂结构数据挖掘(一)
大数据·人工智能·机器学习·数据挖掘·数据清洗·南京大学·相似性分析
哈哈很哈哈10 小时前
Flink SlotSharingGroup 机制详解
java·大数据·flink
Insist75310 小时前
基于OpenEuler部署kafka消息队列
分布式·docker·kafka
豆豆豆大王10 小时前
头歌Kingbase ES内连接、外连接查询
大数据·数据库·elasticsearch
在未来等你11 小时前
Elasticsearch面试精讲 Day 20:集群监控与性能评估
大数据·分布式·elasticsearch·搜索引擎·面试
是店小二呀13 小时前
整合亮数据Bright Data与Dify构建自动化分析系统
大数据·自动化·dify·mcp·bright data
励志成为糕手14 小时前
Kafka选举机制深度解析:分布式系统中的民主与效率
分布式·kafka·linq·controller·isr机制