datasophon1.2.1 二开

datasophon1.2.1 二开

背景

前几个月,觉得安装大数据环境真是麻烦,所以想找找是否有一键安装的工具,别人给我推荐国产的Datasophon ,这个工具听说过,但是印象不是很好。去年我同事打算使用它配置大数据组件,结果碰到各种各样问题,最后不了了之。当时我也是有其他事情,没有时间研究。今天有时间研究为何这么难用。我就计划安装在麒麟V10 操作系统

问题

我先列一下目前安装遇到的问题,其他的问题,继续往下安装再看

麒麟V10权限问题

麒麟安全性挺高的,默认是不能执行脚本,所以设置软件模式:

powershell 复制代码
sudo setstatus Softmode

命令适配问题

有些命令在麒麟系统无法执行,需要修改。至于修改了那些命令我就不列,有兴趣的可以参考git源码

AKKA不稳定问题

当Agent分发时,进度达到75%,有些环境稍微等会就过去了;但是有些环境就卡住,最后超时报错。我就纳闷它干嘛呢?后来,研究源码发现,master在等worker返回,worker所在机器信息:CPU,内存,硬盘等信息,然后变成100%。如果一直收不到应答,它就超时报错。它的通讯组件用什么呢?就是用akka。看来不咋地,稳定性不好。

优化

我在三台虚拟机上安装datasophon,网络可能没有云机器网络好,总是卡在75%。后来网上找看是否有替换组件,还找到一个叫Pekko,但是这个工具也庞大,复杂。我心想不就是弄一个网络通讯吗,有必要这么复杂吗!可能它支持协议比较多。所以有DIY想法,支持TCP/IP协议即可。后来亲手打造一个,兼容akka调用。但是简单多了

git 地址:https://gitee.com/longsebo/stable-actor-framework.git

当然datasophon 调用及配置也需要调整,git 地址:

https://gitee.com/longsebo/datasophon.git

效果

我连续测三遍,都能顺利到达100%。

不过操作步骤按如下:

每次都先删除上一个集群,然后重启datasophon-manager:

powershell 复制代码
root@ddp1:/opt/datasophon-manager-1.2.1/bin# ./stop.sh

所有worker节点都停止worker:

powershell 复制代码
service datasophon-worker stop

最后

当然这只是,万里长征第一步,后面估计还有好多坑及挑战。毕竟我把它通讯组件,釜底抽薪,彻底换掉。可能有些重构错漏地方。在所难免。如需沟通:lita2lz

相关推荐
yumgpkpm19 小时前
华为昇腾910B 开源软件GPUStack的介绍(Cloudera CDH、CDP)
人工智能·hadoop·elasticsearch·flink·kafka·企业微信·big data
网络工程小王5 天前
【大数据技术详解】——HBase技术(学习笔记)
大数据·hadoop·hdfs·big data
网络工程小王8 天前
【大数据技术详解】——HDFS技术(学习笔记)
hadoop·hdfs·big data
workflower1 个月前
需求的迭代轮廓
测试用例·需求分析·big data·结对编程
实时数据1 个月前
DPI深度数据包检测 监测用户浏览搜索行为 分析在线活动 频繁访问的购物网站或搜索的关键词 等判断其消费偏好
大数据·安全·big data
workflower1 个月前
易用性和人性化需求
java·python·测试用例·需求分析·big data·软件需求
workflower1 个月前
多变量时间序列预测
java·hadoop·nosql·需求分析·big data·结对编程
YongCheng_Liang1 个月前
零基础学大数据:大数据基础与前置技术夯实
大数据·big data
WJX_KOI2 个月前
保姆级教程:Apache Seatunnel CDC(standalone 模式)部署 MySQL CDC、PostgreSQL CDC 及使用方法
java·大数据·mysql·postgresql·big data·etl