ETL工具的秘密武器--Streamsets安装部署及服务访问

StreamSets是一款用于数据流操作和数据集成的ETL工具。它提供了一个可视化的界面,使用户能够轻松地构建、监控和管理数据流管道。旨在帮助企业实现数据流的可靠、高效和可管理的处理。

它提供了直观的界面和丰富的功能,使用户能够轻松地收集、转换和传输数据,无论是在批处理还是实时流处理场景中。StreamSets支持各种数据源和目标,包括关系型数据库、大数据平台、云服务等,使用户能够灵活地构建数据流管道,实现数据的自动化流动和处理。

主要特征如下:

  • 数据收集:从各种数据源收集数据,包括文件、数据库、云服务等。
  • 数据处理:提供了强大的数据处理工具,可以对数据进行清洗、转换、过滤等操作。
  • 数据加载:将处理后的数据加载到各种目标系统,包括数据库、数据仓库、数据湖等。

接下来讲解下该软件的安装部署流程:相比其他软件,streamsets的安装部署流程非常简单,不过由于从3.14.0之后的所有版本安装部署后都需要注册才能使用,且官网已经无法进行操作,所以高版本的只能破解后的安装包方可正常使用

1、安装前的系统参数优化

首先修改操作系统的 open files 限制数量。命令如下

vi /etc/security/limits.conf

在文件末尾添加如下两行信息:

markdown 复制代码
* soft nofile 102400
* hard nofile 102400

2、下载安装包

本文不提供下载操作,如果需要,大家自行解决。 本文安装的版本如下图

3、解压并运行

1、解压安装包

css 复制代码
tar xvzf streamsets-datacollector-all-***.tgz

2、进入bin目录

bash 复制代码
cd streamsets-datacollector-***/bin/

3、运行服务

bash 复制代码
./streamsets dc 

上述命令退出命令行后程序自动关闭了,如需后台运行执行如下命令

bash 复制代码
nohup bin/streamsets dc >/dev/null 2>&1 &(如果启动不了,可以试试nohup bin/streamsets dc 2>&1 &在nohup.out文件中查看日志信息)

4、服务访问

在浏览器输入如下路径:

arduino 复制代码
http://ip:18630/

默认用户名密码为 admin/admin

出现如下界面即代表安装成功

5、组件库查看

登录成功后,我们可以在Package Manager列表栏查看所有的组件库,如下图,后期的所有管道任务都是基于组件开发,所以我们要保证安装的版本要包含常用的组件。

至此,软件的安装部署及服务访问已完成,后续文章会重点讲解下服务的使用场景及组件的案例展示,希望对大家使用streamsets能否有所帮助!

相关推荐
重生之绝世牛码6 分钟前
Java设计模式 —— 【结构型模式】外观模式详解
java·大数据·开发语言·设计模式·设计原则·外观模式
喝醉酒的小白24 分钟前
Elasticsearch相关知识@1
大数据·elasticsearch·搜索引擎
边缘计算社区25 分钟前
首个!艾灵参编的工业边缘计算国家标准正式发布
大数据·人工智能·边缘计算
MZWeiei25 分钟前
Zookeeper的选举机制
大数据·分布式·zookeeper
MZWeiei26 分钟前
Zookeeper基本命令解析
大数据·linux·运维·服务器·zookeeper
学计算机的睿智大学生27 分钟前
Hadoop集群搭建
大数据·hadoop·分布式
終不似少年遊*2 小时前
pyecharts
python·信息可视化·数据分析·学习笔记·pyecharts·使用技巧
陆沙2 小时前
生物信息学导论-北大-RNA-Seq数据分析
数据分析·生物信息·生信