- 资源介绍
- 授权方式:开源软件
- 界面语言:简体中文
- 文件大小:3.14 MB
- 更新时间:2020-07-22
- 资源类型:国产软件
- 推荐等级:★★★☆☆
- 平台环境:JAVA
- 作者主页:点击查看
- 演示地址:点击查看
详细介绍 – [ Rope轻量级ETL工具 v1.1.0 ]
Rope轻量级ETL工具是一款轻量级别的ETL(Extract-Transform-Load)工具。主要用于从不同源获取/接受数据,然后统一处理数据后,写入到各种目标源;系统采用多级缓冲和数据缓存,每秒可处理上万级别的数据;而且系统采用插件扩展系统的各个组件,针对不同需求扩展不同插件。
Rope特性
1、轻量级别、快速、简单,入门门槛低
2、基于Springboot开发
3、扩展性强,基于插件开发,可根据不同需求来开发数据读取者、数据处理器、数据写入者
4、既可通过UI界面来构建流程、也可以使用json、yml文件构建流程
5、基于 Disruptor 做的缓冲,并新增缓存(内存、redis、rocksdb等),处理速度快
Rope轻量级ETL工具核心模块
输入模块
用于控制数据的输入动作。主要包括两种类型:主动获取型输入、被动接受性输入。
数据读取者
该模块主要是读取数据的具体实现,可自行扩展。不能单独运行,需要作用于 主动获取型Input上才能运行。
数据传输模块
主要对数据进行传送,系统中存在两种数据传输:一个是用于把输入模块输入的数据传输到数据处理器中,另一个是把数据处理器处理后的数据传输到输出模块中。目前支持默认的数据传输器和基于Disruptor的缓冲数据传输器,在实际环境中建议Disruptor的缓冲数据传输器。
数据处理器模块
该组件为数据处理器,其作用是处理数据,比如将字符型数据处理成其他类型、丢弃某数据、新增某数据字段。该组件可自行扩展,是非必须组件。
数据输出模块
该组件主要用于系统数据的输出,即将数据以哪种方式输出,它并不关心数据输出到哪里去,只关心数据如何输出。
数据写入者
该组件为具体数据写入的实现,它主要关心数据写入到哪里去,为数据输出的具体实现。必须作用于Output上才能运行。
数据转换器-Converter
数据转换器,该组件主要用于数据类型的转换,大部分情况是配合Reader Writer实现的,核心思想是让Reader Writer关心数据的读取、写入,它关心数据类型的转换细节。这样就具有很强的扩展性。
相关阅读
同类推荐:站长常用源码
猜你喜欢
-
大泉州汽车网PHP整站程序(自带海量发布号新闻) v1.2
2020-08-14 -
奥杰CMS内容管理系统
2020-08-14 -
Discuz! v7.2 build 0110 简体GBK 整合安装包
2020-08-14 -
帝国cms在线视频网站源码 v2.2
2020-08-14 -
bagsu.com数据库转接函数php版 v1.0
2020-08-14 -
PHP+Ajax多风格简单留言板 v1.0
2020-08-14 -
OQSS 在线问卷调查系统 v5.0
2020-08-14 -
LINQ的增删改查源码 v0.1
2020-08-14 -
非法关键字过滤管理系统 v1.0
2020-08-13 -
网络营销公司源码织梦模板
2020-08-14
-
Thinkphp仿皮皮果系统模式芒果乐园复利源码_源码下载
2020-08-05 -
系统之家通用下载系统源码 v3.3
2020-08-13 -
智伟CMS企业建站系统 v5.6.5 (原GV32-CMS)
2020-08-14 -
蓝色自适应垂直行业网址导航源码 v1.0
2020-08-13 -
艺帆蓝色宽屏公司网站源码 v1.7.5
2020-08-13 -
奇艺视频小偷V2012.6
2020-08-13 -
html5商业策划传媒公司企业模板源码
2020-08-14 -
新华都微电影DEDECMS模板整站程序 v1.0.0
2020-08-14 -
藏獒信息网源码
2020-08-13 -
PHP开发的简单的api接口管理系统源码_源码下载
2020-08-05
猜你在找
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
源码库 » Rope轻量级ETL工具 v1.1.0