整体架构

输入输出源
- 依托与kettle自带的插件,支持jdbc/odbc、nosql、文本、kafka、大数据等组件数据的输入和输出。
- 扩展了ftp/s3文件读写插件。
前端
- 前端目前版本是基于vue2.js + ElementUI + jsplump等框架进行开发。
- 基于vue3 + Ant Design + g6框架升级的版本目前也在同步开发中了。
后端
- 使用sofa-boot ark对插件之间进行类隔离;
- 由于公司采用springcloud微服务架构开发整个数据中台产品,数据集成属于其中的一个子模块,所以暂时还是采用springcloud的架构进行开源,便于版本统一。
其他组件
- 使用mysql作为元数据存储组件;
- 使用MinIO作为文件存储组件;
- 使用redis存储共享数据。