5.2.1 数据流定义

数据流

• 数据流的概念类似BI平台中的智能ETL，负责进行数据转换；

• 可以通过图形化的拖拽配置方式开发数据流，同时支持在画布中添加注释；

• 开发数据流时，可以使用数据集中的数据作为输入数据集进行编辑预览。

DB数据流

数据流定义新增对DB数据流的支持，支持将数据流的图形化数据处理能力下推到数据库层面（数据库类型目前仅支持PostgreSQL）。

入口：任务调度-数据流定义列表页-创建DB数据流

DB数据流支持两种类型的输入输出算子：从数据库输入、输出至数据库，两者必须选择相同的数据连接。

DB数据流支持独立运行/工作流引用调度，运行记录支持集中查看。

工作流中可以通过DATAFLOW节点对DB数据流进行调度，DB数据流中的“从数据库输入”/“输出至数据库”算子在工作流引用时无感知，将作为数据流中的内部算子运行。