空值处理

什么是空值？

以下几种可能都会被理解为空值：

• null：用于表示数据项不包含有效数据，缺少数据或数据是未知的。可以存在于所有类型数据里。在不同类型数据库数据表里，可能显示为空白，或者显示为 null。

• 空字符串：空文本字符串，仅存在文本类型里，因为不可见，可能和 null 混淆。

• 文本 null：实际上是文本的 'null', 包含大小写和混写格式。部分场景里，用户可能出于和有值的数据区分开的目的，在数据落库时，把文本字段里的空值替换为文本字符串 'null'。

空值的影响

1. 任何表达式或者函数公式里，任意部分值为 null 时，最终结果通常返回 null 值。例如 CONCAT([字段A], [字段B])，某一行数据中有 null 值，则该行结果返回 null。

2. 使用 COUNT([字段]) 计数统计会过滤掉 null 值，但是不会过滤掉空字符串。

3. ETL里列转行的时候，要转换的字段为 null 值的话，所在数据行会整个被过滤掉，导致数据丢失。

4. 字段类型和值内容不符合时，数据显示为 null，会误导用户认为无数据。

空值判断和处理方式

数据集

        概览页面 -- 筛选数据 -- 选择字段，类型“选择”。null值显示为 (null)，空字符串显示为空白，其他文本类型 null 则作为文本显示。数据集中无法对字段中的空值直接替换和处理，建议在ETL里操作，或者新建计算字段用函数处理。

ETL

1. 数据探查（4.9及以后版本）：在需要的节点后面增加“数据探查”节点，选择字段，查看该字段的 null 值和枚举值概况。

2. Null值替换：把 null 值替换为其他值；值替换：可以替换空字符串（或null）为其他值。替换目标值必须和字段本身类型保持一致。

3. 针对需要根据一定逻辑判断并替换空值的情况，可以添加计算字段，使用Spark SQL函数进行处理。常用的空值处理函数如下：