时间:2021-07-01 10:21:17 帮助过:276人阅读
问题背景:
(无关操作已省略)
Spark ETL执行以下SQL:
CREATE TEMPORARY VIEW A select user_id, ...;
CREATE TEMPORARY VIEW B select user_id, ... from A ...;
INSERT OVERWRITE TABLE C select * from A union all ( select * from B)
发现A和B表union之后写入C表的数据中, 来源于B的user_id和来源于A的user_id竟然完全不同。
十分困惑,因为表B的数据完全来源于表A,不应该出现这种情况。
原因:
etl会多次产生表A,create B产生一次,union的时候产生一次,两次session对不起来。 真是巨坑。记Hive SQL中TEMPORARY VIEW的一个数据对不上的坑
标签:bsp 一个 写入 from 情况 inner 十分 产生 text