当前位置:Gxlcms > 数据库问题 > 记Hive SQL中TEMPORARY VIEW的一个数据对不上的坑

记Hive SQL中TEMPORARY VIEW的一个数据对不上的坑

时间:2021-07-01 10:21:17 帮助过:276人阅读

问题背景:

(无关操作已省略)

Spark ETL执行以下SQL:

CREATE TEMPORARY VIEW A select user_id, ...;

CREATE TEMPORARY VIEW B select user_id, ... from A ...; 

INSERT OVERWRITE TABLE  C select * from A union all ( select * from B)

发现A和B表union之后写入C表的数据中, 来源于B的user_id和来源于A的user_id竟然完全不同。

十分困惑,因为表B的数据完全来源于表A,不应该出现这种情况。

 

原因:

etl会多次产生表A,create B产生一次,union的时候产生一次,两次session对不起来。 真是巨坑。

记Hive SQL中TEMPORARY VIEW的一个数据对不上的坑

标签:bsp   一个   写入   from   情况   inner   十分   产生   text   

人气教程排行