当前位置:Gxlcms > mysql > MySQL去除重复数据实例详解

MySQL去除重复数据实例详解

时间:2021-07-01 10:21:17 帮助过:15人阅读

MySQL 去除重复数据实例详解

有两个意义上的重复记录,一是完全重复的记录,也即所有字段均都重复,二是部分字段重复的记录。对于第一种重复,比较容易解决,只需在查询语句中使用distinct关键字去重,几乎所有数据库系统都支持distinct操作。发生这种重复的原因主要是表设计不周,通过给表增加主键或唯一索引列即可避免。

select distinct * from t;

对于第二类重复问题,通常要求查询出重复记录中的任一条记录。假设表t有id,name,address三个字段,id是主键,有重复的字段为name,address,要求得到这两个字段唯一的结果集。

-- Oracle、MySQL,使用相关子查询

select * from t t1

 where t1.id =

 (select min(t2.id)

  from t t2

  where t1.name = t2.name and t1.address = t2.address);

 -- Hive只支持在FROM子句中使用子查询,子查询必须有名字,并且列必须唯一

select t1.*

 from t t1,

   (select name, address, min(id) id from t group by name, address) t2

 where t1.id = t2.id;

 

-- 还可以使用hive的row_number()分析函数

select t.id, t.name, t.address

 from (select id, name, address,

row_number() over (distribute by name, address sort by id) as rn 

     from t) t 

 where t.rn=1;

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

您可能感兴趣的文章:

  • MySQL查询重复数据(删除重复数据保留id最小的一条为唯一数据)
  • MySQL根据某一个或者多个字段查找重复数据的sql语句
  • Mysql删除重复数据保留最小的id 的解决方法
  • mysql查询表里的重复数据方法
  • mysql查找删除重复数据并只保留一条实例详解
  • Yii+MYSQL锁表防止并发情况下重复数据的方法
  • 很全面的MySQL处理重复数据代码
  • mysql查找删除表中重复数据方法总结

人气教程排行