『壹』 sql 如何过滤重复记录

问题背景

在一个多表查询的sql中正常情况下产生的数据都是唯一的，但因为数据库中存在错误(某张表中存在相同的外键ID)导致我这边查询出来的数据就会有重复的问题

下面结果集中UserID：15834存在多个

参考：

MSDN: OVER 子句 (Transact-SQL)

stackoverflow sql query distinct with Row_Number

SQL Trick: row_number() is to SELECT what dense_rank() is to SELECT DISTINCT

『贰』 sql查询去掉重复记录

1、打开要去掉重复数据的数据库，这里新建一张含有重复数据的user表做示例，如下图所示：

『叁』 SQL查询语句,怎样查询重复数据

1、第一步，打开数据库，并创建一个包含重复数据的新用户表，见下图，转到下面的步骤。

『肆』 SQL查询中如何剔除重复

1，存在两条完全相同的纪录

这是最简单的一种情况，用关键字distinct就可以去掉

example： select distinct * from table(表名) where (条件)

2，存在部分字段相同的纪录（有主键id即唯一键）

如果是这种情况的话用distinct是过滤不了的，这就要用到主键id的唯一性特点及group by分组

example:

select * from table where id in (select max(id) from table group by [去除重复的字段名列表,....])

3，没有唯一键ID

example:

select identity(int1,1) as id,* into newtable(临时表) from table

select * from newtable where id in (select max(id) from newtable group by [去除重复的字段名列表,....])

drop table newtable

(4)sql过滤重复数据扩展阅读

1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断

select * from people

where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)

2、删除表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断，只留有rowid最小的记录

delete from people

where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)

and rowid not in (select min(rowid) from people group by peopleId having count(peopleId )>1)

3、查找表中多余的重复记录（多个字段）

select * from vitae a

where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)

『伍』 sql中如何删除一个表中重复的记录

sql中删除一个表中的来重复源记录可以采用如下步骤：

1、把a_dist表的记录用distinct去重，结果放到临时表中。

select distinct * into #temp from a_dist;

2、把a_dist表的记录全部删除。

delete from a_dist;

3、把临时表中的数据信息导进到a_dist表中，并删除临时表。

insert into a_distselect * from #temp;

drop table #temp;

(5)sql过滤重复数据扩展阅读：

SQL (结构化查询语言)是用于执行查询的语法。在数据库上执行的大部分工作都由 SQL 语句完成。SQL 语言包含用于更新、插入和删除记录的语法。

增删改查指令构成了 SQL 的 DML 部分：

  • SELECT- 从数据库表中获取数据

  • UPDATE- 更新数据库表中的数据

  • DELETE- 从数据库表中删除数据

  • INSERT INTO- 向数据库表中插入数据