首页 爱情文章 亲情文章 友情文章 生活随笔 校园文章 经典文章 人生哲理 励志文章 搞笑文章 心情日记
  • 爱情文章
  • 亲情文章
  • 友情文章
  • 生活随笔
  • 校园文章
  • 经典文章
  • 人生哲理
  • 励志文章
  • 搞笑文章
  • 心情日记
  • 英语文章
  • 范文大全
  • 作文大全
  • 新闻阅读
    •
    当前位置: 山茶花美文网 > 新闻阅读 > 正文

    sql如何删除重复数据 sql删除重复数据的详细方法

    时间：2020-05-28来源：山茶花美文网 本文已影响 人 山茶花美文网手机站

    重复数据，通常有两种：一是完全重复的记录，也就是所有字段的值都一样;二是部分字段值重复的记录。

    一. 删除完全重复的记录

    完全重复的数据，通常是由于没有设置主键/唯一键约束导致的。

    测试数据：

    if OBJECT_ID("duplicate_all") is not null

    drop table duplicate_all

    GO

    create table duplicate_all

    (

    c1 int,

    c2 int,

    c3 varchar(100)

    )

    GO

    insert into duplicate_all

    select 1,100,"aaa" union all

    select 1,100,"aaa" union all

    select 1,100,"aaa" union all

    select 1,100,"aaa" union all

    select 1,100,"aaa" union all

    select 2,200,"bbb" union all

    select 3,300,"ccc" union all

    select 4,400,"ddd" union all

    select 5,500,"eee"

    GO

    (1) 借助临时表

    利用DISTINCT得到单条记录，删除源数据，然后导回不重复记录。

    如果表不大的话，可以把所有记录导出一次，然后truncate表后再导回，这样可以避免delete的日志操作。

    if OBJECT_ID("tempdb..#tmp") is not null

    drop table #tmp

    GO

    select distinct * into #tmp

    from duplicate_all

    where c1 = 1

    GO

    delete duplicate_all where c1 = 1

    GO

    insert into duplicate_all

    select * from #tmp

    (2) 使用ROW_NUMBER

    with tmp

    as

    (

    select *,ROW_NUMBER() OVER(PARTITION BY c1,c2,c3 ORDER BY(getdate())) as num

    from duplicate_all

    where c1 = 1

    )

    delete tmp where num > 1

    如果多个表有完全重复的行，可以考虑通过UNION将多个表联合，插到一个新的同结构的表，SQL Server会帮助去掉表和表之间的重复行。

    二. 删除部分重复的记录

    部分列重复的数据，通常表上是有主键的，可能是程序逻辑造成了多行数据列值的重复。

    测试数据：

    if OBJECT_ID("duplicate_col") is not null

    drop table duplicate_col

    GO

    create table duplicate_col

    (

    c1 int primary key,

    c2 int,

    c3 varchar(100)

    )

    GO

    insert into duplicate_col

    select 1,100,"aaa" union all

    select 2,100,"aaa" union all

    select 3,100,"aaa" union all

    select 4,100,"aaa" union all

    select 5,500,"eee"

    GO

    (1) 唯一索引

    唯一索引有个忽略重复建的选项，在创建主键约束/唯一键约束时都可以使用这个索引选项。

    if OBJECT_ID("tmp") is not null

    drop table tmp

    GO

    create table tmp

    (

    c1 int,

    c2 int,

    c3 varchar(100),

    constraint UQ_01 unique(c2,c3) with(IGNORE_DUP_KEY = ON)

    )

    GO

    insert into tmp

    select * from duplicate_col

    select * from tmp

    (2) 借助主键/唯一键来删除

    通常会选择主键/唯一键的最大/最小值保留，其他行删除。以下只保留重复记录中c1最小的行。

    delete from duplicate_col

    where exists(select 1 from duplicate_col b where duplicate_col.c1 > b.c1 and (duplicate_col.c2 = b.c2 and duplicate_col.c3 = b.c3))

    --或者

    delete from duplicate_col

    where c1 not in (select min(c1) from duplicate_col group by c2,c3)

    如果要保留重复记录中的第N行，可以参考05.取分组中的某几行。

    (3) ROW_NUMBER

    和删除完全重复记录的写法基本一样。

    with tmp

    as

    (

    select *,ROW_NUMBER() OVER(PARTITION BY c2,c3 ORDER BY(getdate())) as num

    from duplicate_col

    )

    delete tmp where num > 1

    select * from duplicate_col

    • sql如何删除重复数据 sql删除重复数据的详细方法 相关文章:
    • 爱情文章
    • 亲情文章
    • 友情文章
    • 随笔
    • 哲理
    • 励志
    • 范文大全

    最新文章

    热点文章

    推荐访问

    军训远足心得体会 军训爬山心得体会 大学军训徒步拉练感想 军训徒步作文 军训徒步10公里感想 军训徒步心得体会 5分钟演讲中秋节节日 中秋一分钟演讲 中秋节演讲稿4分钟 中秋节演讲稿一分钟 中秋节演讲稿五分钟 3-5分钟 中秋节短篇演讲稿 中秋节演讲稿两分钟 中秋节的演讲稿3分钟 关于中秋节的演讲稿三分钟 孩子体验军训的心得 参加孩子军训活动的感受与收获 家长对孩子军训后的收获和感悟 小孩军训的收获与感悟 学生军训的收获与感悟 孩子军训成长过程家长感悟 孩子军训感悟 孩子军训心得体会 孩子军训的收获与感悟 兵役前训练心得体会 部队当兵的心得 新兵役前教育训练心得体会 预备役军训心得体会 新兵军训感悟

    本文sql如何删除重复数据 sql删除重复数据的详细方法由山茶花美文网整理提供，版权归原作者、原出处所有。

    Copyright © 山茶花美文网 All Rights Reserved.