使用一个字段很容易找到重复项：
SELECT email, COUNT(email)
FROM users
GROUP BY email
HAVING COUNT(email) > 1
所以如果我们有一张桌子
ID NAME EMAIL
1 John asd@asd.com
2 Sam asd@asd.com
3 Tom asd@asd.com
4 Bob bob@asd.com
5 Tom asd@asd.com
这个查询将告诉我们John、Sam、Tom和Tom，因为他们都有相同的电子邮件。
然而，我想要的是获得相同电子邮件和名称的副本。
也就是说，我想得到“汤姆”，“汤姆”。
我需要这个的原因是：我犯了一个错误，允许插入重复的名称和电子邮件值。现在我需要删除/更改重复项，所以我需要先找到它们。
SELECT
name, email, COUNT(*)
FROM
users
GROUP BY
name, email
HAVING
COUNT(*) > 1
只需在两列上分组。
注意：旧的ANSI标准是在GROUP BY中包含所有非聚合列，但这已经随着“功能依赖性”的思想而改变：
在关系数据库理论中，函数依赖是数据库关系中两组属性之间的约束。换句话说，函数依赖是描述关系中属性之间关系的约束。
支持不一致：
最近的PostgreSQL支持它。SQL Server（截至SQL Server 2017）仍然需要GROUP BY中的所有非聚合列。MySQL是不可预测的，您需要sql_mode=only_full_group_by：GROUP BY lname ORDER BY显示错误结果；在缺少ANY（）的情况下，这是最便宜的聚合函数（请参阅公认答案中的注释）。甲骨文还不够主流（警告：幽默，我不了解甲骨文）。
试试看：
declare @YourTable table (id int, name varchar(10), email varchar(50))
INSERT @YourTable VALUES (1,'John','John-email')
INSERT @YourTable VALUES (2,'John','John-email')
INSERT @YourTable VALUES (3,'fred','John-email')
INSERT @YourTable VALUES (4,'fred','fred-email')
INSERT @YourTable VALUES (5,'sam','sam-email')
INSERT @YourTable VALUES (6,'sam','sam-email')
SELECT
name,email, COUNT(*) AS CountOf
FROM @YourTable
GROUP BY name,email
HAVING COUNT(*)>1
输出：
name email CountOf
---------- ----------- -----------
John John-email 2
sam sam-email 2
(2 row(s) affected)
如果您想要重复数据集的ID，请使用以下命令：
SELECT
y.id,y.name,y.email
FROM @YourTable y
INNER JOIN (SELECT
name,email, COUNT(*) AS CountOf
FROM @YourTable
GROUP BY name,email
HAVING COUNT(*)>1
) dt ON y.name=dt.name AND y.email=dt.email
输出：
id name email
----------- ---------- ------------
1 John John-email
2 John John-email
5 sam sam-email
6 sam sam-email
(4 row(s) affected)
要删除重复项，请尝试：
DELETE d
FROM @YourTable d
INNER JOIN (SELECT
y.id,y.name,y.email,ROW_NUMBER() OVER(PARTITION BY y.name,y.email ORDER BY y.name,y.email,y.id) AS RowRank
FROM @YourTable y
INNER JOIN (SELECT
name,email, COUNT(*) AS CountOf
FROM @YourTable
GROUP BY name,email
HAVING COUNT(*)>1
) dt ON y.name=dt.name AND y.email=dt.email
) dt2 ON d.id=dt2.id
WHERE dt2.RowRank!=1
SELECT * FROM @YourTable
输出：
id name email
----------- ---------- --------------
1 John John-email
3 fred John-email
4 fred fred-email
5 sam sam-email
(4 row(s) affected)
与其他答案不同，您可以查看包含所有列（如果有的话）的整个记录。在row_number函数的PARTITION BY部分中，选择所需的唯一/双工列。
SELECT *
FROM (
SELECT a.*
, Row_Number() OVER (PARTITION BY Name, Age ORDER BY Name) AS r
FROM Customers AS a
) AS b
WHERE r > 1;
当您想选择所有字段中的所有重复记录时，可以这样写
CREATE TABLE test (
id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY
, c1 integer
, c2 text
, d date DEFAULT now()
, v text
);
INSERT INTO test (c1, c2, v) VALUES
(1, 'a', 'Select'),
(1, 'a', 'ALL'),
(1, 'a', 'multiple'),
(1, 'a', 'records'),
(2, 'b', 'in columns'),
(2, 'b', 'c1 and c2'),
(3, 'c', '.');
SELECT * FROM test ORDER BY 1;
SELECT *
FROM test
WHERE (c1, c2) IN (
SELECT c1, c2
FROM test
GROUP BY 1,2
HAVING count(*) > 1
)
ORDER BY 1;
在PostgreSQL中测试。
如果您与Oracle合作，最好采用以下方式：
create table my_users(id number, name varchar2(100), email varchar2(100));
insert into my_users values (1, 'John', 'asd@asd.com');
insert into my_users values (2, 'Sam', 'asd@asd.com');
insert into my_users values (3, 'Tom', 'asd@asd.com');
insert into my_users values (4, 'Bob', 'bob@asd.com');
insert into my_users values (5, 'Tom', 'asd@asd.com');
commit;
select *
from my_users
where rowid not in (select min(rowid) from my_users group by name, email);
如果您希望查看表中是否有重复的行，我使用以下查询：
create table my_table(id int, name varchar(100), email varchar(100));
insert into my_table values (1, 'shekh', 'shekh@rms.com');
insert into my_table values (1, 'shekh', 'shekh@rms.com');
insert into my_table values (2, 'Aman', 'aman@rms.com');
insert into my_table values (3, 'Tom', 'tom@rms.com');
insert into my_table values (4, 'Raj', 'raj@rms.com');
Select COUNT(1) As Total_Rows from my_table
Select Count(1) As Distinct_Rows from ( Select Distinct * from my_table) abc
尝试此代码
WITH CTE AS
( SELECT Id, Name, Age, Comments, RN = ROW_NUMBER()OVER(PARTITION BY Name,Age ORDER BY ccn)
FROM ccnmaster )
select * from CTE
select emp.ename, emp.empno, dept.loc
from emp
inner join dept
on dept.deptno=emp.deptno
inner join
(select ename, count(*) from
emp
group by ename, deptno
having count(*) > 1)
t on emp.ename=t.ename order by emp.ename
/
我们如何计算重复值？？重复2次或大于2次。只是数数他们，而不是分组。
简单到
select COUNT(distinct col_01) from Table_01
如果要查找重复的数据（通过一个或多个标准），请选择实际的行。
with MYCTE as (
SELECT DuplicateKey1
,DuplicateKey2 --optional
,count(*) X
FROM MyTable
group by DuplicateKey1, DuplicateKey2
having count(*) > 1
)
SELECT E.*
FROM MyTable E
JOIN MYCTE cte
ON E.DuplicateKey1=cte.DuplicateKey1
AND E.DuplicateKey2=cte.DuplicateKey2
ORDER BY E.DuplicateKey1, E.DuplicateKey2, CreatedAt
http://developer.azurewebsites.net/2014/09/better-sql-group-by-find-duplicate-data/
SELECT name, email
FROM users
WHERE email in
(SELECT email FROM users
GROUP BY email
HAVING COUNT(*)>1)
派对晚了一点，但我找到了一个非常酷的解决方法来查找所有重复的ID：
SELECT email, GROUP_CONCAT(id)
FROM users
GROUP BY email
HAVING COUNT(email) > 1;
如果要删除重复项，这里有一种比在三个子选择中查找偶数/奇数行更简单的方法：
SELECT id, name, email
FROM users u, users u2
WHERE u.name = u2.name AND u.email = u2.email AND u.id > u2.id
因此，删除：
DELETE FROM users
WHERE id IN (
SELECT id/*, name, email*/
FROM users u, users u2
WHERE u.name = u2.name AND u.email = u2.email AND u.id > u2.id
)
更容易阅读和理解IMHO
注意：唯一的问题是您必须执行请求，直到没有删除行，因为每次只删除每个重复项中的一行
这也应该奏效，也许试试看。
Select * from Users a
where EXISTS (Select * from Users b
where ( a.name = b.name
OR a.email = b.email)
and a.ID != b.id)
如果您搜索具有某种前缀或一般更改（例如邮件中的新域）的重复项，则特别适合您。然后可以在这些列中使用replace（）
这是我想出的最简单的办法。它使用一个公共表表达式（CTE）和一个分区窗口（我认为这些特性在SQL 2008和更高版本中）。
此示例查找所有具有重复名称和dob的学生。要检查重复的字段位于OVER子句中。可以在投影中包含任何其他字段。
with cte (StudentId, Fname, LName, DOB, RowCnt)
as (
SELECT StudentId, FirstName, LastName, DateOfBirth as DOB, SUM(1) OVER (Partition By FirstName, LastName, DateOfBirth) as RowCnt
FROM tblStudent
)
SELECT * from CTE where RowCnt > 1
ORDER BY DOB, LName
SELECT * FROM users u where rowid = (select max(rowid) from users u1 where
u.email=u1.email);
select name, email
, case
when ROW_NUMBER () over (partition by name, email order by name) > 1 then 'Yes'
else 'No'
end "duplicated ?"
from users
通过使用CTE，我们也可以找到类似这样的重复值
with MyCTE
as
(
select Name,EmailId,ROW_NUMBER() over(PARTITION BY EmailId order by id) as Duplicate from [Employees]
)
select * from MyCTE where Duplicate>1
这将从每组重复项中选择/删除除一条记录之外的所有重复记录。因此，删除操作会留下所有唯一的记录+每组重复项中的一条记录。
选择重复项：
SELECT *
FROM <table>
WHERE
id NOT IN (
SELECT MIN(id)
FROM table
GROUP BY <column1>, <column2>
);
删除重复项：
DELETE FROM <table>
WHERE
id NOT IN (
SELECT MIN(id)
FROM table
GROUP BY <column1>, <column2>
);
请注意大量的记录，这可能会导致性能问题。
如何获取表中的重复记录
SELECT COUNT(EmpCode),EmpCode FROM tbl_Employees WHERE Status=1
GROUP BY EmpCode HAVING COUNT(EmpCode) > 1
我们可以在这里使用have，它处理聚合函数，如下所示
create table #TableB (id_account int, data int, [date] date)
insert into #TableB values (1 ,-50, '10/20/2018'),
(1, 20, '10/09/2018'),
(2 ,-900, '10/01/2018'),
(1 ,20, '09/25/2018'),
(1 ,-100, '08/01/2018')
SELECT id_account , data, COUNT(*)
FROM #TableB
GROUP BY id_account , data
HAVING COUNT(id_account) > 1
drop table #TableB
这里有两个字段id_account和data与Count（*）一起使用。因此，它将给出两列中值超过一倍的所有记录。
由于某种原因，我们错误地错过了在SQL server表中添加任何约束，并且记录已在前端应用程序的所有列中重复插入。然后我们可以使用下面的查询从表中删除重复的查询。
SELECT DISTINCT * INTO #TemNewTable FROM #OriginalTable
TRUNCATE TABLE #OriginalTable
INSERT INTO #OriginalTable SELECT * FROM #TemNewTable
DROP TABLE #TemNewTable
在这里，我们获取了原始表的所有不同记录，并删除了原始表中的记录。我们再次将新表中的所有不同值插入到原始表中，然后删除新表。
删除名称重复的记录
;WITH CTE AS
(
SELECT ROW_NUMBER() OVER (PARTITION BY name ORDER BY name) AS T FROM @YourTable
)
DELETE FROM CTE WHERE T > 1
从表中的重复记录检查。
select * from users s
where rowid < any
(select rowid from users k where s.name = k.name and s.email = k.email);
or
select * from users s
where rowid not in
(select max(rowid) from users k where s.name = k.name and s.email = k.email);
删除表中的重复记录。
delete from users s
where rowid < any
(select rowid from users k where s.name = k.name and s.email = k.email);
or
delete from users s
where rowid not in
(select max(rowid) from users k where s.name = k.name and s.email = k.email);
你可能想试试这个
SELECT NAME, EMAIL, COUNT(*)
FROM USERS
GROUP BY 1,2
HAVING COUNT(*) > 1
SELECT name, email,COUNT(email)
FROM users
WHERE email IN (
SELECT email
FROM users
GROUP BY email
HAVING COUNT(email) > 1)
确切的代码可能会有所不同，这取决于您是希望同时查找重复的行，还是仅查找具有相同电子邮件和名称的不同ID。如果id是主键或具有唯一约束，则不存在这种区别，但问题没有对此进行说明。在前一种情况下，您可以使用其他几个答案中给出的代码：
SELECT name, email, COUNT(*)
FROM users
GROUP BY name, email
HAVING COUNT(*) > 1
在后一种情况下，您可以使用：
SELECT name, email, COUNT(DISTINCT id)
FROM users
GROUP BY name, email
HAVING COUNT(DISTINCT id) > 1
ORDER BY COUNT(DISTINCT id) DESC
这里最重要的是要有最快的功能。还应确定副本索引。自连接是一个很好的选项，但为了获得更快的功能，最好先查找具有重复行的行，然后与原始表连接以查找重复行的id。最后按除id之外的任何列排序，以使重复的行彼此靠近。
SELECT u.*
FROM users AS u
JOIN (SELECT username, email
FROM users
GROUP BY username, email
HAVING COUNT(*)>1) AS w
ON u.username=w.username AND u.email=w.email
ORDER BY u.email;
另一种简单的方法是使用解析函数：
SELECT * from
(SELECT name, email,
COUNT(name) OVER (PARTITION BY name, email) cnt
FROM users)
WHERE cnt >1;
表结构：
ID NAME EMAIL
1 John asd@asd.com
2 Sam asd@asd.com
3 Tom asd@asd.com
4 Bob bob@asd.com
5 Tom asd@asd.com
解决方案1：
SELECT *,
COUNT(*)
FROM users t1
INNER JOIN users t2
WHERE t1.id > t2.id
AND t1.name = t2.name
AND t1.email=t2.email
解决方案2：
SELECT name,
email,
COUNT(*)
FROM users
GROUP BY name,
email
HAVING COUNT(*) > 1
在使用Microsoft Access的情况下，此方法有效：
CREATE TABLE users (id int, name varchar(10), email varchar(50));
INSERT INTO users VALUES (1, 'John', 'asd@asd.com');
INSERT INTO users VALUES (2, 'Sam', 'asd@asd.com');
INSERT INTO users VALUES (3, 'Tom', 'asd@asd.com');
INSERT INTO users VALUES (4, 'Bob', 'bob@asd.com');
INSERT INTO users VALUES (5, 'Tom', 'asd@asd.com');
SELECT name, email, COUNT(*) AS CountOf
FROM users
GROUP BY name, email
HAVING COUNT(*)>1;
DELETE *
FROM users
WHERE id IN (
SELECT u1.id
FROM users u1, users u2
WHERE u1.name = u2.name AND u1.email = u2.email AND u1.id > u2.id
);
感谢Tancrede Chazallet的删除代码。
请尝试
SELECT UserID, COUNT(UserID)
FROM dbo.User
GROUP BY UserID
HAVING COUNT(UserID) > 1
您使用我使用的以下查询：
select *
FROM TABLENAME
WHERE PrimaryCoumnID NOT IN
(
SELECT MAX(PrimaryCoumnID)
FROM TABLENAME
GROUP BY AnyCoumnID
);
我想这对你有帮助
SELECT name, email, COUNT(* )
FROM users
GROUP BY name, email
HAVING COUNT(*)>1
这个问题在上面的所有答案中都得到了很好的回答。但我想列出所有可能的方式，我们可以通过各种方式来做到这一点，这可能会让我们了解如何做到，寻求者可以选择最适合他/她的需求的解决方案，因为这是SQL开发人员遇到不同业务用例或在访谈中遇到的最常见的查询之一。
创建示例数据
我将仅从这个问题中设置一些示例数据开始。
Create table NewTable (id int, name varchar(10), email varchar(50))
INSERT NewTable VALUES (1,'John','asd@asd.com')
INSERT NewTable VALUES (2,'Sam','asd@asd.com')
INSERT NewTable VALUES (3,'Tom','asd@asd.com')
INSERT NewTable VALUES (4,'Bob','bob@asd.com')
INSERT NewTable VALUES (5,'Tom','asd@asd.com')
1.使用groupby子句
SELECT
name,email, COUNT(*) AS Occurence
FROM NewTable
GROUP BY name,email
HAVING COUNT(*)>1
工作原理：
GROUP BY子句按中的值将行分组姓名和电子邮件栏。然后，COUNT（）函数返回数字每个组的出现次数（姓名、电子邮件）。然后，HAVING子句保持仅重复组，这些组包含多个发生
2.使用CTE：
要返回每个重复行的整个行，请使用公共表表达式（CTE）将上述查询的结果与NewTable表连接：
WITH cte AS (
SELECT
name,
email,
COUNT(*) occurrences
FROM NewTable
GROUP BY
name,
email
HAVING COUNT(*) > 1
)
SELECT
t1.Id,
t1.name,
t1.email
FROM NewTable t1
INNER JOIN cte ON
cte.name = t1.name AND
cte.email = t1.email
ORDER BY
t1.name,
t1.email;
3.使用ROW_NUMBER（）函数
WITH cte AS (
SELECT
name,
email,
ROW_NUMBER() OVER (
PARTITION BY name,email
ORDER BY name,email) rownum
FROM
NewTable t1
)
SELECT
*
FROM
cte
WHERE
rownum > 1;
工作原理：
ROW_NUMBER（）将NewTable表的行按名称和电子邮件列中的值分配到分区中。重复的行在名称和电子邮件列中具有重复的值，但行号不同外部查询删除每个组中的第一行。
好吧，现在我相信，你可以有正确的想法，如何找到重复，并应用逻辑在所有可能的场景中找到重复。谢谢
试试看：
DECLARE @myTable TABLE
(
id INT,
name VARCHAR(10),
email VARCHAR(50)
);
INSERT @myTable
VALUES
(1, 'John', 'John-email');
INSERT @myTable
VALUES
(2, 'John', 'John-email');
INSERT @myTable
VALUES
(3, 'fred', 'John-email');
INSERT @myTable
VALUES
(4, 'fred', 'fred-email');
INSERT @myTable
VALUES
(5, 'sam', 'sam-email');
INSERT @myTable
VALUES
(6, 'sam', 'sam-email');
WITH cte
AS (SELECT ROW_NUMBER() OVER (ORDER BY (SELECT 1)) AS rowNum,
*
FROM @myTable)
SELECT c1.id,
c1.name,
c1.email
FROM cte AS c1
WHERE 1 <
(
SELECT COUNT(c2.rowNum)
FROM cte AS c2
WHERE c1.name = c2.name
AND c1.email = c2.email
);
