function removeDuplicates (array) {
  var sorted = array.slice().sort()
  var result = []

  sorted.forEach((item, index) => {
    if (sorted[index + 1] !== item) {
      result.push(item)
    }
  })
  return result
}

我已经在其他问题上对消除重复进行了详细的比较，但注意到这是真实的地方，我也想在这里分享一下。

我相信这是最好的方法

var-myArray=[100，200，100，100，200，200，200]，reduced=Object.keys（myArray.reduce（（p，c）=>（p[c]=true，p），{}））；console.log（减少）；

好啊尽管这一个是O（n），其他是O（n^2），但我很好奇地看到这个reduce/look up表和filter/indexOf组合之间的基准比较（我选择了非常好的Jetendras实现https://stackoverflow.com/a/37441144/4543207). 我准备了一个100K的项目数组，其中填充了0-9999范围内的随机正整数，并删除了重复项。我重复了10次测试，结果的平均值表明他们在性能上不匹配。

在firefox v47中，reduce和lut:14.85ms vs filter和indexOf:2836ms在铬v51中，reduce和lut:23.90ms vs filter和indexOf:1066ms

好吧，到目前为止还不错。但是，让我们这次在ES6风格中正确地完成它。看起来很酷。。！但到目前为止，它将如何对抗强大的lut解决方案对我来说是一个谜。让我们先看看代码，然后对其进行基准测试。

var-myArray=[100，200，100，100，200，200，200]，reduce=[…myArray.reduce（（p，c）=>p.set（c，true），new Map（））.keys（）]；console.log（减少）；

哇，太短了。。！但表演怎么样。。？它很美。。。由于过滤器/indexOf的重量超过了我们的肩，现在我可以测试范围为0..9999的1M个正整数随机项，以获得10次连续测试的平均值。我可以说这一次是真正的比赛。亲自查看结果：）

var ranar=[]，red1=a=>Object.keys（a.reduce（（p，c）=>（p[c]=true，p），{}）），red2=a=>reduced=[…a.reduce（（p，c）=>p.set（c，true），new Map（））.keys（）]，avg1＝[]，avg2=[]，ts＝0，te＝0，res1＝[]，res2＝[]，计数=10；for（变量i=0；i<count；i++）{ranar=（new Array（1000000）.fill（true））.map（e=>Math.floor（Math.random（）*100000））；ts=performance.now（）；res1=红色1（ranar）；te=performance.now（）；平均推力（te ts）；ts=performance.now（）；res2=red2（ranar）；te=performance.now（）；平均推力（te ts）；}avg1=avg1。减少（（p，c）=>p+c）/计数；avg2=avg2.减少（（p，c）=>p+c）/计数；console.log（“reduce&luttake:”+avg1+“msec”）；console.log（“map&spread take:”+avg2+“msec”）；

你会用哪一个。。？别那么快。。。！不要上当受骗。贴图处于置换状态。现在看。。。在上述所有情况下，我们用范围<n的数字填充一个大小为n的数组。如果我们用随机数0..9999填充大小为100的数组。现在让我们在家看地图游戏。这一次是一个100K项的数组，但随机数范围为0..10M。我们将进行100次连续测试，以平均结果。好的，让我们看看赌注……！<-没有错别字

var ranar=[]，red1=a=>Object.keys（a.reduce（（p，c）=>（p[c]=true，p），{}）），red2=a=>reduced=[…a.reduce（（p，c）=>p.set（c，true），new Map（））.keys（）]，avg1＝[]，avg2=[]，ts＝0，te＝0，res1＝[]，res2＝[]，计数=100；for（变量i=0；i<count；i++）{ranar=（new Array（100000）.fill（true））.map（e=>Math.floor（Math.random（）*1000000））；ts=performance.now（）；res1=红色1（ranar）；te=performance.now（）；平均推力（te ts）；ts=performance.now（）；res2=red2（ranar）；te=performance.now（）；平均推力（te ts）；}avg1=avg1。减少（（p，c）=>p+c）/计数；avg2=avg2.减少（（p，c）=>p+c）/计数；console.log（“reduce&luttake:”+avg1+“msec”）；console.log（“map&spread take:”+avg2+“msec”）；

现在，这是Map（）的惊人回归。。！也许现在，当你想删除重复时，你可以做出更好的决定。

好吧，我们现在都很开心。但主角总是在一些掌声中走到最后。我相信你们中的一些人想知道Set对象会做什么。既然我们对ES6开放，而且我们知道Map是前几场比赛的赢家，那么让我们将Map与Set进行比较作为决赛。这是一场典型的皇家马德里vs巴塞罗那的比赛。。。还是这样？让我们看看谁会赢得el classico：）

var ranar=[]，red1=a=>reduce=[…a.reduce（（p，c）=>p.set（c，true），new Map（））.keys（）]，red2=a=>Array.from（新集合（a）），avg1＝[]，avg2=[]，ts＝0，te＝0，res1＝[]，res2＝[]，计数=100；for（变量i=0；i<count；i++）{ranar=（new Array（100000）.fill（true））.map（e=>Math.floor（Math.random（）*100000））；ts=performance.now（）；res1=红色1（ranar）；te=performance.now（）；平均推力（te ts）；ts=performance.now（）；res2=red2（ranar）；te=performance.now（）；平均推力（te ts）；}avg1=avg1。减少（（p，c）=>p+c）/计数；avg2=avg2.减少（（p，c）=>p+c）/计数；console.log（“map&spread take:”+avg1+“msec”）；console.log（“set&A.from take:”+avg2+“msec”）；

哇！成年男子出乎意料的是，它根本就不是一个古典音乐。更像巴塞罗那FC对阵CA Osasuna：））

厌倦了使用for循环或jQuery的所有糟糕示例。Javascript现在有了完美的工具：排序、映射和减少。

统一减少，同时保持现有订单

var names = ["Mike","Matt","Nancy","Adam","Jenny","Nancy","Carl"];

var uniq = names.reduce(function(a,b){
    if (a.indexOf(b) < 0 ) a.push(b);
    return a;
  },[]);

console.log(uniq, names) // [ 'Mike', 'Matt', 'Nancy', 'Adam', 'Jenny', 'Carl' ]

// one liner
return names.reduce(function(a,b){if(a.indexOf(b)<0)a.push(b);return a;},[]);

排序更快的uniq

可能有更快的方法，但这一方法相当不错。

var uniq = names.slice() // slice makes copy of array before sorting it
  .sort(function(a,b){
    return a > b;
  })
  .reduce(function(a,b){
    if (a.slice(-1)[0] !== b) a.push(b); // slice(-1)[0] means last item in array without removing it (like .pop())
    return a;
  },[]); // this empty array becomes the starting value for a

// one liner
return names.slice().sort(function(a,b){return a > b}).reduce(function(a,b){if (a.slice(-1)[0] !== b) a.push(b);return a;},[]);

2015年更新：ES6版本：

在ES6中，您有集合和排列，这使删除所有重复项变得非常容易和高效：

var uniq = [ ...new Set(names) ]; // [ 'Mike', 'Matt', 'Nancy', 'Adam', 'Jenny', 'Carl' ]

根据发生情况排序：

有人询问如何根据有多少个唯一名称来排序结果：

var names = ['Mike', 'Matt', 'Nancy', 'Adam', 'Jenny', 'Nancy', 'Carl']

var uniq = names
  .map((name) => {
    return {count: 1, name: name}
  })
  .reduce((a, b) => {
    a[b.name] = (a[b.name] || 0) + b.count
    return a
  }, {})

var sorted = Object.keys(uniq).sort((a, b) => uniq[a] < uniq[b])

console.log(sorted)

TL；博士

使用Set构造函数和排列语法：

uniq = [...new Set(array)];

（注意var uniq将是一个数组…new Set（）将其转换为一个集合，但[…]将其再次转换为数组）

---

“聪明”但幼稚的方式

uniqueArray = a.filter(function(item, pos) {
    return a.indexOf(item) == pos;
})

基本上，我们遍历数组，并检查每个元素在数组中的第一个位置是否等于当前位置。显然，对于重复的元素，这两个位置是不同的。

使用过滤器回调的第三个（“this array”）参数，我们可以避免数组变量的关闭：

uniqueArray = a.filter(function(item, pos, self) {
    return self.indexOf(item) == pos;
})

虽然简洁，但该算法对于大型阵列（二次时间）不是特别有效。

拯救的桥段

function uniq(a) {
    var seen = {};
    return a.filter(function(item) {
        return seen.hasOwnProperty(item) ? false : (seen[item] = true);
    });
}

通常是这样做的。其想法是将每个元素放置在哈希表中，然后立即检查其是否存在。这给了我们线性时间，但至少有两个缺点：

由于哈希键在JavaScript中只能是字符串或符号，因此该代码不区分数字和“数字字符串”。也就是说，uniq（[1，“1”]）将只返回[1]出于同样的原因，所有对象都将被视为相等：uniq（〔｛foo:1｝，｛foo:2｝〕）将只返回〔｛foo:1｝〕。

也就是说，如果数组只包含基元，而不关心类型（例如，总是数字），那么这个解决方案是最佳的。

两个世界中最好的

通用解决方案结合了这两种方法：它使用哈希查找原语和线性搜索对象。

function uniq(a) {
    var prims = {"boolean":{}, "number":{}, "string":{}}, objs = [];

    return a.filter(function(item) {
        var type = typeof item;
        if(type in prims)
            return prims[type].hasOwnProperty(item) ? false : (prims[type][item] = true);
        else
            return objs.indexOf(item) >= 0 ? false : objs.push(item);
    });
}

排序| uniq

另一个选项是先对数组进行排序，然后删除与前一个元素相等的每个元素：

function uniq(a) {
    return a.sort().filter(function(item, pos, ary) {
        return !pos || item != ary[pos - 1];
    });
}

同样，这不适用于对象（因为排序时所有对象都是相等的）。此外，我们默默地改变了原始数组，这是一个副作用——不好！然而，如果您的输入已经排序，这就是方法（只需从上面删除排序）。

唯一依据。。。

有时需要根据一些标准而不仅仅是相等来取消列表的限定，例如，过滤出不同但共享某些属性的对象。这可以通过传递回调来实现。此“key”回调应用于每个元素，并删除具有相等“key”的元素。由于键需要返回一个原语，所以哈希表在这里可以正常工作：

function uniqBy(a, key) {
    var seen = {};
    return a.filter(function(item) {
        var k = key(item);
        return seen.hasOwnProperty(k) ? false : (seen[k] = true);
    })
}

一个特别有用的键（）是JSON.stringify，它将删除物理上不同但“看起来”相同的对象：

a = [[1,2,3], [4,5,6], [1,2,3]]
b = uniqBy(a, JSON.stringify)
console.log(b) // [[1,2,3], [4,5,6]]

如果密钥不是原始的，则必须使用线性搜索：

function uniqBy(a, key) {
    var index = [];
    return a.filter(function (item) {
        var k = key(item);
        return index.indexOf(k) >= 0 ? false : index.push(k);
    });
}

在ES6中，您可以使用集合：

function uniqBy(a, key) {
    let seen = new Set();
    return a.filter(item => {
        let k = key(item);
        return seen.has(k) ? false : seen.add(k);
    });
}

或地图：

function uniqBy(a, key) {
    return [
        ...new Map(
            a.map(x => [key(x), x])
        ).values()
    ]
}

这两个键也可以使用非基本键。

第一个还是最后一个？

通过键删除对象时，可能需要保留“相等”对象中的第一个或最后一个。

使用上面的Set变量保留第一个，使用Map保留最后一个：

函数uniqByKeepFirst（a，key）{let seen=new Set（）；返回a.filter（项=>{设k=密钥（项）；看见了吗？false：见。添加（k）；});}函数uniqByKeepLast（a，key）{返回[…新建地图(a.map（x=>[键（x），x]）).values（）]}//数据=[{a:1，u:1}，{a:2，u:2}，{a:3，u:3}，{a:4，u:1}，{a:5，u:2}，{a:6，u:3}，];console.log（uniqByKeepFirst（data，it=>it.u））console.log（uniqByKeepLast（data，it=>it.u））

图书馆

下划线和Lo Dash都提供uniq方法。他们的算法基本上类似于上面的第一段，归结起来就是：

var result = [];
a.forEach(function(item) {
     if(result.indexOf(item) < 0) {
         result.push(item);
     }
});

这是二次的，但还有一些很好的附加好处，比如包装原生indexOf，通过键进行uniqify（用他们的话说是迭代）的能力，以及对已排序数组的优化。

如果您正在使用jQuery，并且无法忍受前面没有一美元的任何东西，则情况如下：

  $.uniqArray = function(a) {
        return $.grep(a, function(item, pos) {
            return $.inArray(item, a) === pos;
        });
  }

这也是第一片段的变体。

表演

JavaScript中的函数调用非常昂贵，因此上述解决方案虽然简洁，但效率并不高。为了获得最大的性能，用循环替换过滤器，并消除其他函数调用：

function uniq_fast(a) {
    var seen = {};
    var out = [];
    var len = a.length;
    var j = 0;
    for(var i = 0; i < len; i++) {
         var item = a[i];
         if(seen[item] !== 1) {
               seen[item] = 1;
               out[j++] = item;
         }
    }
    return out;
}

这段丑陋的代码与上面的第3段代码相同，但速度快了一个数量级（截至2017年，速度只有两倍-JS核心人员做得很好！）

函数uniq（a）{var seen＝｛｝；return a.filter（函数（项）{返回已查看。hasOwnProperty（项）？假：（见[项目]=真）；});}函数uniq_fast（a）{var seen＝｛｝；var out=[]；var len=a.length；变量j=0；对于（var i=0；i<len；i++）{var项目=a[i]；if（参见[项目]！==1）{见[项目]=1；out[j++]=项目；}}返回；}/////变量r=[0,1,2,3,4,5,6,7,8,9]，a＝[]，LEN＝1000，回路=1000；而（LEN-）a=交流电（r）；var d=新日期（）；对于（var i=0；i<回路；i++）uniq（a）；document.write（'<br>uniq，ms/loop:'+（new Date（）-d）/LOOPS）var d=新日期（）；对于（var i=0；i<回路；i++）uniq_fast（a）；document.write（'<br>uniq_fast，ms/loop:'+（new Date（）-d）/LOOPS）

ES6

ES6提供了Set对象，这使事情变得更加简单：

function uniq(a) {
   return Array.from(new Set(a));
}

or

let uniq = a => [...new Set(a)];

注意，与python不同，ES6集合是按插入顺序迭代的，因此这段代码保留了原始数组的顺序。

然而，如果您需要具有唯一元素的数组，为什么不从一开始就使用集合呢？

发电机

可以在相同的基础上构建uniq的“懒惰”、基于生成器的版本：

从参数中获取下一个值如果已经看到了，就跳过它否则，生成它并将其添加到已看到的值集合中

函数*uniqIter（a）{let seen=new Set（）；for（设a的x）{如果（！seed.has（x））{见添加（x）；产量x；}}}//示例：函数*randomsBelow（极限）{而（1）yield Math.floor（Math.random（）*limit）；}//注意randomsBelow是无穷无尽的计数=20；极限=30；for（uniqIter（randomsBelow（limit））的let r）{控制台日志（r）；如果（--count==0）打破}//读者练习：如果我们将“limit”设置为小于“count”会发生什么？为什么

删除重复项的最简单方法是执行for循环，比较不同的元素并将它们推入新数组

 var array = ["Mike","Matt","Nancy","Adam","Jenny","Nancy","Carl"];

 var removeDublicate = function(arr){
 var result = []
 var sort_arr = arr.sort() //=> optional
 for (var i = 0; i < arr.length; i++) {
        if(arr[ i + 1] !== arr[i] ){
            result.push(arr[i])
        }
 };
  return result
}  
console.log(removeDublicate(array))
==>  ["Adam", "Carl", "Jenny", "Matt", "Mike", "Nancy"]

VanillaJS：使用像Set这样的Object删除重复项

您可以始终尝试将其放入对象中，然后遍历其关键点：

function remove_duplicates(arr) {
    var obj = {};
    var ret_arr = [];
    for (var i = 0; i < arr.length; i++) {
        obj[arr[i]] = true;
    }
    for (var key in obj) {
        ret_arr.push(key);
    }
    return ret_arr;
}

Vanilla JS：通过跟踪已经看到的值来删除重复项（订单安全）

或者，对于订单安全版本，使用一个对象来存储所有以前看到的值，并在添加到数组之前检查值。

function remove_duplicates_safe(arr) {
    var seen = {};
    var ret_arr = [];
    for (var i = 0; i < arr.length; i++) {
        if (!(arr[i] in seen)) {
            ret_arr.push(arr[i]);
            seen[arr[i]] = true;
        }
    }
    return ret_arr;

}

ECMAScript 6：使用新的Set数据结构（顺序安全）

ECMAScript 6添加了新的Set Data Structure，它允许您存储任何类型的值。Set.values按插入顺序返回元素。

function remove_duplicates_es6(arr) {
    let s = new Set(arr);
    let it = s.values();
    return Array.from(it);
}

示例用法：

a = ["Mike","Matt","Nancy","Adam","Jenny","Nancy","Carl"];

b = remove_duplicates(a);
// b:
// ["Adam", "Carl", "Jenny", "Matt", "Mike", "Nancy"]

c = remove_duplicates_safe(a);
// c:
// ["Mike", "Matt", "Nancy", "Adam", "Jenny", "Carl"]

d = remove_duplicates_es6(a);
// d:
// ["Mike", "Matt", "Nancy", "Adam", "Jenny", "Carl"]