我试图将一个列表拆分为一系列较小的列表。

我的问题:我的拆分列表功能没有将它们拆分为正确大小的列表。它应该把它们分成大小为30的列表,但它却把它们分成大小为114的列表?

如何让我的函数将一个列表分割成X个大小为30或更小的列表?

public static List<List<float[]>> splitList(List <float[]> locations, int nSize=30) 
{       
    List<List<float[]>> list = new List<List<float[]>>();

    for (int i=(int)(Math.Ceiling((decimal)(locations.Count/nSize))); i>=0; i--) {
        List <float[]> subLocat = new List <float[]>(locations); 

        if (subLocat.Count >= ((i*nSize)+nSize))
            subLocat.RemoveRange(i*nSize, nSize);
        else subLocat.RemoveRange(i*nSize, subLocat.Count-(i*nSize));

        Debug.Log ("Index: "+i.ToString()+", Size: "+subLocat.Count.ToString());
        list.Add (subLocat);
    }

    return list;
}

如果我在144大小的列表上使用该函数,那么输出是:

指数:4,尺寸:120 指数:3,尺寸:114 指数:2,尺寸:114 指数:1,尺寸:114 索引:0,大小:114


当前回答

你可以只使用LINQ简单地尝试以下代码:

public static IList<IList<T>> Split<T>(IList<T> source)
{
    return  source
        .Select((x, i) => new { Index = i, Value = x })
        .GroupBy(x => x.Index / 3)
        .Select(x => x.Select(v => v.Value).ToList())
        .ToList();
}

其他回答

补充后很有用的评论mhand在最后

原来的答案

虽然大多数解决方案可能有效,但我认为它们不是很有效。假设你只想要前几个块中的前几项。这样你就不会想要遍历序列中的所有(无数)项。

下面将最多枚举两次:一次用于Take,一次用于Skip。它不会枚举比你使用的更多的元素:

public static IEnumerable<IEnumerable<TSource>> ChunkBy<TSource>
    (this IEnumerable<TSource> source, int chunkSize)
{
    while (source.Any())                     // while there are elements left
    {   // still something to chunk:
        yield return source.Take(chunkSize); // return a chunk of chunkSize
        source = source.Skip(chunkSize);     // skip the returned chunk
    }
}

这将枚举序列多少次?

假设您将源代码划分为chunkSize的多个块。只枚举前N个块。对于每个枚举块,只枚举前M个元素。

While(source.Any())
{
     ...
}

Any将获得枚举器,执行1 MoveNext()并在处置枚举器后返回返回值。这样做N次

yield return source.Take(chunkSize);

根据参考来源,这将做如下的事情:

public static IEnumerable<TSource> Take<TSource>(this IEnumerable<TSource> source, int count)
{
    return TakeIterator<TSource>(source, count);
}

static IEnumerable<TSource> TakeIterator<TSource>(IEnumerable<TSource> source, int count)
{
    foreach (TSource element in source)
    {
        yield return element;
        if (--count == 0) break;
    }
}

在开始枚举所获取的Chunk之前,这不会做很多工作。如果您获取了几个Chunk,但决定不对第一个Chunk进行枚举,则不会执行foreach,正如调试器将显示的那样。

如果你决定取第一个块的前M个元素,那么yield返回将执行M次。这意味着:

获取枚举器 调用MoveNext()和Current M次。 处理枚举数

在第一个区块已经返回yield后,我们跳过第一个区块:

source = source.Skip(chunkSize);

同样,我们将查看参考源来找到skipiterator

static IEnumerable<TSource> SkipIterator<TSource>(IEnumerable<TSource> source, int count)
{
    using (IEnumerator<TSource> e = source.GetEnumerator()) 
    {
        while (count > 0 && e.MoveNext()) count--;
        if (count <= 0) 
        {
            while (e.MoveNext()) yield return e.Current;
        }
    }
}

如您所见,SkipIterator为Chunk中的每个元素调用一次MoveNext()。它不调用Current。

所以在每个Chunk中,我们看到完成了以下工作:

任何():GetEnumerator;1 MoveNext ();处理枚举器; 带(): 如果块的内容没有被枚举,则什么都没有。 如果内容被枚举:GetEnumerator(),每个枚举项一个MoveNext和一个Current, Dispose枚举器; Skip():对于每个被枚举的块(不是块的内容): GetEnumerator(), MoveNext() chunkSize times, no Current!处理枚举器

如果您观察枚举器发生了什么,您将看到有很多对MoveNext()的调用,而对于您实际决定访问的TSource项,只有对Current的调用。

如果你取N个大小为chunkSize的chunk,然后调用MoveNext()

Any() N次 只要你不枚举块,Take就没有时间了 N倍chunkSize for Skip()

如果您决定只枚举每个获取块的前M个元素,那么您需要为每个枚举块调用MoveNext M次。

MoveNext calls: N + N*M + N*chunkSize
Current calls: N*M; (only the items you really access)

所以如果你决定枚举所有块的所有元素:

MoveNext: numberOfChunks + all elements + all elements = about twice the sequence
Current: every item is accessed exactly once

MoveNext是否需要大量的工作,取决于源序列的类型。对于列表和数组,它是一个简单的索引增量,可能有一个超出范围的检查。

但是如果你的IEnumerable是数据库查询的结果,请确保该数据在你的计算机上是真正物化的,否则该数据将被多次获取。DbContext和Dapper会在访问数据之前正确地将数据传输到本地进程。如果你多次枚举相同的序列,它不会被多次获取。Dapper返回一个List对象,DbContext记住数据已经被获取。

在开始将项划分为块之前,调用AsEnumerable()或ToLists()是否明智取决于您的存储库

我有一个通用的方法,将采取任何类型包括浮动,它已经过单元测试,希望它有帮助:

    /// <summary>
    /// Breaks the list into groups with each group containing no more than the specified group size
    /// </summary>
    /// <typeparam name="T"></typeparam>
    /// <param name="values">The values.</param>
    /// <param name="groupSize">Size of the group.</param>
    /// <returns></returns>
    public static List<List<T>> SplitList<T>(IEnumerable<T> values, int groupSize, int? maxCount = null)
    {
        List<List<T>> result = new List<List<T>>();
        // Quick and special scenario
        if (values.Count() <= groupSize)
        {
            result.Add(values.ToList());
        }
        else
        {
            List<T> valueList = values.ToList();
            int startIndex = 0;
            int count = valueList.Count;
            int elementCount = 0;

            while (startIndex < count && (!maxCount.HasValue || (maxCount.HasValue && startIndex < maxCount)))
            {
                elementCount = (startIndex + groupSize > count) ? count - startIndex : groupSize;
                result.Add(valueList.GetRange(startIndex, elementCount));
                startIndex += elementCount;
            }
        }


        return result;
    }

虽然上面的很多答案都是可行的,但它们在永不结束的序列(或非常长的序列)上都失败了。下面是一个完全在线的实现,它保证了最好的时间和内存复杂度。我们只迭代源枚举对象一次,并使用yield return进行惰性求值。使用者可以在每次迭代时丢弃列表,使内存占用等于元素数量为w/ batchSize的列表的内存占用。

public static IEnumerable<List<T>> BatchBy<T>(this IEnumerable<T> enumerable, int batchSize)
{
    using (var enumerator = enumerable.GetEnumerator())
    {
        List<T> list = null;
        while (enumerator.MoveNext())
        {
            if (list == null)
            {
                list = new List<T> {enumerator.Current};
            }
            else if (list.Count < batchSize)
            {
                list.Add(enumerator.Current);
            }
            else
            {
                yield return list;
                list = new List<T> {enumerator.Current};
            }
        }

        if (list?.Count > 0)
        {
            yield return list;
        }
    }
}

编辑:刚刚意识到OP要求将List<T>分解为更小的List<T>,所以我关于无限枚举值的评论不适用于OP,但可能会帮助其他在这里结束的人。这些评论是对其他发布的解决方案的回应,这些解决方案使用IEnumerable<T>作为其函数的输入,但却多次枚举源可枚举对象。

如何:

while(locations.Any())
{    
    list.Add(locations.Take(nSize).ToList());
    locations= locations.Skip(nSize).ToList();
}

针对.NET 6的更新

var originalList = new List<int>{1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11}

// split into arrays of no more than three
IEnumerable<int[]> chunks = originalList.Chunk(3);

在。net 6之前

public static IEnumerable<IEnumerable<T>> SplitIntoSets<T>
    (this IEnumerable<T> source, int itemsPerSet) 
{
    var sourceList = source as List<T> ?? source.ToList();
    for (var index = 0; index < sourceList.Count; index += itemsPerSet)
    {
        yield return sourceList.Skip(index).Take(itemsPerSet);
    }
}