一次又一次,我看到它说使用async-await不会创建任何额外的线程。这是没有道理的,因为计算机一次可以做多件事的唯一方法是

实际上同时做多件事(并行执行,使用多个处理器) 通过调度任务并在它们之间切换来模拟它(做一点a,一点B,一点a,等等)。

因此,如果async-await都不做这些,那么它如何使应用程序具有响应性呢?如果只有1个线程,那么调用任何方法都意味着在执行其他操作之前等待该方法完成,并且该方法中的方法必须在继续执行之前等待结果,以此类推。


我在我的博客文章《There Is No Thread》中详细解释了这一点。

In summary, modern I/O systems make heavy use of DMA (Direct Memory Access). There are special, dedicated processors on network cards, video cards, HDD controllers, serial/parallel ports, etc. These processors have direct access to the memory bus, and handle reading/writing completely independently of the CPU. The CPU just needs to notify the device of the location in memory containing the data, and then can do its own thing until the device raises an interrupt notifying the CPU that the read/write is complete.

一旦操作在运行中,CPU就没有工作要做,因此没有线程。


实际上,async/await并没有那么神奇。整个话题相当广泛,但对于你的问题,我认为我们可以快速而完整地回答。

让我们在Windows窗体应用程序中处理一个简单的按钮点击事件:

public async void button1_Click(object sender, EventArgs e)
{
    Console.WriteLine("before awaiting");
    await GetSomethingAsync();
    Console.WriteLine("after awaiting");
}

我将明确不讨论GetSomethingAsync返回的是什么。假设这是一个在2秒后就能完成的任务。

在传统的非异步环境中,你的按钮点击事件处理程序是这样的:

public void button1_Click(object sender, EventArgs e)
{
    Console.WriteLine("before waiting");
    DoSomethingThatTakes2Seconds();
    Console.WriteLine("after waiting");
}

当您单击表单中的按钮时,应用程序将冻结大约2秒,而我们等待此方法完成。结果是“消息泵”(基本上是一个循环)被阻塞了。

这个循环不断地问窗口“有人做了什么吗,比如移动了鼠标,点击了什么?”我需要重新粉刷吗?如果是,请告诉我!”然后处理这些“事情”。这个循环得到一条消息,用户点击了“button1”(或者来自Windows的等效类型的消息),并最终调用上面的button1_Click方法。在此方法返回之前,这个循环现在一直在等待。这需要2秒,在此期间,没有消息被处理。

Most things that deal with windows are done using messages, which means that if the message loop stops pumping messages, even for just a second, it is quickly noticeable by the user. For instance, if you move notepad or any other program on top of your own program, and then away again, a flurry of paint messages are sent to your program indicating which region of the window that now suddenly became visible again. If the message loop that processes these messages is waiting for something, blocked, then no painting is done.

那么,如果在第一个例子中,async/await不创建新线程,它是如何做到的呢?

你的方法被分成了两个。这是一个宽泛的主题类型的东西,所以我不会讲得太详细,但足以说明该方法分为以下两部分:

所有导致await的代码,包括对GetSomethingAsync的调用 接下来的所有代码都在等待

说明:

code... code... code... await X(); ... code... code... code...

重新安排:

code... code... code... var x = X(); await X; code... code... code...
^                                  ^          ^                     ^
+---- portion 1 -------------------+          +---- portion 2 ------+

基本上这个方法是这样执行的:

It executes everything up to await It calls the GetSomethingAsync method, which does its thing, and returns something that will complete 2 seconds in the future So far we're still inside the original call to button1_Click, happening on the main thread, called from the message loop. If the code leading up to await takes a lot of time, the UI will still freeze. In our example, not so much What the await keyword, together with some clever compiler magic, does is that it basically something like "Ok, you know what, I'm going to simply return from the button click event handler here. When you (as in, the thing we're waiting for) get around to completing, let me know because I still have some code left to execute". Actually it will let the SynchronizationContext class know that it is done, which, depending on the actual synchronization context that is in play right now, will queue up for execution. The context class used in a Windows Forms program will queue it using the queue that the message loop is pumping. So it returns back to the message loop, which is now free to continue pumping messages, like moving the window, resizing it, or clicking other buttons. For the user, the UI is now responsive again, processing other button clicks, resizing and most importantly, redrawing, so it doesn't appear to freeze. 2 seconds later, the thing we're waiting for completes and what happens now is that it (well, the synchronization context) places a message into the queue that the message loop is looking at, saying "Hey, I got some more code for you to execute", and this code is all the code after the await. When the message loop gets to that message, it will basically "re-enter" that method where it left off, just after await and continue executing the rest of the method. Note that this code is again called from the message loop so if this code happens to do something lengthy without using async/await properly, it will again block the message loop

There are many moving parts under the hood here so here are some links to more information, I was going to say "should you need it", but this topic is quite broad and it is fairly important to know some of those moving parts. Invariably you're going to understand that async/await is still a leaky concept. Some of the underlying limitations and problems still leak up into the surrounding code, and if they don't, you usually end up having to debug an application that breaks randomly for seemingly no good reason.

使用Async和Await进行异步编程(c#和Visual Basic) SynchronizationContext类 Stephen Cleary -没有一篇文章值得一读! 频道9 - Mads Torgersen: c# Async内幕值得一看!


那么,如果GetSomethingAsync启动一个将在2秒内完成的线程呢?是的,很明显有新的线索。然而,这个线程并不是因为这个方法的异步性,而是因为这个方法的程序员选择了一个线程来实现异步代码。几乎所有的异步I/O都不使用线程,它们使用不同的东西。Async /await本身不会启动新的线程,但显然“我们等待的东西”可以使用线程实现。

.NET中有许多东西不一定会自己启动线程,但仍然是异步的:

Web请求(以及许多其他需要时间的与网络相关的事情) 异步文件读写 还有更多,如果有问题的类/接口有名为SomethingSomethingAsync或BeginSomething和EndSomething的方法,并且有一个IAsyncResult涉及,这是一个好迹象。

通常这些东西在引擎盖下不使用线程。


好吧,所以你想要一些“广泛话题的东西”?

好吧,让我们问问Try Roslyn关于我们的按钮点击:

尝试Roslyn

我不打算在这里链接完整的生成类,但这是相当血腥的东西。


计算机能同时做多件事的唯一方法是(1)实际上同时做多件事,(2)通过调度任务和在任务之间切换来模拟它。如果async-await两者都不做

It's not that await does neither of those. Remember, the purpose of await is not to make synchronous code magically asynchronous. It's to enable using the same techniques we use for writing synchronous code when calling into asynchronous code. Await is about making the code that uses high latency operations look like code that uses low latency operations. Those high latency operations might be on threads, they might be on special purpose hardware, they might be tearing their work up into little pieces and putting it in the message queue for processing by the UI thread later. They're doing something to achieve asynchrony, but they are the ones that are doing it. Await just lets you take advantage of that asynchrony.

Also, I think you are missing a third option. We old people -- kids today with their rap music should get off my lawn, etc -- remember the world of Windows in the early 1990s. There were no multi-CPU machines and no thread schedulers. You wanted to run two Windows apps at the same time, you had to yield. Multitasking was cooperative. The OS tells a process that it gets to run, and if it is ill-behaved, it starves all the other processes from being served. It runs until it yields, and somehow it has to know how to pick up where it left off the next time the OS hands control back to it. Single-threaded asynchronous code is a lot like that, with "await" instead of "yield". Awaiting means "I'm going to remember where I left off here, and let someone else run for a while; call me back when the task I'm waiting on is complete, and I'll pick up where I left off." I think you can see how that makes apps more responsive, just as it did in the Windows 3 days.

调用任何方法都意味着等待该方法完成

这就是你所缺少的关键。方法可以在其工作完成之前返回。这就是异步的本质。方法返回,它返回一个任务,表示“这项工作正在进行中;完工后告诉我该做什么。”方法的工作没有完成,即使它已经返回。

在使用await操作符之前,您必须编写看起来像意大利面穿过瑞士奶酪的代码,以处理在完成之后还有工作要做,但返回和完成不同步的情况。Await允许您编写看起来像返回和完成是同步的代码,而实际上它们并没有同步。


我真的很高兴有人问这个问题,因为很长一段时间以来,我也认为线程对于并发性是必要的。当我第一次看到事件循环时,我以为它们是谎言。我对自己说:“如果这段代码在一个线程中运行,它就不可能是并发的”。请记住,这是在我已经经历了理解并发性和并行性之间区别的斗争之后。

经过我自己的研究,我终于找到了缺失的部分:select()。具体来说,IO多路复用,由不同的内核以不同的名称实现:select(), poll(), epoll(), kqueue()。这些是系统调用,尽管实现细节不同,但允许您传入一组文件描述符进行监视。然后,您可以进行另一个调用,该调用将阻塞,直到被监视的文件描述符之一发生变化。

因此,可以等待一组IO事件(主事件循环),处理第一个完成的事件,然后将控制权交还给事件循环。清洗并重复。

这是如何工作的呢?简而言之,这是内核和硬件级的魔力。计算机中除了CPU之外还有许多组件,这些组件可以并行工作。内核可以控制这些设备,并直接与它们通信以接收特定的信号。

这些IO多路复用系统调用是单线程事件循环(如node.js或Tornado)的基本构建块。当您等待一个函数时,您正在观察某个事件(该函数的完成),然后将控制权交还给主事件循环。当您正在观看的事件完成时,函数(最终)从它停止的地方开始。允许像这样暂停和恢复计算的函数称为协程。


await和异步使用任务而不是线程。

框架有一个线程池,准备以Task对象的形式执行一些工作; 向池提交任务意味着选择一个已经存在的空闲线程来调用任务 操作方法。 创建一个任务就是创建一个新对象,远远快于创建一个新线程。

如果Task可以附加一个Continuation,那么它就是一个要执行的新Task对象 一旦线程结束。

因为async/await使用任务,它们不会创建一个新的线程。


虽然中断编程技术在每个现代操作系统中都被广泛使用,但我不认为它们是 有关。 你可以让两个CPU绑定任务在一个CPU上并行执行(实际上是交错执行) aysnc /等待。 这不能简单地用操作系统支持排队IORP的事实来解释。


上次我检查了编译器将异步方法转换为DFA,工作分为几个步骤, 每一个都以等待指令结束。 await启动它的Task,并为它附加一个continuation以执行下一个任务 的一步。

作为一个概念示例,下面是一个伪代码示例。 为了清晰起见,事情被简化了,因为我不记得所有的细节。

method:
   instr1                  
   instr2
   await task1
   instr3
   instr4
   await task2
   instr5
   return value

它会变成这样

int state = 0;

Task nextStep()
{
  switch (state)
  {
     case 0:
        instr1;
        instr2;
        state = 1;

        task1.addContinuation(nextStep());
        task1.start();

        return task1;

     case 1:
        instr3;
        instr4;
        state = 2;

        task2.addContinuation(nextStep());
        task2.start();

        return task2;

     case 2:
        instr5;
        state = 0;

        task3 = new Task();
        task3.setResult(value);
        task3.setCompleted();

        return task3;
   }
}

method:
   nextStep();

1实际上,一个池可以有自己的任务创建策略。


我不打算和Eric Lippert或者Lasse V. Karlsen等人竞争,我只是想让大家注意这个问题的另一个方面,我想这个问题没有明确提到。

单独使用await并不能让你的应用神奇地做出响应。如果不管你在方法中做什么,你正在等待的UI线程阻塞,它仍然会阻塞你的UI,就像不可等待的版本一样。

你必须编写你的awaitable方法,以便它产生一个新线程或使用一个完成端口之类的东西(它将在当前线程中返回执行,并在完成端口收到信号时调用其他东西来继续)。但这部分在其他答案中有很好的解释。


实际上,异步等待链是由CLR编译器生成的状态机。

async await使用的线程是TPL使用线程池执行任务的线程。

应用程序没有被阻塞的原因是状态机可以决定执行哪个协同例程、重复、检查并再次决定。

进一步阅读:

异步和等待生成什么?

异步等待和生成的状态机

异步c#和f# (III.):它是如何工作的?-托马斯·佩特里塞克

编辑:

好的。看来我的阐述是不正确的。然而,我必须指出,状态机是异步等待的重要资产。即使你采用异步I/O,你仍然需要一个助手来检查操作是否完成,因此我们仍然需要一个状态机,并确定哪些例程可以一起异步执行。


以下是我对这一切的看法,它在技术上可能不是超级准确,但至少对我有帮助:)。

机器上基本上有两种类型的处理(计算):

发生在CPU上的处理 在其他处理器(GPU,网卡等)上发生的处理,让我们称之为IO。

因此,当我们编写一段源代码时,在编译之后,根据我们使用的对象(这是非常重要的),处理将受到CPU或IO的限制,事实上,它可以绑定到两者的组合。

一些例子:

如果我使用FileStream对象(它是一个流)的Write方法,处理将会说,1%的CPU绑定和99%的IO绑定。 如果我使用NetworkStream对象(它是一个流)的写方法,处理将会说,1%的CPU绑定,和99%的IO绑定。 如果我使用Memorystream对象(这是一个流)的写方法,处理将是100% CPU的限制。

因此,如您所见,从面向对象程序员的角度来看,尽管我总是访问Stream对象,但下面发生的事情可能在很大程度上取决于对象的最终类型。

现在,为了优化事情,如果可能和/或必要的话,有时能够并行运行代码(注意我不使用异步这个词)是有用的。

一些例子:

在桌面应用程序中,我想打印一个文档,但我不想等待它。 我的web服务器同时为许多客户端提供服务,每个客户端并行获取他的页面(不是序列化的)。

在async / await之前,我们基本上有两个解决方案:

线程。它相对容易使用,有Thread和ThreadPool类。线程只受CPU限制。 “旧的”Begin/End/AsyncCallback异步编程模型。这只是一个模型,它并没有告诉你你将会受到CPU或IO的限制。如果你看一下Socket或FileStream类,它是IO绑定的,这很酷,但我们很少使用它。

async / await只是一个基于Task概念的通用编程模型。对于CPU绑定的任务,它比线程或线程池更容易使用,而且比旧的Begin/End模型更容易使用。 然而,它“只是”一个超级复杂的功能齐全的包装。

因此,真正的胜利主要是在IO绑定任务上,不使用CPU的任务,但async/await仍然只是一个编程模型,它不能帮助你确定处理最终如何/在哪里发生。

这意味着它不是因为一个类有一个方法“DoSomethingAsync”返回一个任务对象,你可以假设它将是CPU绑定(这意味着它可能非常无用,特别是如果它没有取消令牌参数),或IO绑定(这意味着它可能是必须的),或两者的组合(因为模型是相当病毒式传播的,绑定和潜在的好处可以,最终,超级混合,不那么明显)。

所以,回到我的例子,在MemoryStream上使用async/await进行写操作将保持CPU限制(我可能不会从中受益),尽管我肯定会从文件和网络流中受益。


总结其他答案:

Async/await通常是为IO绑定任务创建的,因为通过使用它们,调用线程不需要被阻塞。这在UI线程的情况下特别有用,因为我们可以确保它们在执行后台操作时保持响应(比如从远程服务器获取数据)。

Async不创建自己的线程。调用方法的线程用于执行异步方法,直到它找到一个可等待对象。然后,同一线程继续执行异步方法调用之外的调用方法的其余部分。注意,在被调用的async方法中,从awaitable返回后,该方法的提醒可以使用线程池中的线程执行——这是唯一出现单独线程的地方。


我试着从下往上解释。也许有人会觉得有用。 我在那里,做了,重新发明了它,在DOS和Pascal中制作简单的游戏(好旧时光…)

所以…每个事件驱动的应用程序内部都有一个类似这样的事件循环:

while (getMessage(out message)) // pseudo-code
{
   dispatchMessage(message); // pseudo-code
}

框架通常对您隐藏这个细节,但它确实存在。 getMessage函数从事件队列中读取下一个事件或等待事件发生:鼠标移动、按下键、按上键、单击等等。然后dispatchMessage将事件分派给适当的事件处理程序。 然后等待下一个事件,依此类推,直到退出事件出现,退出循环并完成应用程序。

事件处理程序应该快速运行,以便事件循环可以轮询更多事件,并且UI保持响应性。 如果单击按钮触发了这样昂贵的操作,会发生什么?

void expensiveOperation()
{
    for (int i = 0; i < 1000; i++)
    {
        Thread.Sleep(10);
    }
}

UI变得无响应,直到10秒操作结束,因为控件停留在函数中。 要解决这个问题,您需要将任务分解为可以快速执行的小部分。 这意味着您不能在一个事件中处理整个事件。 您必须完成一小部分工作,然后将另一个事件发布到事件队列以请求继续。

所以你可以把它改成:

void expensiveOperation()
{
    doIteration(0);
}

void doIteration(int i)
{
    if (i >= 1000) return;
    Thread.Sleep(10); // Do a piece of work.
    postFunctionCallMessage(() => {doIteration(i + 1);}); // Pseudo code. 
}

在这种情况下,只运行第一次迭代,然后它将消息发送到事件队列以运行下一次迭代并返回。 我们的示例postFunctionCallMessage伪函数在队列中放置了一个“调用此函数”事件,因此事件调度程序将在到达队列时调用它。 这允许在连续运行长时间运行的工作的片段的同时处理所有其他GUI事件。

As long as this long running task is running, its continuation event is always in the event queue. So you basically invented your own task scheduler. Where the continuation events in the queue are "processes" that are running. Actually this what operating systems do, except that the sending of the continuation events and returning to the scheduler loop is done via the CPU's timer interrupt where the OS registered the context switching code, so you don't need to care about it. But here you are writing your own scheduler so you do need to care about it - so far.

So we can run long running tasks in a single thread parallel with the GUI by breaking up them into small chunks and sending continuation events. This is the general idea of the Task class. It represents a piece of work and when you call .ContinueWith on it, you define what function to call as the next piece when the current piece finishes (and its return value is passed to the continuation). But doing all this chaining splitting up work into small pieces manually is a cumbersome work and totally messes up the layout of the logic, because the entire background task code basically a .ContinueWith mess. So this is where the compiler helps you. It does all this chaining and continuation for you under the hood. When you say await you tell the compiler that "stop here, add the rest of the function as a continuation task". The compiler takes care of the rest, so you don't have to.

虽然这个任务块链接不涉及创建线程,并且当任务块很小时,它们可以在主线程的事件循环上调度,但实际上有一个工作线程池来运行任务。这允许更好地利用CPU内核,还允许开发人员运行手动编写的长任务(这会阻塞工作线程而不是主线程)。


这并没有直接回答问题,但我认为它提供了一些有趣的额外信息:

Async和await本身不会创建新线程。但是根据你在哪里使用async-await,在await之前的同步部分可以运行在不同的线程上,而在await之后的同步部分则可以运行在不同的线程上(例如ASP。NET和ASP。NET核心表现不同)。

在基于ui线程的应用程序(WinForms, WPF)中,您将在之前和之后处于同一个线程上。但是当您在线程池线程上使用async-await时,await之前和await之后的线程可能不相同。

关于这个话题的一个很棒的视频