并发与并行

Rob Pike在《并发不是并行性》中

并发是指同时处理许多事情。

并行是指同时做很多事情。

[并发理论]

并发-一次处理多个任务并行性-一次处理多个线程

我对并发性和并行性的看法

[同步与异步][Swift并发]

并发编程关注的是看似重叠的操作，主要关注的是由于非确定性控制流而产生的复杂性。与并发程序相关的定量成本通常是吞吐量和延迟。并发程序通常受IO限制，但并不总是如此，例如并发垃圾收集器完全在CPU上。并发程序的教学示例是网络爬虫。该程序启动对网页的请求，并在下载结果可用时同时接受响应，从而累积一组已访问的网页。控制流是非确定性的，因为每次运行程序时，响应不一定以相同的顺序接收。这种特性会使调试并发程序变得非常困难。有些应用程序基本上是并发的，例如web服务器必须同时处理客户端连接。Erlang可能是未来最有前途的高度并发编程语言。并行编程涉及为提高吞吐量的特定目标而重叠的操作。通过使控制流具有确定性，避免了并发编程的困难。通常，程序生成并行运行的子任务集，父任务仅在每个子任务完成后才继续。这使得并行程序更容易调试。并行编程的难点是针对粒度和通信等问题的性能优化。后者在多核环境中仍然是一个问题，因为将数据从一个缓存传输到另一个缓存会产生相当大的成本。密集矩阵矩阵乘法是并行编程的一个教学示例，它可以通过使用Straasen的分治算法和并行攻击子问题来有效地解决。Cilk可能是共享内存计算机（包括多核）上最有前途的高性能并行编程语言。

从我的回答中复制：https://stackoverflow.com/a/3982782

我非常喜欢Paul Butcher对这个问题的回答（他是《七周内的七个并发模型》的作者）：

虽然它们经常被混淆，但并行性和并发性是不同的事情。并发性是问题域的一个方面代码需要同时处理多个（或接近同时）事件。相反，并行性是解决方案的一个方面您希望通过处理使程序运行更快的域并行处理问题的不同部分。有些方法是适用于并发，有些适用于并行，有些则适用于两者。了解您面临的问题，并选择合适的工具工作

我认为在这个问题上有两种不同的观点导致了混淆：程序员的观点（并发/并行编程）与计算机/操作系统的观点（并行/并行执行）。

这里回答了计算机的观点。

程序员的观点：

并发编程：程序员编写代码时知道代码将由多个线程执行，无论出于何种原因。原因可能是：在等待I/O时更好地利用CPU，通过不同线程处理Web请求，通过在独立于主线程的线程中运行计算，运行周期性后台任务，使GUI做出响应。程序员必须应用互斥构造、锁定/解锁、等待条件/信号、处理死锁等。多个线程可以在单个处理器/内核上运行（从计算机的角度来看是并发的），也可以在多个内核上运行。

并行编程：程序员知道程序将在具有多个处理器/内核的计算机上运行，并希望利用多个内核。程序员将CPU密集型计算划分为多个子任务，在一个线程中运行每个子任务，一旦线程完成，其结果将合并为总结果（分而治之）。例如，将一些矩阵处理代码划分为并行处理矩阵部分的任务。每个核心将使用子任务执行一个线程（如果线程数大于内核数，则同时执行多个线程）。程序员也必须在这里应用并发的编程构造，但她也关注将任务划分为子任务并合并结果。例如，在Java中，程序员可以使用ParallelStreams来分割数据并自动合并结果。如果程序员知道程序将在单核处理器上执行，那么将CPU密集型任务拆分为多个线程是没有好处的。摘自Doug Leah的《Java并发编程：设计原则和模式》，1999年第2版，第343页：

并行程序专门设计为利用多个CPU来解决计算密集型问题。

并行编程执行有两种类型：非并行并行编程和并行并行编程（也称为并行）。

关键的区别在于，在人类看来，非并行并发中的线程似乎同时运行，但实际上它们并不运行。在非并行并发中，线程通过时间切片快速切换并轮流使用处理器。虽然并行有多个处理器可用，但多个线程可以同时在不同的处理器上运行。

参考文献：编程语言中的并发简介

通过查阅字典，你可以看到并发（来自拉丁语）意味着一起运行、聚合、同意；因此，需要同步，因为在相同的资源上存在竞争。平行（来自希腊语）的意思是在侧面复制；从而在同一时间做同样的事情。