“并发”是指同时做任何事情。它们可能是不同的东西，也可能是相同的东西。尽管缺乏公认的答案，但这并不是关于“看起来是在同一时间”，而是真的在同一个时间。您需要多个CPU内核，或者在一个主机内使用共享内存，或者在不同主机上使用分布式内存，以运行并发代码。例如，同时并发运行的3个不同任务的流水线：Task-level-2必须等待Task-level-1完成的单元，而Task-level-3必须等待Task-level-2完成的工作单元。另一个例子是1-生产者与1-消费者的并发；或许多生产者和1-消费者；读者和作家；等

“并行”是指同时做相同的事情。它是并发的，但更重要的是，它是在同一时间发生的相同行为，最典型的是在不同的数据上。矩阵代数通常可以并行化，因为您有重复运行的相同操作：例如，可以使用相同的行为（和）在不同的列上同时计算矩阵的列和。在可用的处理器核之间划分（拆分）列是一种常见的策略，这样每个处理器核处理的工作量（列数）就接近相同。另一种拆分工作的方法是一袋一袋的任务，完成工作的员工会回到经理那里，经理会将工作分配出去，并动态地分配更多的工作，直到所有工作都完成。票务算法是另一种。

不仅仅是数字代码可以并行化。文件太频繁可以并行处理。在自然语言处理应用程序中，对于数百万个文档文件中的每一个，您可能需要计算文档中标记的数量。这是并行的，因为您正在计算每个文件的令牌，这是相同的行为。

换句话说，并行是指同时执行相同的行为。并发意味着同时，但不一定是相同的行为。并行是一种特殊类型的并发，在同一时间发生相同的事情。

例如，术语将包括原子指令、关键部分、互斥、旋转等待、信号量、监视器、屏障、消息传递、map reduce、心跳、铃声、票务算法、线程、MPI、OpenMP。

格雷戈里·安德鲁斯（Gregory Andrews）的著作是关于多线程、并行和分布式编程的顶级教科书。

在电子学中，串行和并行表示一种静态拓扑，决定电路的实际行为。当没有并发时，并行性是确定性的。

为了描述动态的、与时间相关的现象，我们使用了术语顺序和并发。例如，可以通过特定的任务序列（例如配方）获得特定的结果。当我们与某人交谈时，我们会产生一系列单词。然而，在现实中，许多其他过程在同一时刻发生，因此，与某一行动的实际结果一致。如果很多人在同一时间谈话，同时进行的谈话可能会干扰我们的顺序，但这种干扰的结果事先不知道。并发性引入了不确定性。

串行/并行和顺序/并行表征是正交的。数字通信就是一个例子。在串行适配器中，数字消息沿同一通信线路（例如，一根电线）临时（即顺序）分布。在并行适配器中，这也在并行通信线路（例如多条电线）上进行划分，然后在接收端进行重构。

让我们想象一个有9个孩子的游戏。如果我们将它们作为一条链处理，在开始时发送消息，在结束时接收消息，我们将进行串行通信。更多的单词组成了一系列的交流单元。

I like ice-cream so much. > X > X > X > X > X > X > X > X > X > ....

这是在串行基础结构上复制的顺序过程。

现在，让我们想象一下，把孩子们分成三组。我们把这个短语分成三部分，第一部分给左边的孩子，第二部分给中心线的孩子，等等。

I like ice-cream so much. > I like    > X > X > X > .... > ....
                          > ice-cream > X > X > X > ....
                          > so much   > X > X > X > ....

这是一个在并行基础结构上复制的顺序过程（尽管仍部分序列化）。

在这两种情况下，假设孩子之间有完美的沟通，结果会提前确定。

如果有其他人与您同时与第一个孩子交谈，那么我们将同时进行处理。我们不知道基础设施将考虑哪个过程，因此最终结果尚未提前确定。

我将尝试用一个有趣且易于理解的示例进行解释。：）

假设一个组织组织了一场国际象棋比赛，10名棋手（棋艺相同）将挑战一名职业冠军棋手。由于国际象棋是一场1:1的比赛，因此组织者必须以高效的方式进行10场比赛，以便尽快完成整个比赛。

希望以下场景能够轻松描述进行这10场比赛的多种方式：

1） 串行-让我们假设专业人员与每个人逐一进行游戏，即与一个人开始和结束游戏，然后与下一个人开始下一场游戏，依此类推。换句话说，他们决定按顺序进行游戏。因此，如果一场比赛需要10分钟才能完成，那么10场比赛将需要100分钟，同样假设从一场比赛到另一场比赛的过渡需要6秒，那么对于10场比赛，则需要54秒（约1分钟）。

因此整个活动将在101分钟内完成（最差进场）

2） 同时-让我们假设职业球员轮到下一个球员，所以所有10名球员同时上场，但职业球员不是一次两个人，他轮到下一个人上场。现在假设一名职业球员需要6秒才能轮到他，而一名职业选手与两名选手的转换时间为6秒，那么回到第一名选手的总转换时间为1分钟（10x6秒）。因此，当他回到第一个与他一起开始比赛的人身边时，已经过去了2分钟（10xtime_per_turn_by-campion+10xtransition_time=2分钟）

假设所有玩家都需要45秒才能完成他们的回合，那么根据SERIAL事件的每场10分钟，游戏结束前的回合数应为600/（45+6）=11回合（约）

因此，整个事件将在11xtime_per_turn_by-player_&_champion+11xtransition_time_across_10_players=11x51+11x60sec=561+660=1221sec=20.35min（大约）内完成

从101分钟提高到20.35分钟（更好的方法）

3） 平行-假设组织者获得了一些额外的资金，因此决定邀请两名职业冠军选手（两人能力相同），并将同一组10名选手（挑战者）分成两组，每组5人，并将他们分配给两名冠军，即每组一人。现在，赛事在这两组比赛中并行进行，即至少有两名选手（每组一名）与各自组的两名职业选手进行比赛。

然而，在该组中，职业选手一次只带一名选手（即按顺序），因此无需任何计算，您可以很容易地推断出整个比赛将在101/2=50.5分钟内完成

看到从101分钟到50.5分钟的进步（好方法）

4） 并发+并行-在上述场景中，假设两名冠军选手将与各自组中的5名选手同时比赛（读第二分），因此现在跨组的比赛是并行运行的，但在组内，他们是同时运行的。

因此，一组游戏将在11xtime_per_turn_by-playerer_&_champion+1extransition_time_across_5_layers=11x51+11x30=600+330=930秒=15.5分钟（大约）内完成

因此，整个活动（包括两个这样的平行跑步组）大约将在15.5分钟内完成

看到从101分钟到15.5分钟的改进（最佳方法）

注意：在上述场景中，如果您用10个类似的工作替换10个玩家，用两个CPU核心替换两个职业玩家，则以下顺序仍然正确：

串行>并行>并发>并发+并行

（注意：此顺序可能会因其他情况而改变，因为此顺序高度依赖于作业之间的相互依赖性、作业之间的通信需求以及作业之间的转换开销）

并发性=>在共享资源的重叠时间段内执行多个任务时（可能最大化资源利用率）。

并行=>当单个任务被划分为可以同时执行的多个简单的独立子任务时。

并行编程执行有两种类型：非并行并行编程和并行并行编程（也称为并行）。

关键的区别在于，在人类看来，非并行并发中的线程似乎同时运行，但实际上它们并不运行。在非并行并发中，线程通过时间切片快速切换并轮流使用处理器。虽然并行有多个处理器可用，但多个线程可以同时在不同的处理器上运行。

参考文献：编程语言中的并发简介

我非常喜欢Paul Butcher对这个问题的回答（他是《七周内的七个并发模型》的作者）：

虽然它们经常被混淆，但并行性和并发性是不同的事情。并发性是问题域的一个方面代码需要同时处理多个（或接近同时）事件。相反，并行性是解决方案的一个方面您希望通过处理使程序运行更快的域并行处理问题的不同部分。有些方法是适用于并发，有些适用于并行，有些则适用于两者。了解您面临的问题，并选择合适的工具工作