并发编程关注的是看似重叠的操作，主要关注的是由于非确定性控制流而产生的复杂性。与并发程序相关的定量成本通常是吞吐量和延迟。并发程序通常受IO限制，但并不总是如此，例如并发垃圾收集器完全在CPU上。并发程序的教学示例是网络爬虫。该程序启动对网页的请求，并在下载结果可用时同时接受响应，从而累积一组已访问的网页。控制流是非确定性的，因为每次运行程序时，响应不一定以相同的顺序接收。这种特性会使调试并发程序变得非常困难。有些应用程序基本上是并发的，例如web服务器必须同时处理客户端连接。Erlang可能是未来最有前途的高度并发编程语言。并行编程涉及为提高吞吐量的特定目标而重叠的操作。通过使控制流具有确定性，避免了并发编程的困难。通常，程序生成并行运行的子任务集，父任务仅在每个子任务完成后才继续。这使得并行程序更容易调试。并行编程的难点是针对粒度和通信等问题的性能优化。后者在多核环境中仍然是一个问题，因为将数据从一个缓存传输到另一个缓存会产生相当大的成本。密集矩阵矩阵乘法是并行编程的一个教学示例，它可以通过使用Straasen的分治算法和并行攻击子问题来有效地解决。Cilk可能是共享内存计算机（包括多核）上最有前途的高性能并行编程语言。

从我的回答中复制：https://stackoverflow.com/a/3982782

它们解决不同的问题。并发性解决了CPU资源稀缺和任务多的问题。因此，您可以通过代码创建线程或独立的执行路径，以便在稀缺资源上共享时间。直到最近，由于CPU的可用性，并发性一直是讨论的焦点。

并行性解决了找到足够的任务和适当的任务（可以正确分割的任务）并将它们分配到大量的CPU资源上的问题。当然，并行性一直都存在，但由于多核处理器非常便宜，所以它正走到最前沿。

同意：具有共享资源潜力的多个执行流

前任：两个线程竞争I/O端口。

视差：将问题分成多个相似的块。

前任：通过对文件的每一半运行两个进程来解析大文件。

摘自Robert Love的《Linux系统编程》一书：

并发、并行和竞争线程创建两个相关但不同的现象：并发和相似两者都是苦乐参半的，涉及线程的成本以及它的好处。并发是两个或两个以上的能力要在重叠的时间段中执行的线程。平行度为同时执行两个或多个线程的能力。并发可以在没有并行性的情况下发生：例如，多任务处理在单处理器系统上。并行性（有时强调为真正的并行性）是一种特殊的并发形式，需要多个处理器（或一个能够支持多个引擎的处理器例如GPU）。通过并发，多个线程可以但不一定同时进行。具有并行，线程实际上并行执行，允许多线程程序以利用多个处理器。并发是一种编程模式，一种解决问题的方法。并行性是一种硬件特性，可以通过并发实现。两者都很有用。

这一解释与公认的答案一致。事实上，这些概念远比我们想象的简单。不要认为它们是魔法。并发大约是一段时间，而并行大约是同时进行的。

“并发”是指同时做任何事情。它们可能是不同的东西，也可能是相同的东西。尽管缺乏公认的答案，但这并不是关于“看起来是在同一时间”，而是真的在同一个时间。您需要多个CPU内核，或者在一个主机内使用共享内存，或者在不同主机上使用分布式内存，以运行并发代码。例如，同时并发运行的3个不同任务的流水线：Task-level-2必须等待Task-level-1完成的单元，而Task-level-3必须等待Task-level-2完成的工作单元。另一个例子是1-生产者与1-消费者的并发；或许多生产者和1-消费者；读者和作家；等

“并行”是指同时做相同的事情。它是并发的，但更重要的是，它是在同一时间发生的相同行为，最典型的是在不同的数据上。矩阵代数通常可以并行化，因为您有重复运行的相同操作：例如，可以使用相同的行为（和）在不同的列上同时计算矩阵的列和。在可用的处理器核之间划分（拆分）列是一种常见的策略，这样每个处理器核处理的工作量（列数）就接近相同。另一种拆分工作的方法是一袋一袋的任务，完成工作的员工会回到经理那里，经理会将工作分配出去，并动态地分配更多的工作，直到所有工作都完成。票务算法是另一种。

不仅仅是数字代码可以并行化。文件太频繁可以并行处理。在自然语言处理应用程序中，对于数百万个文档文件中的每一个，您可能需要计算文档中标记的数量。这是并行的，因为您正在计算每个文件的令牌，这是相同的行为。

换句话说，并行是指同时执行相同的行为。并发意味着同时，但不一定是相同的行为。并行是一种特殊类型的并发，在同一时间发生相同的事情。

例如，术语将包括原子指令、关键部分、互斥、旋转等待、信号量、监视器、屏障、消息传递、map reduce、心跳、铃声、票务算法、线程、MPI、OpenMP。

格雷戈里·安德鲁斯（Gregory Andrews）的著作是关于多线程、并行和分布式编程的顶级教科书。

并发是编程术语。它是关于多个任务的，这些任务开始运行并以无特定顺序在重叠的时间段内完成。并发性由操作系统管理。当多个线程想要访问同一资源时，线程会遇到竞争条件问题。此外，它们还存在死锁，彼此等待，阻止自己运行。例如，你想一边吃饭一边说话。首先你需要吞下嘴里的食物或停止咀嚼，然后你可以说话（你在划水），说话后你可以再咬一口。

并行性是一个硬件术语。它是关于在具有多个计算资源（如多核处理器）的硬件上同时运行的多个任务。如果你能在咀嚼食物时说话，这将是平行的。平行的一个例子是，一个人可以同时唱歌和跳舞。