我一直在重读Docker文档,试图理解Docker和完整VM之间的区别。它是如何设法提供一个完整的文件系统、隔离的网络环境等而不那么沉重的?

为什么将软件部署到Docker映像(如果这是正确的术语)比简单地部署到一致的生产环境更容易?


当前回答

容器将库和软件包与系统隔离,以便您可以安装相同软件和库的不同版本而不发生冲突。它使用最小的存储空间和内存,使用相同的基本操作系统内核和可用的库几乎没有开销,如果可能的话,差异很小。您可以直接或间接地将硬件暴露给容器,以便可以使用加速(如gpu)进行计算。

在实践中,您可以使用预制容器的docker。您可以安装它们并在一条线上运行它们。安装tensorflow gpu和docker run-it tensorflow gpu一样简单。虽然我没有偶然发现许多lxd(lxc容器)的预制容器,但我发现它们更容易定制,更稳定和性能更好。

容器和VM都可以用来分配负载。但由于容器几乎没有开销,因此容器管理软件专注于创建容器集群,以便您轻松地将它们(从而将负载)分配给金属机器。

真实生活示例:

假设您需要50多种类型的计算环境和50种类型的服务,如mysql、网络托管和基于云的服务(如jenkins和对象存储),并且您有50多种不同的裸机服务器。这是一个典型的学院环境。您需要高效地使用资源,并且需要高可用性。当一台服务器停机时,用户应该不会遇到任何问题。为了解决这个问题,您所做的基本上是在所有服务器上安装所有类型的容器。并将负载分配给所有金属机器。当一种类型的容器需要更多时,可以在一台或多台裸机上自动生成更多容器。因此,许多不同的用户可以连续灵活地使用不同的服务和环境。

在该设置中,假设有100名学生同时使用该系统。其中95人使用服务器进行基本服务,如检查GPA、课程、图书馆数据库等,但其中5人正在进行5种不同类型的工程模拟。您将看到49台裸机服务器完全专用于工程仿真,每台服务器都有5种不同类型的计算容器,每种计算容器都与之相匹配,但与20%的硬件资源使用相平衡。当你为基本任务增加2500名学生时,这将使用所有裸机的5%。其余部分将用于计算。

因此,提供这种灵活性优势的容器最重要的区别特征是:

准备好部署预制容器,几乎没有开销,可快速繁殖具有实时可调整配额

使用.cpu_allowencess、.ram_allowances或直接cgroup。Kubernetes为您提供所有这些服务。在摆弄了docker和lxd之后,你可能想看看它。

其他回答

Feature Virtual Machine (Docker) Containers
OS Each VM Does contains an Operating System Each Docker Container Does Not contains an Operating System
H/W Each VM contain a virtual copy of the hardware that OS requires to run. There is No virtualization of H/W with containers
Weight VM's are heavy -- reason sited above-- containers are lightweight and, thus, fast
Required S/W Virtuliazation achieve using software called a hypervisor Containerzation achieve using software called a Docker
Core Virtual machines provide virtual hardware (or hardware on which an operating system and other programs can be installed) Docker containers don’t use any hardware virtualization. **It helps to use container
Abstraction Virtual machines provide hardware abstractions so you can run multiple operating systems. Containers provide OS abstractions so you can run multiple containers.
Boot-Time It takes a long time (often minutes) to create and require significant resource overhead because they run a whole operating system in addition to the software you want to use. It takes less time because Programs running inside Docker containers interface directly with the host’s Linux kernel.

通过这篇文章,我们将描绘虚拟机和LXC之间的一些区别。让我们先定义它们。

VM:

虚拟机模拟物理计算环境,但对CPU、内存、硬盘、网络和其他硬件资源的请求由虚拟化层管理,虚拟化层将这些请求转换为底层物理硬件。

在此上下文中,VM称为来宾,而其运行的环境称为主机。

LXC:

Linux容器(LXC)是操作系统级的功能,可以在一个控制主机(LXC主机)上运行多个独立的Linux容器。Linux容器是VM的轻量级替代品,因为它们不需要虚拟机管理程序,即Virtualbox、KVM、Xen等。

现在,除非你被艾伦(Zach Galifianakis,来自《宿醉》系列)麻醉,并在拉斯维加斯呆了一年,否则你会非常清楚Linux容器技术的巨大兴趣,如果我具体说一下,在过去几个月里在世界各地引起轰动的一个容器项目是Docker,它引发了一些回响,认为云计算环境应该放弃虚拟机(VM),并将其替换为容器,因为它们的开销更低,性能可能更好。

但最大的问题是,它可行吗?,这明智吗?

a.LXC的作用域是Linux的一个实例。它可能是不同风格的Linux(例如CentOS主机上的Ubuntu容器,但它仍然是Linux。)类似地,如果我们查看VM,基于Windows的容器现在被限定为Windows的一个实例,它们的范围非常广,并且使用管理程序,您不限于操作系统Linux或Windows。

b.与虚拟机相比,LXC开销低,性能更好。基于LXC技术构建的工具,即Docker,为开发人员提供了运行应用程序的平台,同时也为运营人员提供了一个工具,允许他们在生产服务器或数据中心上部署相同的容器。它试图让运行应用程序、启动和测试应用程序的开发人员与部署该应用程序的操作人员之间的体验无缝衔接,因为这是所有摩擦的所在,DevOps的目的是打破这些孤岛。

因此,最好的方法是云基础设施提供商应该提倡适当使用VM和LXC,因为它们都适合处理特定的工作负载和场景。

到目前为止,放弃虚拟机并不现实。因此,VM和LXC都有各自的存在和重要性。

我喜欢肯·科克伦的回答。

但我想补充一点观点,这里没有详细介绍。在我看来,Docker在整个过程中也有所不同。与虚拟机不同,Docker不仅仅是硬件的最佳资源共享,而且它还为打包应用程序提供了一个“系统”(作为一组微服务是可取的,但不是必须的)。

对我来说,它正好填补了面向开发人员的工具(如rpm、Debian包、Maven、npm+Git)与操作工具(如Puppet、VMware、Xen)之间的差距,你可以这么说。。。

为什么将软件部署到docker映像(如果这是正确的术语)比简单地部署到一致的生产环境更容易?

您的问题假定了某种一致的生产环境。但如何保持一致?考虑一些数量(>10)的服务器和应用程序,这是管道中的阶段。

为了保持同步,您将开始使用类似木偶、厨师或您自己的供应脚本、未发布的规则和/或大量文档。。。理论上,服务器可以无限期运行,并保持完全一致和最新。实践无法完全管理服务器的配置,因此存在很大的配置漂移和运行服务器的意外更改空间。

因此,有一种已知的模式可以避免这种情况,即所谓的不可变服务器。但不可变的服务器模式并不受欢迎。主要是因为Docker之前使用的VM的限制。处理几个千兆字节的大图像,移动这些大图像,只是为了改变应用程序中的一些字段,这是非常费力的。可以理解。。。

有了Docker生态系统,你永远不需要在“小改动”上移动千兆字节(感谢aufs和Registry),也不必担心在运行时将应用程序打包到Docker容器中会导致性能下降。您不必担心该图像的版本。

最后,即使在您的Linux笔记本电脑上,您也可以经常复制复杂的生产环境(如果在您的情况下不起作用,请不要打电话给我;)

当然,您可以在VM中启动Docker容器(这是一个好主意)。减少VM级别的服务器资源调配。所有这些都可以由Docker管理。

同时Docker使用自己的实现“libcontainer”而不是LXC。但LXC仍然可用。

关于:-

“为什么将软件部署到docker映像比简单部署到一致的生产环境?"

大多数软件都部署到许多环境中,通常至少部署以下三种环境:

个人开发者PC共享开发人员环境单个测试仪PC共享测试环境QA环境UAT环境负载/性能测试实时登台生产档案文件

还需要考虑以下因素:

根据工作的性质,开发人员,甚至测试人员,都将拥有微妙的或完全不同的PC配置开发人员通常可以在公司或企业标准化规则无法控制的PC上进行开发(例如,在自己的机器上开发的自由职业者(通常是远程开发的),或未“受雇”或“签约”以某种方式配置其PC的开源项目的贡献者)某些环境将由负载平衡配置中的固定数量的多台计算机组成许多生产环境将根据流量级别动态(或“弹性”)创建和销毁基于云的服务器

正如你所看到的,一个组织的服务器总数很少是一位数,通常是三位数,而且很容易更高。

这一切都意味着,仅仅因为巨大的容量(即使是在绿地场景中),首先创建一致的环境就已经足够困难了,但鉴于服务器数量众多、新服务器的添加(动态或手动)、o/s供应商、防病毒供应商、浏览器供应商等的自动更新,由开发人员或服务器技术人员执行的手动软件安装或配置更改等。让我重复一遍-保持环境一致几乎是不可能的(没有双关语)(好吧,对于纯粹主义者来说,这是可以做到的,但这需要大量的时间、精力和纪律,这正是为什么VM和容器(例如Docker)最初被设计出来的原因)。

因此,请更像这样思考您的问题:“鉴于保持所有环境一致性的极端困难,即使考虑到学习曲线,将软件部署到docker映像中是否更容易?”。我想你会发现答案总是“是”——但只有一种方法可以找到,在Stack Overflow上发布这个新问题。

了解虚拟化和容器如何在低级别上工作可能会有所帮助。这将澄清很多事情。

注意:我在下面的描述中简化了一点。有关详细信息,请参阅参考文献。

虚拟化如何在低级别工作?

在这种情况下,VM管理器接管CPU环0(或较新CPU中的“根模式”),并拦截来宾操作系统发出的所有特权调用,以产生来宾操作系统拥有自己硬件的错觉。有趣的事实:在1998年之前,人们认为在x86架构上实现这一点是不可能的,因为没有办法进行这种拦截。VMware的员工是第一个有想法重写内存中的可执行字节以供来宾操作系统的特权调用来实现这一点的人。

其净效果是虚拟化允许您在同一硬件上运行两个完全不同的操作系统。每个来宾操作系统都要经过引导、加载内核等所有过程。例如,来宾操作系统无法完全访问主机操作系统或其他来宾操作系统,从而造成混乱。

容器如何在低液位下工作?

2006年左右,包括谷歌员工在内的一些人实现了一个名为名称空间的新内核级功能(然而,这个想法早就存在于FreeBSD中)。操作系统的一个功能是允许在进程之间共享网络和磁盘等全局资源。如果这些全局资源被包装在命名空间中,以便它们只对在同一命名空间中运行的那些进程可见,该怎么办?例如,您可以获取一块磁盘并将其放在命名空间X中,然后在命名空间Y中运行的进程无法看到或访问它。同样,命名空间X中的进程无法访问分配给命名空间Y的内存中的任何内容。当然,X中的程序无法看到或与命名空间Y中的进程对话。这为全局资源提供了一种虚拟化和隔离。Docker是这样工作的:每个容器都在自己的命名空间中运行,但使用与所有其他容器完全相同的内核。之所以发生隔离,是因为内核知道分配给进程的命名空间,并且在API调用期间,它确保进程只能访问自己命名空间中的资源。

容器与虚拟机的局限性现在应该很明显:你不能像虚拟机那样在容器中运行完全不同的操作系统。但是,您可以运行不同的Linux发行版,因为它们共享相同的内核。隔离级别不如VM中的隔离级别强。事实上,在早期的实现中,“来宾”容器可以接管主机。您还可以看到,当您加载一个新容器时,OS的整个新副本并不像在VM中那样启动。所有容器共享同一内核。这就是为什么集装箱重量轻。与VM不同的是,您不必为容器预先分配大量内存,因为我们没有运行新的OS副本。这允许在一个操作系统上运行数千个容器,同时对它们进行装箱,如果我们在它们自己的VM中运行操作系统的单独副本,这可能是不可能的。