背景

The blame for the issue can be split between our misconfiguration of container volumes, and a problem with docker leaking (failing to release) temporary data written to these volumes. We should be mapping (either to host folders or other persistent storage claims) all of out container's temporary / logs / scratch folders where our apps write frequently and/or heavily. Docker does not take responsibility for the cleanup of all automatically created so-called EmptyDirs located by default in /var/lib/docker/overlay2/*/diff/*. Contents of these "non-persistent" folders should be purged automatically by docker after container is stopped, but apparently are not (they may be even impossible to purge from the host side if the container is still running - and it can be running for months at a time).

解决方案

解决方案需要仔细的手动清理，虽然已经在其他地方描述过，但您仍然可以从我的案例研究中找到一些提示，我试图使其尽可能具有启发性和普遍性。

所以发生的事情是罪魁祸首应用程序(在我的案例中是claire -scanner)设法在几个月内向docker的overlay2的/diff/tmp子文件夹写入了数百gb的数据

du -sch /var/lib/docker/overlay2/<long random folder name seen as bloated in df -haT>/diff/tmp

271G total

因此，由于/diff/tmp中的所有子文件夹都是相当自解释的(都是克莱尔-scanner-*的形式，并且有过时的创建日期)，我停止了相关的容器(docker stop clair)，并小心地从diff/tmp中删除了这些过时的子文件夹，谨慎地从一个(最古老的)单一文件夹开始，并测试了对docker引擎的影响(这需要重新启动[systemctl restart docker]来回收磁盘空间):

rm -rf $(ls -at /var/lib/docker/overlay2/<long random folder name seen as bloated in df -haT>/diff/tmp | grep clair-scanner | tail -1)

我回收了数百gb的磁盘空间，而不需要重新安装docker或清除它的整个文件夹。所有正在运行的容器都必须在某一时刻停止，因为需要重新启动docker守护进程来回收磁盘空间，因此首先要确保您的故障转移容器在某个/其他节点上正确运行。我希望docker的prune命令也能覆盖过时的/diff/tmp(甚至/diff/*)数据(通过另一个开关)。

这是一个有3年历史的问题，你可以在Docker论坛上阅读它丰富多彩的历史，其中针对上述解决方案的应用程序日志的变体在2019年被提出，并且似乎在几个设置中起了作用:https://forums.docker.com/t/some-way-to-clean-up-identify-contents-of-var-lib-docker-overlay/30604

Docker使用/var/lib/docker来存储映像、容器和本地命名卷。删除它可能导致数据丢失，并可能停止引擎运行。overlay2子目录专门包含图像和容器的各种文件系统层。

要清除未使用的容器和映像，请参阅docker系统修剪。还有一些选项可以删除卷，甚至是带标签的图像，但默认情况下由于数据丢失的可能性而不启用:

$ docker system prune --help

Usage:  docker system prune [OPTIONS]

Remove unused data

Options:
  -a, --all             Remove all unused images not just dangling ones
      --filter filter   Provide filter values (e.g. 'label=<key>=<value>')
  -f, --force           Do not prompt for confirmation
      --volumes         Prune volumes

剪枝永远不会删除的内容包括:

正在运行的容器(使用docker ps列出它们) 这些容器上的日志(有关限制日志大小的详细信息，请参阅这篇文章) 由这些容器所做的文件系统更改(通过docker diff可见)

此外，在这个垃圾收集过程中，docker可能不会看到在普通docker文件夹之外创建的任何内容。这可能是其他应用写到这个目录，或者docker引擎之前的配置(例如，从AUFS切换到overlay2，或者可能在启用用户名称空间之后)。

What would happen if this advice is ignored and you deleted a single folder like overlay2 out from this filesystem? The container filesystems are assembled from a collection of filesystem layers, and the overlay2 folder is where docker is performing some of these mounts (you'll see them in the output of mount when a container is running). Deleting some of these when they are in use would delete chunks of the filesystem out from a running container, and likely break the ability to start a new container from an impacted image. See this question for one of many possible results.

为了完全刷新docker到一个干净的状态，你可以删除整个目录，而不仅仅是像overlay2这样的子目录:

# danger, read the entire text around this code before running
# you will lose data
sudo -s
systemctl stop docker
rm -rf /var/lib/docker
systemctl start docker
exit

引擎将在完全空的状态下重新启动，这意味着你将失去所有:

图片 容器 名叫卷 用户创建的网络 群状态

我发现这个方法最适合我:

docker image prune --all

默认情况下，Docker不会删除已命名的图像，即使它们未使用。该命令将删除未使用的映像。

注意，图像中的每一层都是/usr/lib/docker/overlay2/文件夹中的一个文件夹。

也许这个文件夹不是你的问题，不要用docker的df -h的结果。 使用下面的命令查看每个文件夹的大小:

echo; pwd; echo; ls -AlhF; echo; du -h --max-depth=1; echo; du-sh

/var/lib/docker中的所有内容都是容器的文件系统。如果你停止所有的容器并修剪它们，你应该以文件夹为空结束。你可能并不想那样做，所以不要随意删除里面的内容。不要直接删除/var/lib/docker中的内容。有时你可能会侥幸逃脱，但出于很多原因，这是不可取的。

你可以这样做:

sudo bash
cd /var/lib/docker
find . -type f | xargs du -b  | sort -n

您将看到的是底部显示的最大文件。如果你想，找出这些文件在什么容器里，用docker exec -ti containername——/bin/sh输入这些容器，然后删除一些文件。

你也可以把docker系统prune -a -f放在每日/每周的cron作业中，只要你不留下你所关心的停止的容器和卷。最好是找出它增长的原因，并在容器级别上纠正它们。

不要在生产环境中这样做

@ravi-luthra给出的答案在技术上是有效的，但它有一些问题!

在我的例子中，我只是试图恢复磁盘空间。lib/docker/overlay文件夹占用了30GB的空间，我只定期运行几个容器。看起来docker有一些数据泄漏的问题，一些临时数据在容器停止时没有被清除。

所以我删除了lib/docker/overlay文件夹的所有内容。在那之后，我的docker实例变得不可用。当我试图运行或构建任何容器时，它给了我这个错误:

failed to create rwlayer: symlink ../04578d9f8e428b693174c6eb9a80111c907724cc22129761ce14a4c8cb4f1d7c/diff /var/lib/docker/overlay2/l/C3F33OLORAASNIYB3ZDATH2HJ7: no such file or directory

经过反复试验，我通过跑步解决了这个问题

(警告:这将删除docker卷内的所有数据)

docker system prune --volumes -a

所以不建议做这样的脏清理，除非你完全了解系统是如何工作的。