是否有一个简单的shell命令/脚本支持排除某些文件/文件夹的归档?

我有一个需要归档的目录,其中有一个子目录,其中有许多非常大的文件,我不需要备份。

不完全是解决方案:

tar——exclude=PATTERN命令匹配给定的模式并排除那些文件,但我需要忽略特定的文件和文件夹(完整的文件路径),否则有效的文件可能会被排除。

我还可以使用find命令创建一个文件列表,排除我不想存档的文件,并将该列表传递给tar,但这只适用于少量文件。我有成千上万。

我开始认为唯一的解决方案是创建一个包含要排除的文件/文件夹列表的文件,然后使用rsync with——exclude-from=file将所有文件复制到tmp目录,然后使用tar对该目录进行归档。

谁能想到更好/更有效的解决办法?

编辑:查尔斯·马的解决方案很有效。最大的问题是——exclude='。/folder'必须在tar命令的开头。完整命令(先cd,所以备份相对于该目录):

cd /folder_to_backup
tar --exclude='./folder' --exclude='./upload/folder2' -zcvf /backup/filename.tgz .

当前回答

为了避免可能的'xargs:参数列表太长'错误,由于使用find…| xargs…当处理成千上万的文件时,您可以使用find…将find的输出直接输送到tar。-print0 | tar——null ....

# archive a given directory, but exclude various files & directories 
# specified by their full file paths
find "$(pwd -P)" -type d \( -path '/path/to/dir1' -or -path '/path/to/dir2' \) -prune \
   -or -not \( -path '/path/to/file1' -or -path '/path/to/file2' \) -print0 | 
   gnutar --null --no-recursion -czf archive.tar.gz --files-from -
   #bsdtar --null -n -czf archive.tar.gz -T -

其他回答

为了避免可能的'xargs:参数列表太长'错误,由于使用find…| xargs…当处理成千上万的文件时,您可以使用find…将find的输出直接输送到tar。-print0 | tar——null ....

# archive a given directory, but exclude various files & directories 
# specified by their full file paths
find "$(pwd -P)" -type d \( -path '/path/to/dir1' -or -path '/path/to/dir2' \) -prune \
   -or -not \( -path '/path/to/file1' -or -path '/path/to/file2' \) -print0 | 
   gnutar --null --no-recursion -czf archive.tar.gz --files-from -
   #bsdtar --null -n -czf archive.tar.gz -T -

使用tar排除文件/目录备份的可能选项:

排除使用多种模式的文件

tar -czf backup.tar.gz --exclude=PATTERN1 --exclude=PATTERN2 ... /path/to/backup

使用包含模式列表的排除文件排除文件

tar -czf backup.tar.gz -X /path/to/exclude.txt /path/to/backup

通过在任何应该跳过的目录中放置标记文件来排除使用标记的文件

tar -czf backup.tar.gz --exclude-tag-all=exclude.tag /path/to/backup

在阅读完这篇文章后,我在RHEL 5上做了一些测试,下面是我对abc目录的测试结果:

这将排除目录错误和日志以及目录下的所有文件:

tar cvpzf abc.tgz abc/ --exclude='abc/error' --exclude='abc/logs'

在排除的目录后添加通配符将排除文件,但保留目录:

tar cvpzf abc.tgz abc/ --exclude='abc/error/*' --exclude='abc/logs/*'

我没能让tar排除几层深的5gb子目录。最后,我只使用了unix Zip命令。这对我来说容易多了。

对于原始文章中的这个特殊例子 (沥青——排除= '。/文件夹”,排除= '。/upload/folder2' -zcvf /backup/filename. txtTGZ)

等价的是:

Zip -r /backup/filename.zip。-x upload/folder/**\* upload/folder2/**\* .使用实例

(注:这是我最初使用的帖子,帮助我https://superuser.com/questions/312301/unix-zip-directory-but-excluded-specific-subdirectories-and-everything-within-t)

我同意——exclude标志是正确的方法。

$ tar --exclude='./folder_or_file' --exclude='file_pattern' --exclude='fileA'

我要提醒大家的是,我并没有发现明显的副作用: 在本例中排除'fileA'将递归地搜索'fileA' !

示例:一个包含同名文件(data.txt)的单子目录的目录

data.txt
config.txt
--+dirA
  |  data.txt
  |  config.docx

如果使用——exclude='data.txt',存档将不包含data.txt文件。如果对第三方库(比如node_modules目录)进行归档,可能会导致意想不到的结果。 为了避免这个问题,请确保给出整个路径,比如——exclude='./dirA/data.txt'