是否有一个简单的shell命令/脚本支持排除某些文件/文件夹的归档?

我有一个需要归档的目录,其中有一个子目录,其中有许多非常大的文件,我不需要备份。

不完全是解决方案:

tar——exclude=PATTERN命令匹配给定的模式并排除那些文件,但我需要忽略特定的文件和文件夹(完整的文件路径),否则有效的文件可能会被排除。

我还可以使用find命令创建一个文件列表,排除我不想存档的文件,并将该列表传递给tar,但这只适用于少量文件。我有成千上万。

我开始认为唯一的解决方案是创建一个包含要排除的文件/文件夹列表的文件,然后使用rsync with——exclude-from=file将所有文件复制到tmp目录,然后使用tar对该目录进行归档。

谁能想到更好/更有效的解决办法?

编辑:查尔斯·马的解决方案很有效。最大的问题是——exclude='。/folder'必须在tar命令的开头。完整命令(先cd,所以备份相对于该目录):

cd /folder_to_backup
tar --exclude='./folder' --exclude='./upload/folder2' -zcvf /backup/filename.tgz .

当前回答

对于Mac OSX,我必须这么做

tar -zcv——exclude='folder' -f theOutputTarFile.tar folderToTar .tar -zcv——exclude='folder

注意——exclude=后面的-f

其他回答

如果您试图排除版本控制系统(VCS)文件,tar已经支持两个有趣的选项!:)

选项:——exclude-vcs

该选项不包括以下版本控制系统使用的文件和目录:CVS、RCS、SCCS、SVN、Arch、Bazaar、Mercurial和Darcs。

从1.32版本开始,以下文件被排除在外:

CVS/,以及它下面的所有东西 RCS/和它下面的所有东西 SCCS/和它下面的所有东西 .git/和它下面的所有东西 .gitignore .gitmodules .gitattributes .cvsignore .svn/,以及它下面的所有内容 .arch-ids/,以及它下面的所有内容 {arch}/和它下面的所有东西 =版本id = meta-update =更新 .bzr .bzrignore .bzrtags .hg .hgignore .hgrags _darcs 选项:——exclude-vcs- ignored

当存档某些版本控制系统(VCS)下的目录时,从VCS的忽略文件(例如.cvsignore, .gitignore等)中读取排除模式通常很方便。这个选项提供了这种可能性。

在归档目录之前,请检查该目录是否包含以下文件:cvsignore、.gitignore、.bzrignore或.hgignore。如果是,从这些文件中读取忽略模式。

模式的处理方式与相应的VCS对待模式的方式非常相似,即:

cvsignore。

包含仅应用于此文件所在目录的shell样式通配符模式。文件中不允许有注释。空行将被忽略。

. gitignore

包含shell样式的填充模式。应用于.gitfile所在的目录及其所有子目录。

任何以#开头的行都是注释。反斜杠转义注释字符。

bzrignore。

包含shell通配符模式和正则表达式(如果前缀为RE:(16))。模式影响目录及其所有子目录。

任何以#开头的行都是注释。

hgignore。

包含posix正则表达式(17)。行语法:glob切换到shell通配符模式。行语法:regexp反向切换。注释以#开头。模式影响目录及其所有子目录。

例子

Tar -czv——exclude-vcs-ignore -f path/to/my- Tar -file. Tar .gz path/to/my/project/

我没能让tar排除几层深的5gb子目录。最后,我只使用了unix Zip命令。这对我来说容易多了。

对于原始文章中的这个特殊例子 (沥青——排除= '。/文件夹”,排除= '。/upload/folder2' -zcvf /backup/filename. txtTGZ)

等价的是:

Zip -r /backup/filename.zip。-x upload/folder/**\* upload/folder2/**\* .使用实例

(注:这是我最初使用的帖子,帮助我https://superuser.com/questions/312301/unix-zip-directory-but-excluded-specific-subdirectories-and-everything-within-t)

为了避免可能的'xargs:参数列表太长'错误,由于使用find…| xargs…当处理成千上万的文件时,您可以使用find…将find的输出直接输送到tar。-print0 | tar——null ....

# archive a given directory, but exclude various files & directories 
# specified by their full file paths
find "$(pwd -P)" -type d \( -path '/path/to/dir1' -or -path '/path/to/dir2' \) -prune \
   -or -not \( -path '/path/to/file1' -or -path '/path/to/file2' \) -print0 | 
   gnutar --null --no-recursion -czf archive.tar.gz --files-from -
   #bsdtar --null -n -czf archive.tar.gz -T -

下面的bash脚本应该可以做到这一点。它使用了Marcus Sundman给出的答案。

#!/bin/bash

echo -n "Please enter the name of the tar file you wish to create with out extension "
read nam

echo -n "Please enter the path to the directories to tar "
read pathin

echo tar -czvf $nam.tar.gz
excludes=`find $pathin -iname "*.CC" -exec echo "--exclude \'{}\'" \;|xargs`
echo $pathin

echo tar -czvf $nam.tar.gz $excludes $pathin

这将打印出您需要的命令,您可以复制并粘贴回去。可能有一种更优雅的方式直接将它提供给命令行。

只要改变*。CC的任何其他常用扩展名,文件名或正则表达式,你想排除,这应该仍然工作。

EDIT

再补充一点解释;find生成匹配所选正则表达式的文件列表(在本例中为*. cc)。这个列表通过xargs传递给echo命令。输出—从列表中排除“一个条目”。斜杠()是'标记的转义字符。

tar -cvzf destination_folder source_folder -X /home/folder/excludes.txt

-X表示包含必须从备份中排除的文件名列表的文件。例如,您可以在此文件中指定*~,以便在备份中不包括任何以~结尾的文件名。