是否有一个简单的shell命令/脚本支持排除某些文件/文件夹的归档?

我有一个需要归档的目录,其中有一个子目录,其中有许多非常大的文件,我不需要备份。

不完全是解决方案:

tar——exclude=PATTERN命令匹配给定的模式并排除那些文件,但我需要忽略特定的文件和文件夹(完整的文件路径),否则有效的文件可能会被排除。

我还可以使用find命令创建一个文件列表,排除我不想存档的文件,并将该列表传递给tar,但这只适用于少量文件。我有成千上万。

我开始认为唯一的解决方案是创建一个包含要排除的文件/文件夹列表的文件,然后使用rsync with——exclude-from=file将所有文件复制到tmp目录,然后使用tar对该目录进行归档。

谁能想到更好/更有效的解决办法?

编辑:查尔斯·马的解决方案很有效。最大的问题是——exclude='。/folder'必须在tar命令的开头。完整命令(先cd,所以备份相对于该目录):

cd /folder_to_backup
tar --exclude='./folder' --exclude='./upload/folder2' -zcvf /backup/filename.tgz .

使用find命令和tar append (-r)选项一起使用。通过这种方式,您可以在一个步骤中向现有的tar中添加文件,而不是两步解决方案(创建文件列表,创建tar)。

find /dir/dir -prune ... -o etc etc.... -exec tar rvf ~/tarfile.tar {} \;

最好的方法是通过xargs(处理大量的参数)与tar一起使用find。例如:

find / -print0 | xargs -0 tar cjf tarfile.tar.bz2

您可以使用——exclude来排除tar目录。

如果你想存档除/usr之外的所有内容,你可以使用:

tar -zcvf /all.tgz / --exclude=/usr

对你来说,可能是这样的

tar -zcvf archive.tgz arc_dir --exclude=dir/ignore_this_dir

你可以为tar设置多个排除选项

$ tar --exclude='./folder' --exclude='./upload/folder2' -zcvf /backup/filename.tgz .

等等都可以。确保在源项和目标项之前放置——exclude。


可以使用cpio(1)创建tar文件。Cpio将文件归档到stdin上,所以如果你已经找到了你想要使用的find命令来选择存档文件,那么将它导入Cpio来创建tar文件:

find ... | cpio -o -H ustar | gzip -c > archive.tar.gz

我在其他地方找到了这个,所以我不会邀功,但对于我的mac特定问题,它比上面任何解决方案都要好(尽管这是封闭的):

tar zc --exclude __MACOSX --exclude .DS_Store -f <archive> <source(s)>

为了避免可能的'xargs:参数列表太长'错误,由于使用find…| xargs…当处理成千上万的文件时,您可以使用find…将find的输出直接输送到tar。-print0 | tar——null ....

# archive a given directory, but exclude various files & directories 
# specified by their full file paths
find "$(pwd -P)" -type d \( -path '/path/to/dir1' -or -path '/path/to/dir2' \) -prune \
   -or -not \( -path '/path/to/file1' -or -path '/path/to/file2' \) -print0 | 
   gnutar --null --no-recursion -czf archive.tar.gz --files-from -
   #bsdtar --null -n -czf archive.tar.gz -T -

你也可以根据需要使用"——exclude-tag"选项:

——exclude-tag =文件 ——exclude-tag-all =文件 ——exclude-tag-under =文件

包含指定FILE的文件夹将被排除。


使用tar排除文件/目录备份的可能选项:

排除使用多种模式的文件

tar -czf backup.tar.gz --exclude=PATTERN1 --exclude=PATTERN2 ... /path/to/backup

使用包含模式列表的排除文件排除文件

tar -czf backup.tar.gz -X /path/to/exclude.txt /path/to/backup

通过在任何应该跳过的目录中放置标记文件来排除使用标记的文件

tar -czf backup.tar.gz --exclude-tag-all=exclude.tag /path/to/backup

可能是多余的答案,但我发现它很有用,下面是:

而一个FreeBSD根(即使用csh),我想复制我的整个根文件系统到/mnt,但没有/usr和(显然)/mnt。这是什么工作(我在/):

tar --exclude ./usr --exclude ./mnt --create --file - . (cd /mnt && tar xvd -)

我的全部观点是,有必要(通过使用./)指定tar,将大目录的一部分复制到排除的目录中。

我€0.02


我没能让tar排除几层深的5gb子目录。最后,我只使用了unix Zip命令。这对我来说容易多了。

对于原始文章中的这个特殊例子 (沥青——排除= '。/文件夹”,排除= '。/upload/folder2' -zcvf /backup/filename. txtTGZ)

等价的是:

Zip -r /backup/filename.zip。-x upload/folder/**\* upload/folder2/**\* .使用实例

(注:这是我最初使用的帖子,帮助我https://superuser.com/questions/312301/unix-zip-directory-but-excluded-specific-subdirectories-and-everything-within-t)


我经历过,至少在我使用的Cygwin版本的tar(“CYGWIN_NT-5.1 1.7.17(0.262/5/3) 2012-10-19 14:39 i686 Cygwin”在Windows XP家庭版SP3机器上),选项的顺序很重要。

虽然这个结构对我很有用:

tar cfvz target.tgz --exclude='<dir1>' --exclude='<dir2>' target_dir

这招不管用:

tar cfvz --exclude='<dir1>' --exclude='<dir2>' target.tgz target_dir

tar——help会显示以下内容:

tar [OPTION...] [FILE]

所以,第二个命令应该也可以工作,但显然情况并非如此……

最好的致意,


Gnu tar v 1.26的——exclude需要出现在存档文件和备份目录参数之后,不应该有前导或尾随的斜杠,最好没有引号(单引号或双引号)。所以相对于要备份的PARENT目录,它是:

Tar CVFZ /path_to/mytar. txtTGZ ./dir_to_backup——exclude=some_path/to_exclude


老问题有很多答案,但我发现没有一个对我来说足够清楚,所以我想补充我的尝试。

如果你有下面的结构

/home/ftp/mysite/

使用以下文件/文件夹

/home/ftp/mysite/file1
/home/ftp/mysite/file2
/home/ftp/mysite/file3
/home/ftp/mysite/folder1
/home/ftp/mysite/folder2
/home/ftp/mysite/folder3

因此,您想要创建一个tar文件,其中包含/home/ftp/mysite中的所有内容(将站点移动到新服务器),但file3只是垃圾,folder3中的所有内容也不需要,因此我们将跳过这两个。

我们使用格式

tar -czvf <name of tar file> <what to tar> <any excludes>

其中c = create、z = zip和v = verbose(您可以在文件输入时看到它们,这有助于确保您排除的文件没有被添加)。f= file。

我的命令是这样的

cd /home/ftp/
tar -czvf mysite.tar.gz mysite --exclude='file3' --exclude='folder3'

注意,排除的文件/文件夹相对于tar的根目录(我已经尝试了相对于/的完整路径,但我不能让它工作)。

希望这能帮助到别人(还有我自己)


在阅读完这篇文章后,我在RHEL 5上做了一些测试,下面是我对abc目录的测试结果:

这将排除目录错误和日志以及目录下的所有文件:

tar cvpzf abc.tgz abc/ --exclude='abc/error' --exclude='abc/logs'

在排除的目录后添加通配符将排除文件,但保留目录:

tar cvpzf abc.tgz abc/ --exclude='abc/error/*' --exclude='abc/logs/*'

这个排除模式处理文件名后缀(如png或mp3)以及目录名(如.git和node_modules)

tar --exclude={*.png,*.mp3,*.wav,.git,node_modules} -Jcf ${target_tarball}  ${source_dirname}

您可以使用标准的“蚂蚁符号”来排除相对的目录。 这适用于我,排除任何.git或node_module目录:

tar -cvf myFile.tar --exclude=**/.git/* --exclude=**/node_modules/*  -T /data/txt/myInputFile.txt 2> /data/txt/myTarLogFile.txt

myInputFile.txt包含: /dev2/java /dev2/javascript


我同意——exclude标志是正确的方法。

$ tar --exclude='./folder_or_file' --exclude='file_pattern' --exclude='fileA'

我要提醒大家的是,我并没有发现明显的副作用: 在本例中排除'fileA'将递归地搜索'fileA' !

示例:一个包含同名文件(data.txt)的单子目录的目录

data.txt
config.txt
--+dirA
  |  data.txt
  |  config.docx

如果使用——exclude='data.txt',存档将不包含data.txt文件。如果对第三方库(比如node_modules目录)进行归档,可能会导致意想不到的结果。 为了避免这个问题,请确保给出整个路径,比如——exclude='./dirA/data.txt'


看看吧

tar cvpzf zip_folder.tgz . --exclude=./public --exclude=./tmp --exclude=./log --exclude=fileName

下面的bash脚本应该可以做到这一点。它使用了Marcus Sundman给出的答案。

#!/bin/bash

echo -n "Please enter the name of the tar file you wish to create with out extension "
read nam

echo -n "Please enter the path to the directories to tar "
read pathin

echo tar -czvf $nam.tar.gz
excludes=`find $pathin -iname "*.CC" -exec echo "--exclude \'{}\'" \;|xargs`
echo $pathin

echo tar -czvf $nam.tar.gz $excludes $pathin

这将打印出您需要的命令,您可以复制并粘贴回去。可能有一种更优雅的方式直接将它提供给命令行。

只要改变*。CC的任何其他常用扩展名,文件名或正则表达式,你想排除,这应该仍然工作。

EDIT

再补充一点解释;find生成匹配所选正则表达式的文件列表(在本例中为*. cc)。这个列表通过xargs传递给echo命令。输出—从列表中排除“一个条目”。斜杠()是'标记的转义字符。


对于Mac OSX,我必须这么做

tar -zcv——exclude='folder' -f theOutputTarFile.tar folderToTar .tar -zcv——exclude='folder

注意——exclude=后面的-f


tar -cvzf destination_folder source_folder -X /home/folder/excludes.txt

-X表示包含必须从备份中排除的文件名列表的文件。例如,您可以在此文件中指定*~,以便在备份中不包括任何以~结尾的文件名。


对于那些有问题的人来说,有些版本的tar只有在没有'的情况下才能正常工作。排除值中的/'。

Tar --version

电线(飞)1.27.1

适用的命令语法:

tar -czvf ../allfiles-butsome.tar.gz * --exclude=acme/foo

这些都不起作用:

$ tar -czvf ../allfiles-butsome.tar.gz * --exclude=./acme/foo
$ tar -czvf ../allfiles-butsome.tar.gz * --exclude='./acme/foo'
$ tar --exclude=./acme/foo -czvf ../allfiles-butsome.tar.gz *
$ tar --exclude='./acme/foo' -czvf ../allfiles-butsome.tar.gz *
$ tar -czvf ../allfiles-butsome.tar.gz * --exclude=/full/path/acme/foo
$ tar -czvf ../allfiles-butsome.tar.gz * --exclude='/full/path/acme/foo'
$ tar --exclude=/full/path/acme/foo -czvf ../allfiles-butsome.tar.gz *
$ tar --exclude='/full/path/acme/foo' -czvf ../allfiles-butsome.tar.gz *

在阅读了所有这些不同版本的好答案并为自己解决了问题之后,我认为有一些非常重要的小细节,对于GNU/Linux的普遍使用来说是非常罕见的,这些细节没有得到足够的强调,值得更多的评论。

所以我不打算回答每个情况的问题,相反,试着记下当东西不工作的时候去哪里看。

注意这一点非常重要:

THE ORDER OF THE OPTIONS MATTER: it is not the same put the --exclude before than after the file option and directories to backup. This is unexpected at least to me, because in my experience, in GNU/Linux commands, usually the order of the options doesn't matter. Different tar versions expects this options in different order: for instance, @Andrew's answer indicates that in GNU tar v 1.26 and 1.28 the excludes comes last, whereas in my case, with GNU tar 1.29, it's the other way. THE TRAILING SLASHES MATTER: at least in GNU tar 1.29, it shouldn't be any.

在我的例子中,对于Debian扩展上的GNU tar 1.29,有效的命令是

tar --exclude="/home/user/.config/chromium" --exclude="/home/user/.cache" -cf file.tar  /dir1/ /home/ /dir3/

引语不重要,不管有没有引语都有用。

我希望这对一些人有用。


我想在本地主机上有新鲜的前端版本(角文件夹)。 此外,git文件夹在我的情况下很大,我想排除它。 我需要从服务器下载它,并解包以运行应用程序。

从/var/lib/tomcat7/webapps压缩angular文件夹,移动到名称为angular.23.12.19.tar.gz的/tmp文件夹

命令:

tar --exclude='.git' -zcvf /tmp/angular.23.12.19.tar.gz /var/lib/tomcat7/webapps/angular/

成功案例: 1)如果给出全路径进行备份,在排除时也应采用全路径。

tar -zcvf /opt/ABC/BKP_27032020/backup_27032020.tar.gz --exclude='/opt/ABC/csv/' --exclude='/opt/ABC/log/' /opt/ABC

2)如果给出当前路径进行备份,在排除也应只使用当前路径。

tar -zcvf backup_27032020.tar.gz——exclude='ABC/csv/'——exclude='ABC/log/

失败案例:

如果给当前路径目录采取备份和全路径忽略,那么将不会工作 ABC .tar -zcvf /opt/ABC/BKP_27032020/backup_27032020.tar.gz——exclude='/opt/ABC/csv/'——exclude='/opt/ABC/log/' ABC .tar.gz

注意:提到排除之前/之后备份目录是可以的。


如果您试图排除版本控制系统(VCS)文件,tar已经支持两个有趣的选项!:)

选项:——exclude-vcs

该选项不包括以下版本控制系统使用的文件和目录:CVS、RCS、SCCS、SVN、Arch、Bazaar、Mercurial和Darcs。

从1.32版本开始,以下文件被排除在外:

CVS/,以及它下面的所有东西 RCS/和它下面的所有东西 SCCS/和它下面的所有东西 .git/和它下面的所有东西 .gitignore .gitmodules .gitattributes .cvsignore .svn/,以及它下面的所有内容 .arch-ids/,以及它下面的所有内容 {arch}/和它下面的所有东西 =版本id = meta-update =更新 .bzr .bzrignore .bzrtags .hg .hgignore .hgrags _darcs 选项:——exclude-vcs- ignored

当存档某些版本控制系统(VCS)下的目录时,从VCS的忽略文件(例如.cvsignore, .gitignore等)中读取排除模式通常很方便。这个选项提供了这种可能性。

在归档目录之前,请检查该目录是否包含以下文件:cvsignore、.gitignore、.bzrignore或.hgignore。如果是,从这些文件中读取忽略模式。

模式的处理方式与相应的VCS对待模式的方式非常相似,即:

cvsignore。

包含仅应用于此文件所在目录的shell样式通配符模式。文件中不允许有注释。空行将被忽略。

. gitignore

包含shell样式的填充模式。应用于.gitfile所在的目录及其所有子目录。

任何以#开头的行都是注释。反斜杠转义注释字符。

bzrignore。

包含shell通配符模式和正则表达式(如果前缀为RE:(16))。模式影响目录及其所有子目录。

任何以#开头的行都是注释。

hgignore。

包含posix正则表达式(17)。行语法:glob切换到shell通配符模式。行语法:regexp反向切换。注释以#开头。模式影响目录及其所有子目录。

例子

Tar -czv——exclude-vcs-ignore -f path/to/my- Tar -file. Tar .gz path/to/my/project/


我想展示另一个选项,我用来得到相同的结果之前提供的答案,我有一个类似的情况下,我想备份android工作室的项目都在一个tar文件上载到媒体火,使用du命令找到大文件,我发现我不需要一些目录,如: 编译,Linux e .dart_tools 使用Charles_ma的第一个答案,我稍微修改了一下,以便能够从我的Android目录的父目录运行命令。

tar --exclude='*/build' --exclude='*/linux' --exclude='*/.dart_tool' -zcvf androidProjects.tar Android/

这招很管用。

Ps.如果这种回答是不允许的,很抱歉,如果是这种情况,我会删除。


排除具有绝对路径的目录似乎是不可能的。 只要有任何路径是绝对路径(source或/和exclude), exclude命令将不起作用。这是我尝试了所有可能的组合后的经验。