是否有一个简单的shell命令/脚本支持排除某些文件/文件夹的归档?
我有一个需要归档的目录,其中有一个子目录,其中有许多非常大的文件,我不需要备份。
不完全是解决方案:
tar——exclude=PATTERN命令匹配给定的模式并排除那些文件,但我需要忽略特定的文件和文件夹(完整的文件路径),否则有效的文件可能会被排除。
我还可以使用find命令创建一个文件列表,排除我不想存档的文件,并将该列表传递给tar,但这只适用于少量文件。我有成千上万。
我开始认为唯一的解决方案是创建一个包含要排除的文件/文件夹列表的文件,然后使用rsync with——exclude-from=file将所有文件复制到tmp目录,然后使用tar对该目录进行归档。
谁能想到更好/更有效的解决办法?
编辑:查尔斯·马的解决方案很有效。最大的问题是——exclude='。/folder'必须在tar命令的开头。完整命令(先cd,所以备份相对于该目录):
cd /folder_to_backup
tar --exclude='./folder' --exclude='./upload/folder2' -zcvf /backup/filename.tgz .
我没能让tar排除几层深的5gb子目录。最后,我只使用了unix Zip命令。这对我来说容易多了。
对于原始文章中的这个特殊例子
(沥青——排除= '。/文件夹”,排除= '。/upload/folder2' -zcvf /backup/filename. txtTGZ)
等价的是:
Zip -r /backup/filename.zip。-x upload/folder/**\* upload/folder2/**\* .使用实例
(注:这是我最初使用的帖子,帮助我https://superuser.com/questions/312301/unix-zip-directory-but-excluded-specific-subdirectories-and-everything-within-t)
老问题有很多答案,但我发现没有一个对我来说足够清楚,所以我想补充我的尝试。
如果你有下面的结构
/home/ftp/mysite/
使用以下文件/文件夹
/home/ftp/mysite/file1
/home/ftp/mysite/file2
/home/ftp/mysite/file3
/home/ftp/mysite/folder1
/home/ftp/mysite/folder2
/home/ftp/mysite/folder3
因此,您想要创建一个tar文件,其中包含/home/ftp/mysite中的所有内容(将站点移动到新服务器),但file3只是垃圾,folder3中的所有内容也不需要,因此我们将跳过这两个。
我们使用格式
tar -czvf <name of tar file> <what to tar> <any excludes>
其中c = create、z = zip和v = verbose(您可以在文件输入时看到它们,这有助于确保您排除的文件没有被添加)。f= file。
我的命令是这样的
cd /home/ftp/
tar -czvf mysite.tar.gz mysite --exclude='file3' --exclude='folder3'
注意,排除的文件/文件夹相对于tar的根目录(我已经尝试了相对于/的完整路径,但我不能让它工作)。
希望这能帮助到别人(还有我自己)
我同意——exclude标志是正确的方法。
$ tar --exclude='./folder_or_file' --exclude='file_pattern' --exclude='fileA'
我要提醒大家的是,我并没有发现明显的副作用:
在本例中排除'fileA'将递归地搜索'fileA' !
示例:一个包含同名文件(data.txt)的单子目录的目录
data.txt
config.txt
--+dirA
| data.txt
| config.docx
如果使用——exclude='data.txt',存档将不包含data.txt文件。如果对第三方库(比如node_modules目录)进行归档,可能会导致意想不到的结果。
为了避免这个问题,请确保给出整个路径,比如——exclude='./dirA/data.txt'
下面的bash脚本应该可以做到这一点。它使用了Marcus Sundman给出的答案。
#!/bin/bash
echo -n "Please enter the name of the tar file you wish to create with out extension "
read nam
echo -n "Please enter the path to the directories to tar "
read pathin
echo tar -czvf $nam.tar.gz
excludes=`find $pathin -iname "*.CC" -exec echo "--exclude \'{}\'" \;|xargs`
echo $pathin
echo tar -czvf $nam.tar.gz $excludes $pathin
这将打印出您需要的命令,您可以复制并粘贴回去。可能有一种更优雅的方式直接将它提供给命令行。
只要改变*。CC的任何其他常用扩展名,文件名或正则表达式,你想排除,这应该仍然工作。
EDIT
再补充一点解释;find生成匹配所选正则表达式的文件列表(在本例中为*. cc)。这个列表通过xargs传递给echo命令。输出—从列表中排除“一个条目”。斜杠()是'标记的转义字符。
在阅读了所有这些不同版本的好答案并为自己解决了问题之后,我认为有一些非常重要的小细节,对于GNU/Linux的普遍使用来说是非常罕见的,这些细节没有得到足够的强调,值得更多的评论。
所以我不打算回答每个情况的问题,相反,试着记下当东西不工作的时候去哪里看。
注意这一点非常重要:
THE ORDER OF THE OPTIONS MATTER: it is not the same put the --exclude before than after the file option and directories to backup. This is unexpected at least to me, because in my experience, in GNU/Linux commands, usually the order of the options doesn't matter.
Different tar versions expects this options in different order: for instance, @Andrew's answer indicates that in GNU tar v 1.26 and 1.28 the excludes comes last, whereas in my case, with GNU tar 1.29, it's the other way.
THE TRAILING SLASHES MATTER: at least in GNU tar 1.29, it shouldn't be any.
在我的例子中,对于Debian扩展上的GNU tar 1.29,有效的命令是
tar --exclude="/home/user/.config/chromium" --exclude="/home/user/.cache" -cf file.tar /dir1/ /home/ /dir3/
引语不重要,不管有没有引语都有用。
我希望这对一些人有用。
成功案例:
1)如果给出全路径进行备份,在排除时也应采用全路径。
tar -zcvf /opt/ABC/BKP_27032020/backup_27032020.tar.gz --exclude='/opt/ABC/csv/' --exclude='/opt/ABC/log/' /opt/ABC
2)如果给出当前路径进行备份,在排除也应只使用当前路径。
tar -zcvf backup_27032020.tar.gz——exclude='ABC/csv/'——exclude='ABC/log/
失败案例:
如果给当前路径目录采取备份和全路径忽略,那么将不会工作
ABC .tar -zcvf /opt/ABC/BKP_27032020/backup_27032020.tar.gz——exclude='/opt/ABC/csv/'——exclude='/opt/ABC/log/' ABC .tar.gz
注意:提到排除之前/之后备份目录是可以的。
如果您试图排除版本控制系统(VCS)文件,tar已经支持两个有趣的选项!:)
选项:——exclude-vcs
该选项不包括以下版本控制系统使用的文件和目录:CVS、RCS、SCCS、SVN、Arch、Bazaar、Mercurial和Darcs。
从1.32版本开始,以下文件被排除在外:
CVS/,以及它下面的所有东西
RCS/和它下面的所有东西
SCCS/和它下面的所有东西
.git/和它下面的所有东西
.gitignore
.gitmodules
.gitattributes
.cvsignore
.svn/,以及它下面的所有内容
.arch-ids/,以及它下面的所有内容
{arch}/和它下面的所有东西
=版本id
= meta-update
=更新
.bzr
.bzrignore
.bzrtags
.hg
.hgignore
.hgrags
_darcs
选项:——exclude-vcs- ignored
当存档某些版本控制系统(VCS)下的目录时,从VCS的忽略文件(例如.cvsignore, .gitignore等)中读取排除模式通常很方便。这个选项提供了这种可能性。
在归档目录之前,请检查该目录是否包含以下文件:cvsignore、.gitignore、.bzrignore或.hgignore。如果是,从这些文件中读取忽略模式。
模式的处理方式与相应的VCS对待模式的方式非常相似,即:
cvsignore。
包含仅应用于此文件所在目录的shell样式通配符模式。文件中不允许有注释。空行将被忽略。
. gitignore
包含shell样式的填充模式。应用于.gitfile所在的目录及其所有子目录。
任何以#开头的行都是注释。反斜杠转义注释字符。
bzrignore。
包含shell通配符模式和正则表达式(如果前缀为RE:(16))。模式影响目录及其所有子目录。
任何以#开头的行都是注释。
hgignore。
包含posix正则表达式(17)。行语法:glob切换到shell通配符模式。行语法:regexp反向切换。注释以#开头。模式影响目录及其所有子目录。
例子
Tar -czv——exclude-vcs-ignore -f path/to/my- Tar -file. Tar .gz path/to/my/project/