我在将源目录复制到目标目录时遇到了同样的问题

源目录包含文件约3 lakcs

我使用cp和选项-r，这对我很有用

cp-r abc/def/

它会将所有文件从abc复制到def，而不会发出参数列表过长的警告

我遇到过几次这个问题。许多解决方案将为每个需要删除的文件运行rm命令。这是非常低效的：

find . -name "*.pdf" -print0 | xargs -0 rm -rf

我最终编写了一个python脚本，根据文件名中的前4个字符删除文件：

import os
filedir = '/tmp/' #The directory you wish to run rm on 
filelist = (os.listdir(filedir)) #gets listing of all files in the specified dir
newlist = [] #Makes a blank list named newlist
for i in filelist: 
    if str((i)[:4]) not in newlist: #This makes sure that the elements are unique for newlist
        newlist.append((i)[:4]) #This takes only the first 4 charcters of the folder/filename and appends it to newlist
for i in newlist:
    if 'tmp' in i:  #If statment to look for tmp in the filename/dirname
        print ('Running command rm -rf '+str(filedir)+str(i)+'* : File Count: '+str(len(os.listdir(filedir)))) #Prints the command to be run and a total file count
        os.system('rm -rf '+str(filedir)+str(i)+'*') #Actual shell command
print ('DONE')

这对我来说非常有效。我能够在大约15分钟内清除一个文件夹中超过200万个临时文件。我从一点点代码中对tar进行了注释，这样任何一个对python一无所知的人都可以操作这段代码。

rm命令对可以同时删除的文件有限制。

一种可能性是，您可以根据文件模式多次使用rm命令删除它们，例如：

rm -f A*.pdf
rm -f B*.pdf
rm -f C*.pdf
...
rm -f *.pdf

也可以通过find命令删除它们：

find . -name "*.pdf" -exec rm {} \;

使用GNU并行（sudo apt install parallel）非常简单

它以多线程方式运行命令，其中“｛｝”是传递的参数

E.g.

ls/tmp/myfiles*|并行“rm｛｝”

删除目录/path/To/dir_with_pdf_files中的所有*.pdf/

mkdir empty_dir        # Create temp empty dir

rsync -avh --delete --include '*.pdf' empty_dir/ /path/to/dir_with_pdf_files/

如果您有数百万个文件，使用通配符通过rsync删除特定文件可能是最快的解决方案。它会解决你遇到的错误。

（可选步骤）：干运行。检查将删除而不删除的内容`

rsync -avhn --delete --include '*.pdf' empty_dir/ /path/to/dir_with_pdf_files/

...

单击rsync提示和技巧以获取更多rsync黑客

我很惊讶这里没有ulimit答案。每次我遇到这个问题，我都会在这里或这里结束。我知道这个解决方案有局限性，但ulimit-s 65536似乎经常为我提供帮助。