2024-08-21 09:00:02

修改多个文件

下面的命令正确地更改了2个文件的内容。

sed -i 's/abc/xyz/g' xaa1 xab1 

但是我需要动态更改几个这样的文件,我不知道文件名。我想写一个命令,将读取当前目录下以xa*开头的所有文件,sed应该改变文件内容。


更好的是:

for i in xa*; do
    sed -i 's/asd/dfg/g' $i
done

因为没有人知道有多少文件,而且很容易打破命令行限制。

下面是当文件太多时会发生的情况:

# grep -c aaa *
-bash: /bin/grep: Argument list too long
# for i in *; do grep -c aaa $i; done
0
... (output skipped)
#

这些命令在Mac OS X自带的默认sed中不起作用。

来自男人1 sed:

-i extension
             Edit files in-place, saving backups with the specified
             extension.  If a zero-length extension is given, no backup 
             will be saved.  It is not recommended to give a zero-length
             extension when in-place editing files, as you risk corruption
             or partial content in situations where disk space is exhausted, etc.

试着

sed -i '.bak' 's/old/new/g' logfile*

and

for i in logfile*; do sed -i '.bak' 's/old/new/g' $i; done

两者都工作得很好。


您可以同时使用grep和sed。这允许您递归地搜索子目录。

Linux: grep -r -l <old> * | xargs sed -i 's/<old>/<new>/g'
OS X: grep -r -l <old> * | xargs sed -i '' 's/<old>/<new>/g'

For grep:
    -r recursively searches subdirectories 
    -l prints file names that contain matches
For sed:
    -i extension (Note: An argument needs to be provided on OS X)

另一种更通用的方法是使用find:

sed -i 's/asd/dsg/g' $(find . -type f -name 'xa*')

@PaulR将此作为评论发布,但人们应该将其视为一个答案(这个答案最符合我的需求):

sed -i 's/abc/xyz/g' xa*

这将适用于中等数量的文件,可能是几十个,但可能不是几百万个。


我很惊讶没有人提到-exec参数来查找,这是为这种类型的用例准备的,尽管它将为每个匹配的文件名启动一个进程:

find . -type f -name 'xa*' -exec sed -i 's/asd/dsg/g' {} \;

或者,也可以使用xargs,这样可以调用更少的进程:

find . -type f -name 'xa*' | xargs sed -i 's/asd/dsg/g'

或者更简单地使用+ exec变体而不是;在find中允许find为每个子进程调用提供多个文件:

find . -type f -name 'xa*' -exec sed -i 's/asd/dsg/g' {} +

你能使

你搜索'xxxx'文本,并将其替换为'yyyy'

grep -Rn '**xxxx**' /path | awk -F: '{print $1}' | xargs sed -i 's/**xxxx**/**yyyy**/'

我使用find来完成类似的任务。这很简单:你必须像这样将它作为sed的参数传递:

sed -i 's/EXPRESSION/REPLACEMENT/g' ' find -name "文件。正则表达式”

这样就不需要编写复杂的循环,而且很容易看出要更改哪些文件,只需在运行sed之前运行find即可。


如果你能够运行一个脚本,下面是我对类似情况所做的:

使用字典/hashMap(关联数组)和sed命令的变量,我们可以遍历数组来替换几个字符串。在name_pattern中包含一个通配符将允许在指定目录(source_dir)中替换文件中的模式(这可能是类似name_pattern='File*.txt')。 所有更改都写在destin_dir的日志文件中

#!/bin/bash
source_dir=source_path
destin_dir=destin_path
logfile='sedOutput.txt'
name_pattern='File.txt'

echo "--Begin $(date)--" | tee -a $destin_dir/$logfile
echo "Source_DIR=$source_dir destin_DIR=$destin_dir "

declare -A pairs=( 
    ['WHAT1']='FOR1'
    ['OTHER_string_to replace']='string replaced'
)

for i in "${!pairs[@]}"; do
    j=${pairs[$i]}
    echo "[$i]=$j"
    replace_what=$i
    replace_for=$j
    echo " "
    echo "Replace: $replace_what for: $replace_for"
    find $source_dir -name $name_pattern | xargs sed -i "s/$replace_what/$replace_for/g" 
    find $source_dir -name $name_pattern | xargs -I{} grep -n "$replace_for" {} /dev/null | tee -a $destin_dir/$logfile
done

echo " "
echo "----End $(date)---" | tee -a $destin_dir/$logfile

First, the pairs array is declared, each pair is a replacement string, then WHAT1 will be replaced for FOR1 and OTHER_string_to replace will be replaced for string replaced in the file File.txt. In the loop the array is read, the first member of the pair is retrieved as replace_what=$i and the second as replace_for=$j. The find command searches in the directory the filename (that may contain a wildcard) and the sed -i command replaces in the same file(s) what was previously defined. Finally I added a grep redirected to the logfile to log the changes made in the file(s).

这在GNU Bash 4.3 sed 4.2.2中为我工作,并基于VasyaNovikov对Bash中元组循环的回答。


上面有一些很好的答案。我想我要再加上一个简洁且可并行的方法,使用GNU并行,我通常更喜欢xargs:

parallel sed -i 's/abc/xyz/g' {} ::: xa*

将此选项与-j N选项结合起来,可以并行运行N个作业。


银色搜索者解决方案

我为那些不知道名为Silver Searcher(命令行工具是ag)的神奇工具的人添加了另一个选择。

注意:你可以使用grep和其他工具来做同样的事情,但是Silver Searcher很棒:)

TLDR

ag -l 'abc' | xargs sed -i 's/abc/xyz/g'

安装银色搜索器

sudo apt install silversearcher-ag                # Debian / Ubuntu
sudo pacman -S the_silver_searcher                # Arch / EndeavourOS
sudo yum install epel-release the_silver_searcher # RHEL / CentOS

演示文件

将以下内容粘贴到您的终端以创建一些演示文件:

mkdir /tmp/food
cd /tmp/food
content="Everybody loves to abc this food!"
echo "$content" > ./milk
echo "$content" > ./bread
mkdir ./fastfood
echo "$content" > ./fastfood/pizza
echo "$content" > ./fastfood/burger
mkdir ./fruit
echo "$content" > ./fruit/apple
echo "$content" > ./fruit/apricot

使用“ag)”

下面的ag命令将递归地找到包含字符串'abc'的所有文件。它会忽略.git目录、.gitignore文件和其他忽略文件:

$ ag 'abc'
milk
1:Everybody loves to abc this food!

bread
1:Everybody loves to abc this food!

fastfood/burger
1:Everybody loves to abc this food!

fastfood/pizza
1:Everybody loves to abc this food!

fruit/apple
1:Everybody loves to abc this food!

fruit/apricot
1:Everybody loves to abc this food!

只列出包含字符串'abc'的文件,使用-l开关:

$ ag -l 'abc'
bread
fastfood/burger
fastfood/pizza
fruit/apricot
milk
fruit/apple

修改多个文件

最后,使用xargs和sed,我们可以用另一个字符串替换'abc'字符串:

ag -l 'abc' | xargs sed -i 's/abc/eat/g'

在上面的命令中,ag列出了包含字符串'abc'的所有文件。xargs命令分割文件名,并将它们分别输送到sed命令中。