联机使用find，具有自动字符集检测功能

自动检测所有匹配文本文件的字符编码，并将所有匹配文本文件转换为utf-8编码:

$ find . -type f -iname *.txt -exec sh -c 'iconv -f $(file -bi "$1" |sed -e "s/.*[ ]charset=//") -t utf-8 -o converted "$1" && mv converted "$1"' -- {} \;

要执行这些步骤，sub shell sh和-exec一起使用，运行带有-c标志的一行程序，并使用——{}将文件名作为位置参数“$1”传递。在这两者之间，utf-8输出文件临时命名为convert。

file -bi表示:

- b,短暂的 不要在输出行前加上文件名(简单模式)。 我,mime 导致文件命令输出mime类型字符串，而不是更传统的人类可读字符串。例如，它可以说text/plain;charset=us-ascii而不是ASCII文本。sed命令按照iconv的要求将其仅切割为us-ascii。

find命令对于这样的文件管理自动化非常有用。 点击这里获取更多信息。

Get-Content -Encoding UTF8 FILE-UTF8.TXT | Out-File -Encoding UTF7 FILE-UTF7.TXT

最短的版本，如果你可以假设输入的BOM是正确的:

gc FILE.TXT | Out-File -en utf7 file-utf7.txt

ruby:

ruby -e "File.write('output.txt', File.read('input.txt').encode('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: ''))"

来源:https://robots.thoughtbot.com/fight-back-utf-8-invalid-byte-sequences

联机使用find，具有自动字符集检测功能

自动检测所有匹配文本文件的字符编码，并将所有匹配文本文件转换为utf-8编码:

$ find . -type f -iname *.txt -exec sh -c 'iconv -f $(file -bi "$1" |sed -e "s/.*[ ]charset=//") -t utf-8 -o converted "$1" && mv converted "$1"' -- {} \;

要执行这些步骤，sub shell sh和-exec一起使用，运行带有-c标志的一行程序，并使用——{}将文件名作为位置参数“$1”传递。在这两者之间，utf-8输出文件临时命名为convert。

file -bi表示:

- b,短暂的 不要在输出行前加上文件名(简单模式)。 我,mime 导致文件命令输出mime类型字符串，而不是更传统的人类可读字符串。例如，它可以说text/plain;charset=us-ascii而不是ASCII文本。sed命令按照iconv的要求将其仅切割为us-ascii。

find命令对于这样的文件管理自动化非常有用。 点击这里获取更多信息。

iconv (1)

iconv -f FROM-ENCODING -t TO-ENCODING file.txt

此外，在许多语言中都有基于图标的工具。

尝试EncodingChecker

github上的编码检查器

文件编码检查器是一个GUI工具，允许您验证一个或多个文件的文本编码。该工具可以显示所有选定文件的编码，或者仅显示不具有指定编码的文件的编码。

文件编码检查程序需要。net 4或更高版本才能运行。

对于编码检测，文件编码检查器使用UtfUnknown字符集检测器库。没有字节顺序标记(BOM)的UTF-16文本文件可以通过启发式检测。