试试iconv Bash函数

我把它放到。bashrc中:

utf8()
{
    iconv -f ISO-8859-1 -t UTF-8 $1 > $1.tmp
    rm $1
    mv $1.tmp $1
}

．．能够像这样转换文件:

utf8 MyClass.java

powershell:

function Recode($InCharset, $InFile, $OutCharset, $OutFile)  {
    # Read input file in the source encoding
    $Encoding = [System.Text.Encoding]::GetEncoding($InCharset)
    $Text = [System.IO.File]::ReadAllText($InFile, $Encoding)
    
    # Write output file in the destination encoding
    $Encoding = [System.Text.Encoding]::GetEncoding($OutCharset)    
    [System.IO.File]::WriteAllText($OutFile, $Text, $Encoding)
}

Recode Windows-1252 "$pwd\in.txt" utf8 "$pwd\out.txt" 

支持的编码名称列表:

https://learn.microsoft.com/en-us/dotnet/api/system.text.encoding

独立实用程序方法

iconv -f ISO-8859-1 -t UTF-8 in.txt > out.txt

-f ENCODING  the encoding of the input
-t ENCODING  the encoding of the output

您不必指定这两个参数中的任何一个。它们将默认使用您的当前语言环境，通常是UTF-8。

尝试VIM

如果你有vim，你可以使用这个:

没有对每种编码进行测试。

最酷的部分是你不需要知道源编码

vim +"set nobomb | set fenc=utf8 | x" filename.txt

注意，这个命令直接修改文件

解释部分!

+: vim打开文件时直接输入命令。通常用于在特定行打开文件:vim +14 file.txt |:多个命令的分隔符(如;在bash中) set nobomb:没有utf-8 BOM set fenc=utf8:设置新的编码为utf-8 doc link x:保存并关闭文件 Filename.txt:文件的路径 :这里的报价是因为管道。(否则bash将使用它们作为bash管道)

假设您不知道输入编码，并且仍然希望实现大部分转换的自动化，我总结了前面的答案，总结出这一行。

iconv -f $(chardetect input.text | awk '{print $2}') -t utf-8 -o output.text

ruby:

ruby -e "File.write('output.txt', File.read('input.txt').encode('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: ''))"

来源:https://robots.thoughtbot.com/fight-back-utf-8-invalid-byte-sequences