iconv (1)

iconv -f FROM-ENCODING -t TO-ENCODING file.txt

此外，在许多语言中都有基于图标的工具。

在Linux下，您可以使用非常强大的recode命令来尝试在不同的字符集以及任何行结束问题之间进行转换。Recode -l将显示该工具可以转换的所有格式和编码。这可能是一个很长的清单。

独立实用程序方法

iconv -f ISO-8859-1 -t UTF-8 in.txt > out.txt

-f ENCODING  the encoding of the input
-t ENCODING  the encoding of the output

您不必指定这两个参数中的任何一个。它们将默认使用您的当前语言环境，通常是UTF-8。

Get-Content -Encoding UTF8 FILE-UTF8.TXT | Out-File -Encoding UTF7 FILE-UTF7.TXT

最短的版本，如果你可以假设输入的BOM是正确的:

gc FILE.TXT | Out-File -en utf7 file-utf7.txt

PHP iconv ()

iconv （“UTF-8”， “ISO-8859-15”， $input）;

试试iconv Bash函数

我把它放到。bashrc中:

utf8()
{
    iconv -f ISO-8859-1 -t UTF-8 $1 > $1.tmp
    rm $1
    mv $1.tmp $1
}

．．能够像这样转换文件:

utf8 MyClass.java

尝试+记事本

在Windows上，我能够使用notepad++从ISO-8859-1转换为UTF-8。点击“编码”，然后点击“转换为UTF-8”。

如“如何纠正文件的字符编码?”Synalyze它!可以让你在OS X上轻松转换ICU库支持的所有编码。

此外，您还可以显示从所有编码转换为Unicode的文件的一些字节，以便快速查看哪个字节适合您的文件。

尝试VIM

如果你有vim，你可以使用这个:

没有对每种编码进行测试。

最酷的部分是你不需要知道源编码

vim +"set nobomb | set fenc=utf8 | x" filename.txt

注意，这个命令直接修改文件

解释部分!

+: vim打开文件时直接输入命令。通常用于在特定行打开文件:vim +14 file.txt |:多个命令的分隔符(如;在bash中) set nobomb:没有utf-8 BOM set fenc=utf8:设置新的编码为utf-8 doc link x:保存并关闭文件 Filename.txt:文件的路径 :这里的报价是因为管道。(否则bash将使用它们作为bash管道)

联机使用find，具有自动字符集检测功能

自动检测所有匹配文本文件的字符编码，并将所有匹配文本文件转换为utf-8编码:

$ find . -type f -iname *.txt -exec sh -c 'iconv -f $(file -bi "$1" |sed -e "s/.*[ ]charset=//") -t utf-8 -o converted "$1" && mv converted "$1"' -- {} \;

要执行这些步骤，sub shell sh和-exec一起使用，运行带有-c标志的一行程序，并使用——{}将文件名作为位置参数“$1”传递。在这两者之间，utf-8输出文件临时命名为convert。

file -bi表示:

- b,短暂的 不要在输出行前加上文件名(简单模式)。 我,mime 导致文件命令输出mime类型字符串，而不是更传统的人类可读字符串。例如，它可以说text/plain;charset=us-ascii而不是ASCII文本。sed命令按照iconv的要求将其仅切割为us-ascii。

find命令对于这样的文件管理自动化非常有用。 点击这里获取更多信息。

写属性文件(Java)通常我在linux(薄荷和ubuntu发行版)使用这个:

$ native2ascii filename.properties

例如:

$ cat test.properties 
first=Execução número um
second=Execução número dois

$ native2ascii test.properties 
first=Execu\u00e7\u00e3o n\u00famero um
second=Execu\u00e7\u00e3o n\u00famero dois

PS:我用葡萄牙语写了第1 / 2个执行，以强制使用特殊字符。

以我为例，在第一次执行时，我收到了这样的消息:

$ native2ascii teste.txt 
The program 'native2ascii' can be found in the following packages:
 * gcj-5-jdk
 * openjdk-8-jdk-headless
 * gcj-4.8-jdk
 * gcj-4.9-jdk
Try: sudo apt install <selected package>

当我安装第一个选项(gcj-5-jdk)时，问题就解决了。

我希望这能帮助到一些人。

DOS/Windows:使用代码页

chcp 65001>NUL
type ascii.txt > unicode.txt

可以使用chcp命令修改代码页。代码页65001是UTF-8的微软名称。设置代码页后，以下命令生成的输出将是代码页集。

ruby:

ruby -e "File.write('output.txt', File.read('input.txt').encode('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: ''))"

来源:https://robots.thoughtbot.com/fight-back-utf-8-invalid-byte-sequences

使用这个Python脚本:https://github.com/goerz/convert_encoding.py 适用于任何平台。需要Python 2.7。

我最喜欢的工具是Jedit(一个基于java的文本编辑器)，它有两个非常方便的功能:

允许用户用不同的编码重新加载文本(因此，可以直观地控制结果) 另一个允许用户在保存之前显式地选择编码(和行字符的结束)

简单地改变IntelliJ IDEA IDE中加载文件的编码，在状态栏的右侧(底部)，当前字符集被指示。它提示重新加载或转换，使用转换。确保你事先备份了原始文件。

尝试EncodingChecker

github上的编码检查器

文件编码检查器是一个GUI工具，允许您验证一个或多个文件的文本编码。该工具可以显示所有选定文件的编码，或者仅显示不具有指定编码的文件的编码。

文件编码检查程序需要。net 4或更高版本才能运行。

对于编码检测，文件编码检查器使用UtfUnknown字符集检测器库。没有字节顺序标记(BOM)的UTF-16文本文件可以通过启发式检测。

powershell:

function Recode($InCharset, $InFile, $OutCharset, $OutFile)  {
    # Read input file in the source encoding
    $Encoding = [System.Text.Encoding]::GetEncoding($InCharset)
    $Text = [System.IO.File]::ReadAllText($InFile, $Encoding)
    
    # Write output file in the destination encoding
    $Encoding = [System.Text.Encoding]::GetEncoding($OutCharset)    
    [System.IO.File]::WriteAllText($OutFile, $Text, $Encoding)
}

Recode Windows-1252 "$pwd\in.txt" utf8 "$pwd\out.txt" 

支持的编码名称列表:

https://learn.microsoft.com/en-us/dotnet/api/system.text.encoding

还有一个转换文件编码的网络工具:https://webtool.cloud/change-file-encoding

它支持广泛的编码，包括一些罕见的编码，如IBM代码页37。

假设您不知道输入编码，并且仍然希望实现大部分转换的自动化，我总结了前面的答案，总结出这一行。

iconv -f $(chardetect input.text | awk '{print $2}') -t utf-8 -o output.text

Visual Studio代码

Open your file in Visual Studio Code Reopen with Encoding: In the bottom status bar, to the right, you should see your current file encoding (eg "UTF-8"). Click this and select "Reopen with Encoding". Select the correct encoding of the file (eg: ISO 8859-2). Confirm that your content is displaying as expected. Save with Encoding: The bottom status bar should now display your new encoding format (eg: ISO 8859-2). Click this and choose "Save with Encoding" and select UTF-8 (or whatever new encoding you want).

注意:这将覆盖您的原始文件。先做备份。