如何通过Linux上的脚本找到文件的编码?

我需要找到放在一个目录中的所有文件的编码。有没有办法找到所使用的编码?

file命令不能做到这一点。

我感兴趣的编码是ISO 8859-1。如果是其他编码，我想将文件移动到另一个目录。

当前回答

在Perl中，使用Encode::Detect。

其他回答

您可以使用file命令提取单个文件的编码。我有一个sample.html文件:

$ file sample.html

HTML: HTML文档，UTF-8 Unicode文本，有很长的行

$ file -b sample.html

HTML文档，UTF-8 Unicode文本，有很长的行

$ file -bi sample.html

短信/ html;charset = utf-8

$ file -bi sample.html  | awk -F'=' '{print $2 }'

utf - 8

在PHP中，你可以像这样检查它:

显式指定编码列表:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

更准确的"mb_list_encodings":

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

在第一个示例中，您可以看到我使用了一个可能匹配的编码列表(检测列表顺序)。为了得到更准确的结果，你可以使用所有可能的编码:mb_list_encodings()

注意mb_*函数需要php-mbstring:

apt-get install php-mbstring

在Debian中你也可以使用:encguess:

$ encguess test.txt
test.txt  US-ASCII

由于它是一个perl脚本，它可以安装在大多数系统上，通过安装perl或脚本作为独立的，如果perl已经安装。

$ dpkg -S /usr/bin/encguess
perl: /usr/bin/encguess

uchardet -从Mozilla移植的编码检测器库。

用法:

~> uchardet file.java
UTF-8

各种Linux发行版(Debian、Ubuntu、openSUSE、Pacman等)都提供二进制文件。

听起来你在找恩卡。它可以猜测甚至在编码之间进行转换。看看手册页就知道了。

否则，使用file -i (Linux)或file -i (OS X)。这将输出文件的mime类型信息，其中还将包括字符集编码。我也找到了它的手册页:)

推荐文章