在我们的应用程序中，我们从不同的来源接收文本文件(.txt， .csv等)。读取时，这些文件有时包含垃圾，因为这些文件是在不同的/未知的代码页中创建的。
是否有一种方法(自动)检测文本文件的代码页?
detectEncodingFromByteOrderMarks，在StreamReader构造函数上，适用于UTF8和其他unicode标记的文件，但我正在寻找一种方法来检测代码页，如ibm850, windows1252。
谢谢你的回答，这就是我所做的。
我们收到的文件来自最终用户，他们没有关于代码页的线索。接收者也是最终用户，到目前为止，这是他们对代码页的了解:代码页存在，并且令人讨厌。
解决方案:
在记事本中打开收到的文件，查看一段乱码的文本。如果有人叫François之类的，凭你的智商你就能猜出来。 我已经创建了一个小应用程序，用户可以使用它打开文件，并输入用户知道它将出现在文件中的文本，当使用正确的代码页时。 遍历所有代码页，并显示包含用户提供的文本的解决方案的代码页。 如果多个代码页同时弹出，请用户指定更多文本。
当前回答
在寻找不同的解决方案时，我发现
https://code.google.com/p/ude/
这个溶液有点重。
我需要一些基本的编码检测，基于4个第一个字节和可能的xml字符集检测-所以我从互联网上取了一些样本源代码，并添加了稍微修改的版本
http://lists.w3.org/Archives/Public/www-validator/2002Aug/0084.html
为Java编写的。
public static Encoding DetectEncoding(byte[] fileContent)
{
if (fileContent == null)
throw new ArgumentNullException();
if (fileContent.Length < 2)
return Encoding.ASCII; // Default fallback
if (fileContent[0] == 0xff
&& fileContent[1] == 0xfe
&& (fileContent.Length < 4
|| fileContent[2] != 0
|| fileContent[3] != 0
)
)
return Encoding.Unicode;
if (fileContent[0] == 0xfe
&& fileContent[1] == 0xff
)
return Encoding.BigEndianUnicode;
if (fileContent.Length < 3)
return null;
if (fileContent[0] == 0xef && fileContent[1] == 0xbb && fileContent[2] == 0xbf)
return Encoding.UTF8;
if (fileContent[0] == 0x2b && fileContent[1] == 0x2f && fileContent[2] == 0x76)
return Encoding.UTF7;
if (fileContent.Length < 4)
return null;
if (fileContent[0] == 0xff && fileContent[1] == 0xfe && fileContent[2] == 0 && fileContent[3] == 0)
return Encoding.UTF32;
if (fileContent[0] == 0 && fileContent[1] == 0 && fileContent[2] == 0xfe && fileContent[3] == 0xff)
return Encoding.GetEncoding(12001);
String probe;
int len = fileContent.Length;
if( fileContent.Length >= 128 ) len = 128;
probe = Encoding.ASCII.GetString(fileContent, 0, len);
MatchCollection mc = Regex.Matches(probe, "^<\\?xml[^<>]*encoding[ \\t\\n\\r]?=[\\t\\n\\r]?['\"]([A-Za-z]([A-Za-z0-9._]|-)*)", RegexOptions.Singleline);
// Add '[0].Groups[1].Value' to the end to test regex
if( mc.Count == 1 && mc[0].Groups.Count >= 2 )
{
// Typically picks up 'UTF-8' string
Encoding enc = null;
try {
enc = Encoding.GetEncoding( mc[0].Groups[1].Value );
}catch (Exception ) { }
if( enc != null )
return enc;
}
return Encoding.ASCII; // Default fallback
}
从文件中读取1024字节就足够了，但我加载的是整个文件。
其他回答
由于它基本上归结为启发式，因此使用以前从同一来源收到的文件的编码作为第一个提示可能会有所帮助。
大多数人(或应用程序)每次都以几乎相同的顺序做事，通常是在同一台机器上，所以当Bob创建一个.csv文件并将其发送给Mary时，它很可能总是使用Windows-1252或他的机器默认的任何文件。
在可能的情况下，一点客户培训也不会有什么坏处:-)
“uchardet”工具使用每个字符集的字符频率分布模型很好地做到了这一点。更大的文件和更“典型”的文件具有更强的可信度(显然)。
在ubuntu上，你只需要apt-get install uchardet。
在其他系统上，从这里获取源代码、用法和文档:https://github.com/BYVoid/uchardet
通过输入cpanm Text::Unaccent::PurePerl，这会生成一个build.log文件，在一些应用程序中显示为中文，在其他应用程序中显示为英文。cpanm是初始文本，一个合理的尝试，如果你足够幸运，在语言中有空格，是通过统计测试来比较单词的分布频率
我在Python中做过类似的事情。基本上，您需要来自各种编码的大量示例数据，这些数据由一个滑动的两字节窗口分解并存储在字典(散列)中，以提供编码列表值的字节对为键值。
给定这个字典(哈希)，你把你的输入文本:
如果它以任何BOM字符开头('\xfe\xff'用于UTF-16-BE， '\xff\xfe'用于UTF-16-LE， '\xef\xbb\xbf'用于UTF-8等)，我将其视为建议 如果不是，那么取足够大的文本样本，取样本的所有字节对，并选择从字典中建议的最不常见的编码。
如果您还采样了不以任何BOM开头的UTF编码文本，那么第二步将涵盖从第一步中遗漏的文本。
到目前为止，它对我来说是有效的(示例数据和后续输入数据是各种语言的字幕)，错误率正在降低。
你有没有尝试过c#移植到Mozilla通用字符集检测器
例子来自http://code.google.com/p/ude/
public static void Main(String[] args)
{
string filename = args[0];
using (FileStream fs = File.OpenRead(filename)) {
Ude.CharsetDetector cdet = new Ude.CharsetDetector();
cdet.Feed(fs);
cdet.DataEnd();
if (cdet.Charset != null) {
Console.WriteLine("Charset: {0}, confidence: {1}",
cdet.Charset, cdet.Confidence);
} else {
Console.WriteLine("Detection failed.");
}
}
}
