在我们的应用程序中，我们从不同的来源接收文本文件(.txt， .csv等)。读取时，这些文件有时包含垃圾，因为这些文件是在不同的/未知的代码页中创建的。
是否有一种方法(自动)检测文本文件的代码页?
detectEncodingFromByteOrderMarks，在StreamReader构造函数上，适用于UTF8和其他unicode标记的文件，但我正在寻找一种方法来检测代码页，如ibm850, windows1252。
谢谢你的回答，这就是我所做的。
我们收到的文件来自最终用户，他们没有关于代码页的线索。接收者也是最终用户，到目前为止，这是他们对代码页的了解:代码页存在，并且令人讨厌。
解决方案:
在记事本中打开收到的文件，查看一段乱码的文本。如果有人叫François之类的，凭你的智商你就能猜出来。 我已经创建了一个小应用程序，用户可以使用它打开文件，并输入用户知道它将出现在文件中的文本，当使用正确的代码页时。 遍历所有代码页，并显示包含用户提供的文本的解决方案的代码页。 如果多个代码页同时弹出，请用户指定更多文本。
当前回答
如果您正在寻找检测非utf编码(即没有BOM)，那么您基本上需要对文本进行启发式和统计分析。您可能想看一看Mozilla关于通用字符集检测的论文(相同的链接，通过Wayback Machine有更好的格式)。
其他回答
如果您正在寻找检测非utf编码(即没有BOM)，那么您基本上需要对文本进行启发式和统计分析。您可能想看一看Mozilla关于通用字符集检测的论文(相同的链接，通过Wayback Machine有更好的格式)。
在寻找不同的解决方案时，我发现
https://code.google.com/p/ude/
这个溶液有点重。
我需要一些基本的编码检测，基于4个第一个字节和可能的xml字符集检测-所以我从互联网上取了一些样本源代码，并添加了稍微修改的版本
http://lists.w3.org/Archives/Public/www-validator/2002Aug/0084.html
为Java编写的。
public static Encoding DetectEncoding(byte[] fileContent)
{
if (fileContent == null)
throw new ArgumentNullException();
if (fileContent.Length < 2)
return Encoding.ASCII; // Default fallback
if (fileContent[0] == 0xff
&& fileContent[1] == 0xfe
&& (fileContent.Length < 4
|| fileContent[2] != 0
|| fileContent[3] != 0
)
)
return Encoding.Unicode;
if (fileContent[0] == 0xfe
&& fileContent[1] == 0xff
)
return Encoding.BigEndianUnicode;
if (fileContent.Length < 3)
return null;
if (fileContent[0] == 0xef && fileContent[1] == 0xbb && fileContent[2] == 0xbf)
return Encoding.UTF8;
if (fileContent[0] == 0x2b && fileContent[1] == 0x2f && fileContent[2] == 0x76)
return Encoding.UTF7;
if (fileContent.Length < 4)
return null;
if (fileContent[0] == 0xff && fileContent[1] == 0xfe && fileContent[2] == 0 && fileContent[3] == 0)
return Encoding.UTF32;
if (fileContent[0] == 0 && fileContent[1] == 0 && fileContent[2] == 0xfe && fileContent[3] == 0xff)
return Encoding.GetEncoding(12001);
String probe;
int len = fileContent.Length;
if( fileContent.Length >= 128 ) len = 128;
probe = Encoding.ASCII.GetString(fileContent, 0, len);
MatchCollection mc = Regex.Matches(probe, "^<\\?xml[^<>]*encoding[ \\t\\n\\r]?=[\\t\\n\\r]?['\"]([A-Za-z]([A-Za-z0-9._]|-)*)", RegexOptions.Singleline);
// Add '[0].Groups[1].Value' to the end to test regex
if( mc.Count == 1 && mc[0].Groups.Count >= 2 )
{
// Typically picks up 'UTF-8' string
Encoding enc = null;
try {
enc = Encoding.GetEncoding( mc[0].Groups[1].Value );
}catch (Exception ) { }
if( enc != null )
return enc;
}
return Encoding.ASCII; // Default fallback
}
从文件中读取1024字节就足够了，但我加载的是整个文件。
10年(!)已经过去了，我仍然没有看到MS的好的、非gpl的解决方案:IMultiLanguage2 API。
前面提到的大多数库都是基于Mozilla的UDE的——浏览器已经解决了类似的问题，这似乎是合理的。我不知道chrome的解决方案是什么，但自从IE 5.0 MS发布了他们的解决方案，它是:
没有gpl之类的许可问题， 可能是永远的支持和维护 给出丰富的输出-所有编码/编码页的有效候选以及置信度分数， 非常容易使用(它是一个单一的函数调用)。
它是一个原生COM调用，但这里有Carsten Zeumer的一些非常好的工作，它处理了。net使用中的互操作混乱。周围还有一些其他的图书馆，但总的来说，这个图书馆没有得到应有的关注。
你不能检测到代码页，你需要被告知。您可以分析字节并猜测它，但这可能会给出一些奇怪(有时很有趣)的结果。我现在找不到它，但我相信记事本可以被骗用中文显示英文文本。
不管怎样，这是你需要读的: 每个软件开发人员绝对、肯定必须知道Unicode和字符集(没有借口!)
乔尔特别说:
The Single Most Important Fact About Encodings If you completely forget everything I just explained, please remember one extremely important fact. It does not make sense to have a string without knowing what encoding it uses. You can no longer stick your head in the sand and pretend that "plain" text is ASCII. There Ain't No Such Thing As Plain Text. If you have a string, in memory, in a file, or in an email message, you have to know what encoding it is in or you cannot interpret it or display it to users correctly.
我知道现在提这个问题已经很晚了，而且这个解决方案不会吸引一些人(因为它以英语为中心的偏见和缺乏统计/实证测试)，但它对我来说非常有效，特别是在处理上传的CSV数据方面:
http://www.architectshack.com/TextFileEncodingDetector.ashx
优点:
内置BOM检测 默认/回退编码可定制 相当可靠(以我的经验)的西欧文件包含一些奇异的数据(如法国名称)与混合UTF-8和拉丁-1风格的文件-基本上大部分美国和西欧环境。
注意:我是编写这个类的人，所以显然要持保留态度!：）
