在我们的应用程序中，我们从不同的来源接收文本文件(.txt， .csv等)。读取时，这些文件有时包含垃圾，因为这些文件是在不同的/未知的代码页中创建的。
是否有一种方法(自动)检测文本文件的代码页?
detectEncodingFromByteOrderMarks，在StreamReader构造函数上，适用于UTF8和其他unicode标记的文件，但我正在寻找一种方法来检测代码页，如ibm850, windows1252。
谢谢你的回答，这就是我所做的。
我们收到的文件来自最终用户，他们没有关于代码页的线索。接收者也是最终用户，到目前为止，这是他们对代码页的了解:代码页存在，并且令人讨厌。
解决方案:
在记事本中打开收到的文件，查看一段乱码的文本。如果有人叫François之类的，凭你的智商你就能猜出来。 我已经创建了一个小应用程序，用户可以使用它打开文件，并输入用户知道它将出现在文件中的文本，当使用正确的代码页时。 遍历所有代码页，并显示包含用户提供的文本的解决方案的代码页。 如果多个代码页同时弹出，请用户指定更多文本。
当前回答
如果可以链接到C库，则可以使用libenca。见http://cihar.com/software/enca/。从手册页:
Enca读取给定的文本文件，或者在没有给定的情况下读取标准输入， 并使用有关他们语言的知识(必须由您支持)和 它混合了分析、统计分析、猜测和黑魔法 来确定它们的编码。
它是GPL v2。
其他回答
作为ITmeze post的插件，我已经使用这个函数来转换c#端口的Mozilla通用字符集检测器的输出
private Encoding GetEncodingFromString(string codePageName)
{
try
{
return Encoding.GetEncoding(codePageName);
}
catch
{
return Encoding.ASCII;
}
}
MSDN
如果可以链接到C库，则可以使用libenca。见http://cihar.com/software/enca/。从手册页:
Enca读取给定的文本文件，或者在没有给定的情况下读取标准输入， 并使用有关他们语言的知识(必须由您支持)和 它混合了分析、统计分析、猜测和黑魔法 来确定它们的编码。
它是GPL v2。
由于它基本上归结为启发式，因此使用以前从同一来源收到的文件的编码作为第一个提示可能会有所帮助。
大多数人(或应用程序)每次都以几乎相同的顺序做事，通常是在同一台机器上，所以当Bob创建一个.csv文件并将其发送给Mary时，它很可能总是使用Windows-1252或他的机器默认的任何文件。
在可能的情况下，一点客户培训也不会有什么坏处:-)
您无法检测到代码页
这显然是错误的。每个web浏览器都有某种通用字符集检测器来处理没有任何编码指示的页面。Firefox就有一个。您可以下载代码并查看它是如何执行的。请在这里查看一些文档。基本上，这是一种启发式，但效果非常好。
给定合理数量的文本，甚至可以检测语言。
这是我刚刚用谷歌发现的另一个:
我使用这段代码来检测Unicode和windows默认的ansi代码页时读取文件。对于其他编码，需要手动或通过编程检查内容。这可以用来保存与打开时相同编码的文本。(我使用VB.NET)
'Works for Default and unicode (auto detect)
Dim mystreamreader As New StreamReader(LocalFileName, Encoding.Default)
MyEditTextBox.Text = mystreamreader.ReadToEnd()
Debug.Print(mystreamreader.CurrentEncoding.CodePage) 'Autodetected encoding
mystreamreader.Close()
