我实际上是在寻找一种通用的，而不是编程的方法来检测文件编码，但我还没有找到。 通过测试不同的编码，我发现我的文本是UTF-7。

我第一次做的是 StreamReader文件= file . opentext (fullfilename);

我不得不把它改成: StreamReader文件=新的StreamReader(fullfilename, System.Text.Encoding.UTF7);

OpenText假设它是UTF-8。

你也可以像这样创建StreamReader new StreamReader(fullfilename, true)，第二个参数意味着它应该尝试从文件的byteordermark中检测编码，但这在我的例子中不起作用。

由于它基本上归结为启发式，因此使用以前从同一来源收到的文件的编码作为第一个提示可能会有所帮助。

大多数人(或应用程序)每次都以几乎相同的顺序做事，通常是在同一台机器上，所以当Bob创建一个.csv文件并将其发送给Mary时，它很可能总是使用Windows-1252或他的机器默认的任何文件。

在可能的情况下，一点客户培训也不会有什么坏处:-)

你有没有尝试过c#移植到Mozilla通用字符集检测器

例子来自http://code.google.com/p/ude/

public static void Main(String[] args)
{
    string filename = args[0];
    using (FileStream fs = File.OpenRead(filename)) {
        Ude.CharsetDetector cdet = new Ude.CharsetDetector();
        cdet.Feed(fs);
        cdet.DataEnd();
        if (cdet.Charset != null) {
            Console.WriteLine("Charset: {0}, confidence: {1}", 
                 cdet.Charset, cdet.Confidence);
        } else {
            Console.WriteLine("Detection failed.");
        }
    }
}    

我知道现在提这个问题已经很晚了，而且这个解决方案不会吸引一些人(因为它以英语为中心的偏见和缺乏统计/实证测试)，但它对我来说非常有效，特别是在处理上传的CSV数据方面:

http://www.architectshack.com/TextFileEncodingDetector.ashx

优点:

内置BOM检测 默认/回退编码可定制 相当可靠(以我的经验)的西欧文件包含一些奇异的数据(如法国名称)与混合UTF-8和拉丁-1风格的文件-基本上大部分美国和西欧环境。

注意:我是编写这个类的人，所以显然要持保留态度!：）

我在Python中做过类似的事情。基本上，您需要来自各种编码的大量示例数据，这些数据由一个滑动的两字节窗口分解并存储在字典(散列)中，以提供编码列表值的字节对为键值。

给定这个字典(哈希)，你把你的输入文本:

如果它以任何BOM字符开头('\xfe\xff'用于UTF-16-BE， '\xff\xfe'用于UTF-16-LE， '\xef\xbb\xbf'用于UTF-8等)，我将其视为建议 如果不是，那么取足够大的文本样本，取样本的所有字节对，并选择从字典中建议的最不常见的编码。

如果您还采样了不以任何BOM开头的UTF编码文本，那么第二步将涵盖从第一步中遗漏的文本。

到目前为止，它对我来说是有效的(示例数据和后续输入数据是各种语言的字幕)，错误率正在降低。

在寻找不同的解决方案时，我发现

https://code.google.com/p/ude/

这个溶液有点重。

我需要一些基本的编码检测，基于4个第一个字节和可能的xml字符集检测-所以我从互联网上取了一些样本源代码，并添加了稍微修改的版本

http://lists.w3.org/Archives/Public/www-validator/2002Aug/0084.html

为Java编写的。

    public static Encoding DetectEncoding(byte[] fileContent)
    {
        if (fileContent == null)
            throw new ArgumentNullException();

        if (fileContent.Length < 2)
            return Encoding.ASCII;      // Default fallback

        if (fileContent[0] == 0xff
            && fileContent[1] == 0xfe
            && (fileContent.Length < 4
                || fileContent[2] != 0
                || fileContent[3] != 0
                )
            )
            return Encoding.Unicode;

        if (fileContent[0] == 0xfe
            && fileContent[1] == 0xff
            )
            return Encoding.BigEndianUnicode;

        if (fileContent.Length < 3)
            return null;

        if (fileContent[0] == 0xef && fileContent[1] == 0xbb && fileContent[2] == 0xbf)
            return Encoding.UTF8;

        if (fileContent[0] == 0x2b && fileContent[1] == 0x2f && fileContent[2] == 0x76)
            return Encoding.UTF7;

        if (fileContent.Length < 4)
            return null;

        if (fileContent[0] == 0xff && fileContent[1] == 0xfe && fileContent[2] == 0 && fileContent[3] == 0)
            return Encoding.UTF32;

        if (fileContent[0] == 0 && fileContent[1] == 0 && fileContent[2] == 0xfe && fileContent[3] == 0xff)
            return Encoding.GetEncoding(12001);

        String probe;
        int len = fileContent.Length;

        if( fileContent.Length >= 128 ) len = 128;
        probe = Encoding.ASCII.GetString(fileContent, 0, len);

        MatchCollection mc = Regex.Matches(probe, "^<\\?xml[^<>]*encoding[ \\t\\n\\r]?=[\\t\\n\\r]?['\"]([A-Za-z]([A-Za-z0-9._]|-)*)", RegexOptions.Singleline);
        // Add '[0].Groups[1].Value' to the end to test regex

        if( mc.Count == 1 && mc[0].Groups.Count >= 2 )
        {
            // Typically picks up 'UTF-8' string
            Encoding enc = null;

            try {
                enc = Encoding.GetEncoding( mc[0].Groups[1].Value );
            }catch (Exception ) { }

            if( enc != null )
                return enc;
        }

        return Encoding.ASCII;      // Default fallback
    }

从文件中读取1024字节就足够了，但我加载的是整个文件。