Угадать кодировку текста, представленного как byte [] в Java

Следующий метод решает проблему с использованием juniversalchardet, который является портом Java библиотеки обнаружения кодировки Mozilla.

public static String guessEncoding(byte[] bytes) {
    String DEFAULT_ENCODING = "UTF-8";
    org.mozilla.universalchardet.UniversalDetector detector =
        new org.mozilla.universalchardet.UniversalDetector(null);
    detector.handleData(bytes, 0, bytes.length);
    detector.dataEnd();
    String encoding = detector.getDetectedCharset();
    detector.reset();
    if (encoding == null) {
        encoding = DEFAULT_ENCODING;
    }
    return encoding;
}

Приведенный выше код был протестирован и работает так, как задумано. Просто добавьте juniversalchardet-1.0.3.jar в путь к классам.

Я протестировал как juniversalchardet, так и jchardet. Мое общее впечатление таково, что juniversalchardet обеспечивает лучшую точность обнаружения и более приятный API из двух библиотек.

Также существует Apache Tika - набор инструментов для анализа контента. Он может угадать тип пантомимы и кодировку. Обычно предположение оказывается верным с очень высокой вероятностью.

Вот мой любимый: https://github.com/codehaus/guessencoding

Работает это так:

• Если есть спецификация UTF-8 или UTF-16, верните эту кодировку.
• Если ни в одном из байтов не установлен старший бит, верните ASCII (или вы можете заставить его вернуть 8-битную кодировку по умолчанию).
• Если есть байты с установленным старшим битом, но они расположены по правильным шаблонам для UTF-8, верните UTF-8.
• В противном случае верните кодировку платформы по умолчанию (например, windows-1252 в системе Windows с английской локалью).

Это может показаться чересчур упрощенным, но в моей повседневной работе точность превышает 90%.

Ответ Чи кажется наиболее многообещающим для реального использования. Я просто хочу добавить, что, по словам Джоэла Спольски, в свое время Internet Explorer использовал алгоритм угадывания на основе частоты:

http://www.joelonsoftware.com/articles/Unicode.html

Грубо говоря, весь предполагаемый текст копируется и анализируется во всех возможных кодировках. Побеждает тот синтаксический анализ, который лучше всего соответствует среднему профилю частотности слов (и букв?) Языка. Я не могу быстро увидеть, использует ли jchardet такой же подход, поэтому я подумал, что упомяну об этом на всякий случай.

Ознакомьтесь с jchardet

Должны быть вещи уже доступны

поиск Google показал icu4j

or

http://jchardet.sourceforge.net/

Без индикатора кодировки вы никогда не узнаете наверняка. Тем не менее, вы можете сделать некоторые разумные предположения. Смотрите мой ответ на этот вопрос,

Как определить, содержит ли строка недопустимые закодированные символы