Как определить символы UTF-8 в столбце с кодировкой Latin1 - MySQL

Кодировка символов, как и часовые пояса, является постоянным источником проблем.

Что вы можете сделать, так это поискать любые символы "высокого ASCII", поскольку это либо символы с диакритическими знаками LATIN1, либо первый из многобайтовых символов UTF-8. Определить разницу будет нелегко, если вы немного не обманете.

Чтобы выяснить, какая кодировка правильная, вы просто SELECT две разные версии и сравниваете их визуально. Вот пример:

SELECT CONVERT(CONVERT(name USING BINARY) USING latin1) AS latin1, 
       CONVERT(CONVERT(name USING BINARY) USING utf8) AS utf8 
FROM users 
WHERE CONVERT(name USING BINARY) RLIKE CONCAT('[', UNHEX('80'), '-', UNHEX('FF'), ']')

Это делается необычно сложным, потому что механизм регулярных выражений MySQL, кажется, игнорирует такие вещи, как \x80, и заставляет вместо этого использовать метод UNHEX().

Это дает такие результаты:

latin1                utf8
----------------------------------------
Björn                Björn

Поскольку ваш вопрос не совсем ясен, давайте предположим несколько сценариев:

1. До сих пор неправильное соединение: вы неправильно подключались к своей базе данных, используя кодировку latin1, но сохранили данные UTF-8 в базе данных (кодировка столбца в этом случае не имеет значения). Это случай, который я описал здесь. В этом случае это легко исправить: сбросить содержимое базы данных в файл через соединение latin1. Это переведет неправильно сохраненные данные в неправильно сохраненный UTF-8, как это работало до сих пор (подробности кровавых подробностей см. В указанной выше статье). Затем вы можете повторно импортировать данные в базу данных через правильно настроенное соединение utf8, и они будут сохранены, как и должно быть.
2. До сих пор неправильная кодировка столбца: данные UTF-8 были вставлены в столбец latin1 через соединение utf8. В этом случае забудьте, данные исчезнут. Любой не латинский символ должен быть заменен на ?.
3. До сих пор все было хорошо, с этого момента добавлена ​​поддержка UTF-8: у вас есть данные Latin-1, правильно сохраненные в столбце latin1, вставленные через соединение latin1, но вы хотите расширить это, чтобы также разрешить данные UTF-8 . В этом случае просто измените кодировку столбца на utf8. MySQL преобразует существующие данные за вас. Затем просто убедитесь, что для подключения к базе данных установлено значение utf8, когда вы вставляете данные UTF-8.

Есть скрипт на github, который поможет в этом.

Я бы создал дамп базы данных и grep для всех допустимых последовательностей UTF8. Где взять, зависит от того, что вы получите. Есть несколько вопросов по SO об идентификации недопустимого UTF8; вы можете просто изменить логику.

Изменить. Таким образом, любое поле, состоящее полностью из 7-битного ASCII, является безопасным, и любое поле, содержащее недопустимую последовательность UTF-8, можно считать Latin-1. Остальные данные следует проверить - если вам повезет, несколько очевидных замен исправят абсолютное большинство (замените ö на Latin-1 ö и т. Д.).