Вывод Python zlib, как восстановить таблицу mysql utf-8?

Unicode предназначен для совместимости с latin-1, поэтому попробуйте:

>>> import zlib
>>> u = zlib.compress("test").decode('latin1')
>>> u
u'x\x9c+I-.\x01\x00\x04]\x01\xc1'

А потом

>>> zlib.decompress(u.encode('latin1'))
'test'

EDIT: исправлена ​​опечатка, latin-1 не предназначен для совместимости с unicode, все наоборот.

У вас есть объект Unicode, который действительно кодирует байты. Это прискорбно, так как строки юникода должны быть только кодирующим текстом, верно?

В любом случае, мы хотим создать строку байтов. Это str в Python 2.x. Мы видим по напечатанной строке, которую вы дали u'x\x9cK\x04\x00\x00b\x00b', что значения байтов закодированы как кодовые точки Unicode. Мы можем получить числовое значение кода с помощью функции ord(..). Затем мы можем получить представление этого числа в виде строки байтов с помощью функции chr(..). Давайте попробуем это:

>>> ord(u"A")
65
>>> chr(_)
'A'

Таким образом, мы можем сами декодировать строку:

>>> udata = u'x\x9cK\x04\x00\x00b\x00b'
>>> bdata = "".join(chr(ord(uc)) for uc in udata)
>>> bdata
'x\x9cK\x04\x00\x00b\x00b'

(Подождите, что делает приведенный выше код? Что делает объединение? Сначала мы создаем список кодовых точек в строке:

>>> [ord(uc) for uc in udata]
[120, 156, 75, 4, 0, 0, 98, 0, 98]

Затем мы интерпретируем числа как байты, конвертируя их по отдельности:

>>> [chr(ord(uc)) for uc in udata]
['x', '\x9c', 'K', '\x04', '\x00', '\x00', 'b', '\x00', 'b']

Наконец, мы соединяем их с помощью "" в качестве разделителя, используя "".join(list-of-strings)

Конец ожидания..)

Тем не менее, cls умно отмечает, что кодировка Latin-1 имеет свойство, заключающееся в том, что значение байта символа в кодировке Latin-1 равно кодовой точке символа в Unicode. Учитывая, конечно, что символ находится в диапазоне от 0 до 255, где определена латиница-1. Это означает, что мы можем выполнить преобразование байтов непосредственно с помощью Latin-1:

>>> udata = u'x\x9cK\x04\x00\x00b\x00b'
>>> udata.encode("latin-1")
'x\x9cK\x04\x00\x00b\x00b'

Что, как видите, дает тот же результат.

valueInserted = zlib.compress('a') = 'x\x9cK\x04\x00\x00b\x00b'

Обратите внимание, что это объект str. Вы говорите, что «вставили его в столбец mysql типа blob, используя кодировку utf-8». Поскольку сжатая строка является двоичной, а не текстовой, "BLOB" является подходящим типом столбца, но ЛЮБОЕ кодирование или другое преобразование - очень плохая идея. Вы должны иметь возможность восстанавливать из базы данных ТОЧНО вплоть до последнего бита того, что вы вставили, иначе распаковка завершится ошибкой, либо (менее вероятно, но хуже) молча производя мусор.

Вы говорите, что возвращаетесь после любого процесса, через который вы проходите, вставляя его и снова извлекая:

valueFromSqlColumn = u'x\x9cK\x04\x00\x00b\x00b'

Внимательно отметьте, что есть только одна крошечная визуальная разница: u'что-то' вместо 'что-то'. Это делает его объектом unicode. Основываясь на ваших собственных доказательствах, «возвращается как UTF-8» неверно. Объект unicode и объект str, закодированный в utf8, — это не одно и то же.

Угадайте 1: вставьте как необработанную строку, извлеките с декодированием latin1.

Угадайте 2: вставьте как сжатый.decode('latin1').encode('utf8'), извлеките с декодированием utf8.

Вам действительно нужно понимать процесс вставки и извлечения, в том числе то, что кодирует и декодирует по умолчанию.

Тогда вам действительно нужно исправить свой код. Однако тем временем вы, вероятно, можете собрать то, что у вас есть.

Обратите внимание:

>>> valueFromSqlColumn = u'x\x9cK\x04\x00\x00b\x00b'
>>> all(ord(char) <= 255 for char in valueFromSqlColumn)
True

Проведите несколько испытаний с более сложным вводом, чем «а». Если, как я предполагаю, вы видите, что все символы Юникода имеют порядковый номер в диапазоне (256), то у вас есть простой кладж:

>>> compressed = valueFromSqlColumn.encode('latin1')
>>> compressed
'x\x9cK\x04\x00\x00b\x00b'
>>> zlib.decompress(compressed)
'a'

Почему это работает, так это то, что кодирование/декодирование Latin1 не меняет порядковый номер. Вы можете восстановить исходное сжатое значение:

>>> compressed2 = ''.join(chr(ord(uc)) for uc in valueFromSqlColumn)
>>> compressed2
'x\x9cK\x04\x00\x00b\x00b'
>>> compressed2 == compressed
True

если вы думаете, что использование .encode('latin1') слишком похоже на вуду.

Если описанное выше не работает (т. е. некоторые порядковые номера не находятся в диапазоне (256)), вам потребуется создать небольшой исполняемый скрипт, который показывает точно и воспроизводимо, как вы сжимаете, вставляя в базу данных и извлечение из базы данных... посыпьте свой код большим количеством print "variable", repr(variable), чтобы вы могли видеть, что происходит.