Как мне запретить адаптеру Sequel postgres-pr возвращать данные в неправильной кодировке?

postgres-pr не поддерживает кодировки. Я не планирую добавлять это сам, но я готов рассмотреть патчи.

Вы можете использовать плагин force_encoding Sequel::Model, чтобы исправить кодировку, по крайней мере, для тех мест, где вы используете модели.

Я попробовал ваш пример кода на одной из моих БД, и все сработало, как и ожидалось. Может быть что-то особенное в вашей установке? Вы можете проверить кодировку клиента с помощью

p c.query("SHOW client_encoding;").rows.first

И должен иметь возможность установить его, используя:

p c.query("SET CLIENT_ENCODING TO 'UTF-8';")

После отзывов Энди Джонса и комментариев Джереми я еще немного изучил исходный код. Редактирование вопроса, чтобы у меня были лучшие параметры форматирования, чем в качестве комментария.

Драйвер считывает US-ASCII из потока следующим образом:

    buffer.copy_from_stream(stream, length-4)

исходный код

Это, в свою очередь, вызывает Buffer#write, который вставляет данные в свой собственный @content:

@content[@position, sz] = str

исходный код

Теперь @content представляет собой строку определенного размера, заполненную знаками #, и создается она следующим образом:

def self.of_size(size)
  raise ArgumentError if size < 0
  new('#' * size
end

Это делает @content строкой UTF-8, если ваша система настроена на использование UTF-8. Объединение строки US-ASCII с UTF приведет к строке __UTF-8. С этого момента преобразование не происходит, поэтому он должен оставаться в этой кодировке. Содержимое столбца считывается с помощью метода Buffer.read, который делает следующее:

@content[@position, n]

исходный код

Это длинное объяснение просто для того, чтобы сказать: я не понимаю, почему вы видите вывод US-ASCII :-(

ЕСЛИ: ваша система не настроена на использование UTF-8 каким-то странным образом.

Кодировка по умолчанию была US-ASCII в Ruby 1.9 и изменена на UTF-8 в Ruby 2.2 (или раньше, не уверен?).

У тебя есть

# encoding: 

стиль комментария в начале файла?

Что произойдет, если вы сделаете

puts String.new.encoding

Какова ценность

puts __ENCODING__

Какова ценность

puts RUBY_VERSION

Пожалуйста, зарегистрируйте тот же файл, в котором вы запускаете тестовый сценарий БД.

Ключом к пониманию того, что здесь происходит, являются множественные настройки кодирования в ruby. Есть:

• кодировка локали, установленная с помощью магического комментария или ключа командной строки -k.

• внешняя кодировка по умолчанию, установленная с помощью Encoding.default_external или --external-encoding или -E

• внутренняя кодировка по умолчанию, заданная с помощью Encoding.default_internal или --internal-encoding (или -E после двоеточия)

Ruby по умолчанию устанавливает для строки внутреннюю или внешнюю кодировку на основе некоторых довольно запутанных правил. Подробнее см. в документации. Но важной частью здесь является то, что когда строка создается из двоичных данных, кажется, что используется внутренняя, а не внешняя кодировка.

Моя внутренняя кодировка равна нулю, так что этого не происходило. (ASCII-8BIT — это кодировка, которую вы получаете, когда Ruby не знает, что такое кодировка — это в основном означает «для меня это просто данные; удачи в чтении».)

Если я передам --internal-encoding UTF-8 в командной строке, проблема исчезнет. В некотором смысле это не имеет ничего общего с жемчужиной Джереми.

Когда я помещаю -E UTF-8 в командную строку, это устанавливает внешнюю кодировку по умолчанию. Что в данном случае ничего не дало.

РЕДАКТИРОВАТЬ: В этом случае это сработало, но при некоторых (всех?) обстоятельствах Ruby транскодирует строку во внутреннюю кодировку, а не просто устанавливает значение кодировки, как в force_encoding. Это тяжело.