Как запрашивать сжатые страницы с веб-серверов через скрипты ruby?

Можно отправлять собственные заголовки в виде хэшей ...

custom_request = Net::HTTP::Get.new(url.path, {"Accept-Encoding" => "gzip"})

затем вы можете проверить ответ, определив объект ответа как:

response = Net::HTTP.new(url.host, url.port).start do |http| 
http.request(custom_request) 
end 

p [response['Content-Encoding']

Спасибо тем, кто откликнулся ...

Вам необходимо отправить следующий заголовок с вашим запросом:

Accept-Encoding: gzip,deflate

Однако я все еще читаю, как кодировать Ruby, и не знаю, как выполнить синтаксис заголовка в библиотеке net / http (которую, как я полагаю, вы используете для запроса)

Изменить: на самом деле, согласно ruby ​​doc похоже, что этот заголовок является частью заголовка по умолчанию, отправляемого, если вы не укажете другие заголовки 'accept-encoding'.

С другой стороны, как я уже сказал в своем первоначальном ответе, я все еще просто читаю тему, поэтому могу ошибаться.

Для захвата веб-страниц и работы с ними отлично подходит ScrubyIt.