Передача веб-данных в Beautiful Soup — пустой список

Если вы просто хотите очистить страницу, requests получит нужный вам контент:

from bs4 import BeautifulSoup

import requests
r = requests.get('http://www.crummy.com/software/BeautifulSoup/')
soup = BeautifulSoup(r.content)

In [59]: soup.title
Out[59]: <title>Beautiful Soup: We called him Tortoise because he taught us.</title>

In [60]: soup.title.name
Out[60]: 'title'

urllib3 возвращает объект Response, который содержит .data с предварительно загруженной полезной нагрузкой тела.

Согласно приведенному выше примеру использования здесь, я бы сделал что-то вроде этого:

import urllib3
http = urllib3.PoolManager()
response = http.request('GET', 'http://www.crummy.com/software/BeautifulSoup/')

from bs4 import BeautifulSoup
soup = BeautifulSoup(response.data)  # Note the use of the .data property
...

Остальное должно работать как задумано.

--

Немного о том, что пошло не так в исходном коде:

Вы передали весь объект response, а не полезную нагрузку тела. Обычно это нормально, поскольку объект response представляет собой файлоподобный объект, за исключением в этом случае urllib3 уже использует весь ответ и анализирует его для вас, так что для .read() ничего не остается. Это похоже на передачу указателя файла, который уже был прочитан. .data, с другой стороны, получит доступ к уже прочитанным данным.

Если вы хотите использовать объекты ответа urllib3 в качестве файловых объектов, вам необходимо отключить предварительную загрузку содержимого, например:

response = http.request('GET', 'http://www.crummy.com/software/BeautifulSoup/', preload_content=False)
soup = BeautifulSoup(response)  # We can pass the original `response` object now.

Теперь он должен работать так, как вы ожидали.

Я понимаю, что это не очень очевидное поведение, и как автор urllib3 приношу свои извинения. :) Мы планируем когда-нибудь сделать preload_content=False значением по умолчанию. Возможно, когда-нибудь в ближайшее время (здесь я открыл вопрос).

--

Небольшое примечание о .urlopen против .request:

.urlopen предполагает, что вы позаботитесь о кодировании любых параметров, переданных в запрос. В этом случае можно использовать .urlopen, потому что вы не передаете никаких параметров в запрос, но в целом .request сделает за вас всю дополнительную работу, так что это удобнее.

Если кто-то захочет улучшить нашу документацию в этом отношении, мы будем очень признательны. :) Пожалуйста, отправьте PR на https://github.com/shazow/urllib3 и добавьте себя в качестве участника!

Как показано, ясно, что urlopen() возвращает HTTP-ответ, который захвачен переменным содержимым…

То, что вы назвали content, является не содержимым, а файлоподобным объектом, из которого вы можете прочитать содержимое. BeautifulSoup вполне доволен такой вещью, но распечатывать ее для целей отладки не очень полезно. Итак, давайте на самом деле прочитаем содержимое, чтобы упростить отладку:

>>> response = connectBuilder.urlopen('GET', 'http://www.crummy.com/software/BeautifulSoup/')
>>> response
<urllib3.response.HTTPResponse object at 0x00000000032EC390>
>>> content = response.read()
>>> content
b''

Это должно прояснить, что BeautifulSoup здесь не проблема. Но продолжая:

… но после того, как они переданы в Beautiful Soup, веб-данные не преобразуются в объект Beautiful Soup (переменный суп).

Да, это так. Тот факт, что soup.title дал вам None вместо повышения AttributeError, является довольно хорошим доказательством, но вы можете проверить это напрямую:

>>> type(soup)
bs4.BeautifulSoup

Это определенно BeautifulSoup объект.

Когда вы передаете BeautifulSoup пустую строку, именно то, что вы возвращаете, будет зависеть от того, какой синтаксический анализатор он использует внутри; если он полагается на стандартную библиотеку Python 3.x, вы получите узел html с пустым head и пустым body, и ничего больше. Итак, когда вы ищете узел title, его нет, и вы получаете None.

Итак, как это исправить?

Как сказано в документации, вы используете «вызов самого низкого уровня для выполнения запроса, поэтому вам нужно указать все необработанные детали». Что это за необработанные детали? Честно говоря, если вы еще не знаете, вам не следует использовать этот метод. Обучение вас тому, как обращаться с подкапотными деталями urllib3, прежде чем вы даже узнаете основы, не окажет вам услуги.

На самом деле, urllib3 здесь вообще не нужен. Просто используйте модули, которые поставляются с Python:

>>> # on Python 2.x, instead do: from urllib2 import urlopen 
>>> from urllib.request import urlopen
>>> r = urlopen('http://www.crummy.com/software/BeautifulSoup/')
>>> soup = BeautifulSoup(r)
>>> soup.title.text
'Beautiful Soup: We called him Tortoise because he taught us.'

Мой красивый суповый код работал в одной среде (моя локальная машина) и возвращал пустой список в другой (сервер Ubuntu 14).

Я решил свою проблему, изменив установку. подробности в другой теме:

Синтаксический анализ HTML с помощью Beautiful Soup возвращает пустой список