Использование Python для загрузки документа, на который явно не ссылается URL-адрес

В этом случае то, что вы называете «документом, на который явно не ссылаются в URL-адресе», похоже, является тем, что известно как «перенаправление». По сути, сервер сообщает вам, что вы должны получить документ по другому URL-адресу. Обычно urllib python автоматически следует этим перенаправлениям, так что вы получите правильный файл. (и, как уже упоминалось, вы можете проверить заголовок mime-типа ответа, чтобы увидеть, является ли он pdf).

Однако рассматриваемый сервер делает здесь что-то странное. Вы запрашиваете URL-адрес, и он перенаправляет вас на другой URL-адрес. Вы запрашиваете другой URL-адрес, и он снова перенаправляет вас... на тот же URL-адрес! И снова... И снова... В какой-то момент urllib решит, что этого уже достаточно, и перестанет следовать редиректу, чтобы не попасть в бесконечный цикл.

Так как же вы можете получить pdf, когда вы используете свой браузер? Потому что, по-видимому, сервер будет обслуживать PDF-файл только в том случае, если у вас включены файлы cookie. (почему? вы должны спросить людей, ответственных за сервер...) Если у вас нет файла cookie, он просто будет перенаправлять вас навсегда.

(проверьте urllib2 и cookielib для поддержки файлов cookie, это руководство может помочь)

По крайней мере, это то, что я думаю, является причиной проблемы. На самом деле я еще не пробовал делать это с помощью файлов cookie. Также может случиться так, что сервер «не хочет» обслуживать PDF-файл, потому что он обнаруживает, что вы не используете «обычный» браузер (в этом случае вам, вероятно, придется возиться с заголовком User-Agent), но он было бы странным способом сделать это. Итак, я предполагаю, что он где-то использует «сеансовый файл cookie», и, если у вас его еще нет, он продолжает пытаться перенаправить.

По URL-адресу невозможно сказать, что он вам даст. Даже если он заканчивается на .pdf, он все равно может дать вам HTML или что угодно.

Вы можете сделать запрос HEAD и посмотреть тип содержимого, который, если сервер вам не лжет, сообщит вам, является ли это PDF-файлом.

В качестве альтернативы вы можете загрузить его, а затем выяснить, является ли то, что вы получили, PDF.

Как уже было сказано, невозможно отличить тип контента от URL-адреса. Но если вы не против получить заголовки для каждого URL-адреса, вы можете сделать это:

obj = urllib.urlopen(URL)

headers = obj.info()
if headers['Content-Type'].find('pdf') != -1:
   # we have pdf file, download whole
...

Таким образом, вам не нужно будет загружать каждый URL-адрес только его заголовки. Это все еще не совсем экономия сетевого трафика, но от этого лучше не станет.

Также вы должны использовать MIME-типы вместо моей грубой находки ('pdf').

Нет. Невозможно сказать, на какой ресурс ссылается URL-адрес, просто взглянув на него. Сервер полностью зависит от того, что он дает вам, когда вы запрашиваете определенный URL-адрес.

Проверьте тип mime с помощью функции urllib.info(). Это может быть не на 100% точно, это действительно зависит от того, что сайт возвращает как заголовок Content-Type. Если он ведет себя хорошо, он вернет правильный тип пантомимы.

PDF-файл должен возвращать application/pdf, но это может быть не так.

В противном случае вам, возможно, придется просто скачать его и попробовать.

Вы не можете увидеть это непосредственно по URL-адресу. Вы можете попробовать загрузить только заголовок HTTP-ответа и найти заголовок Content-Type. Однако вы должны доверять серверу в этом - он может ответить неправильным заголовком Content-Type, не соответствующим данным, представленным в теле.

Определите тип файла в Python 3.x и веб-приложении с URL-адресом файла, который не может иметь расширения или поддельного расширения. Вы должны установить python-magic, используя

pip3 install python-magic

Для Mac OS X вам также следует установить libmagic, используя

brew install libmagic

Фрагмент кода

import urllib
import magic
from urllib.request import urlopen

url = "http://...url to the file ..."
request = urllib.request.Request(url)
response = urlopen(request)
mime_type = magic.from_buffer(response.read())
print(mime_type)