Отказано в доступе к веб-сайту через Tor

Я пытаюсь создать бота, который запрашивает URL-адрес через Tor. Я настроил тор. Ниже приведен код Python.

import pycurl
curl = pycurl.Curl()
curl.setopt(pycurl.URL, URL)
curl.setopt(pycurl.PROXY, '127.0.0.1')
curl.setopt(pycurl.PROXYPORT, 9050)
curl.setopt(pycurl.PROXYTYPE, pycurl.PROXYTYPE_SOCKS5_HOSTNAME)
curl.perform()

Он дает html-файл с отказом в доступе | URL использовал cloudflare для ограничения доступа.

Но когда доступ к тому же URL-адресу осуществляется через браузер с настроенным tor, доступ к URL-адресу выполняется успешно.

Есть ли способ получить доступ к URL-адресу с помощью скрипта Python?

Спасибо


person Satys    schedule 04.09.2015    source источник


Ответы (1)


Измените user_agent pycurl, например:

curl.setopt(pycurl.USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:8.0) Gecko/20100101 Firefox/8.0')
person user2358582    schedule 04.09.2015
comment
Возможно, вы захотите отправить более обновленный юзерагент... Mozilla/5.0 (Windows NT 10.0; WOW64; rv:40.0) Gecko/20100101 Firefox/40.0 - person Joe; 04.09.2015
comment
Зачем тебе это? Проверяет ли Cloudflare такие вещи? - person user2358582; 04.09.2015
comment
Я не знаю, делает ли это специально CloudFlare, но все основные сайты делают это по многим, многим причинам. Один, чтобы попытаться остановить автоматизацию и веб-сканирование. @user2358582 - person Joe; 04.09.2015