Асинхронные вызовы HTTP в Python

Twisted framework как раз подходит для этого. Но если вы не хотите брать на себя это, вы также можете использовать pycurl, оболочку для libcurl, которая имеет свои особенности. собственный асинхронный цикл событий и поддерживает обратные вызовы.

Начиная с Python 3.2, вы можете использовать concurrent.futures для запуска параллельных задач.

Посмотрите на этот ThreadPoolExecutor пример:

http://docs.python.org/dev/library/concurrent.futures.html#threadpoolexecutor-example

Он порождает потоки для получения HTML и обрабатывает ответы по мере их получения.

import concurrent.futures
import urllib.request

URLS = ['http://www.foxnews.com/',
        'http://www.cnn.com/',
        'http://europe.wsj.com/',
        'http://www.bbc.co.uk/',
        'http://some-made-up-domain.com/']

# Retrieve a single page and report the url and contents
def load_url(url, timeout):
    conn = urllib.request.urlopen(url, timeout=timeout)
    return conn.readall()

# We can use a with statement to ensure threads are cleaned up promptly
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
    # Start the load operations and mark each future with its URL
    future_to_url = {executor.submit(load_url, url, 60): url for url in URLS}
    for future in concurrent.futures.as_completed(future_to_url):
        url = future_to_url[future]
        try:
            data = future.result()
        except Exception as exc:
            print('%r generated an exception: %s' % (url, exc))
        else:
            print('%r page is %d bytes' % (url, len(data)))

В приведенном выше примере используется многопоточность. Также есть аналогичный ProcessPoolExecutor, использующий пул процессов, а не потоков:

http://docs.python.org/dev/library/concurrent.futures.html#processpoolexecutor-example

import concurrent.futures
import urllib.request

URLS = ['http://www.foxnews.com/',
        'http://www.cnn.com/',
        'http://europe.wsj.com/',
        'http://www.bbc.co.uk/',
        'http://some-made-up-domain.com/']

# Retrieve a single page and report the url and contents
def load_url(url, timeout):
    conn = urllib.request.urlopen(url, timeout=timeout)
    return conn.readall()

# We can use a with statement to ensure threads are cleaned up promptly
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
    # Start the load operations and mark each future with its URL
    future_to_url = {executor.submit(load_url, url, 60): url for url in URLS}
    for future in concurrent.futures.as_completed(future_to_url):
        url = future_to_url[future]
        try:
            data = future.result()
        except Exception as exc:
            print('%r generated an exception: %s' % (url, exc))
        else:
            print('%r page is %d bytes' % (url, len(data)))

Знаете ли вы о евентлете? Он позволяет вам писать то, что кажется синхронным кодом, но работать асинхронно по сети.

Вот пример сверхминимального краулера:

urls = ["http://www.google.com/intl/en_ALL/images/logo.gif",
     "https://wiki.secondlife.com/w/images/secondlife.jpg",
     "http://us.i1.yimg.com/us.yimg.com/i/ww/beta/y3.gif"]

import eventlet
from eventlet.green import urllib2

def fetch(url):

  return urllib2.urlopen(url).read()

pool = eventlet.GreenPool()

for body in pool.imap(fetch, urls):
  print "got body", len(body)

(Хотя эта ветка посвящена Python на стороне сервера. Поскольку этот вопрос был задан некоторое время назад. Другие могут наткнуться на это, когда они ищут аналогичный ответ на стороне клиента)

Для решения на стороне клиента вы можете взглянуть на библиотеку Async.js, особенно на раздел Control-Flow.

https://github.com/caolan/async#control-flow

Комбинируя Параллель с Водопадом, вы можете добиться желаемого результата.

WaterFall( Parallel(TaskA, TaskB, TaskC) -> PostParallelTask)

Если вы изучите пример в разделе Control-Flow - Auto, они дадут вам пример вышеизложенного: https://github.com/caolan/async#autotasks-callback, где файл записи зависит от get_data и make_folder, а email_link зависит от файла записи.

Обратите внимание, что все это происходит на стороне клиента (если вы не используете Node.JS — на стороне сервера).

Для Python на стороне сервера посмотрите PyCURL @ https://github.com/pycurl/pycurl/blob/master/examples/basicfirst.py

Комбинируя приведенный ниже пример с pyCurl, вы можете добиться неблокирующей многопоточной функциональности.