Загрузка изображений с помощью gevent

Думаю, будет лучше придерживаться urllib2, на примере https://github.com/gevent/gevent/blob/master/examples/concurrent_download.py#L1

Попробуйте этот код, я полагаю, это то, о чем вы спрашиваете.

import gevent
from gevent import monkey

# patches stdlib (including socket and ssl modules) to cooperate with other greenlets
monkey.patch_all()

import sys

urls = sorted(chloya_files)

if sys.version_info[0] == 3:
    from urllib.request import urlopen
else:
    from urllib2 import urlopen


def download_file(url):
    data = urlopen(url).read()
    img_name = url.split('/')[-1]
    with open('c:/temp/img/'+img_name, 'wb') as f:
        f.write(data)
    return True


from time import time

t1 = time()
tasks = [gevent.spawn(download_file, url) for url in urls]
gevent.joinall(tasks, timeout = 12.0)
print "Sucessful: %s from %s" % (sum(1 if task.value else 0 for task in tasks), len(tasks))
print time() - t1

Существует простое решение с использованием gevent и Requests простых запросов.

Используйте Requests Session для постоянного соединения HTTP. Поскольку gevent делает Requests асинхронным, я думаю, что нет необходимости в timeout в HTTP-запросах.

По умолчанию requests.Session кэширует TCP-соединения (pool_connections) для 10 хостов и ограничивает 10 одновременных HTTP-запросов на кэшированные TCP-соединения (pool_maxsize). Конфигурация по умолчанию должна быть изменена в соответствии с потребностями путем явного создания адаптера http.

session = requests.Session()
http_adapter = requests.adapters.HTTPAdapter(pool_connections=100, pool_maxsize=100)
session.mount('http://', http_adapter)

Разбейте задачи как производитель-потребитель. Загрузка изображения — это задача производителя, а обработка изображения — задача потребителя.

Если библиотека обработки изображений PIL не является асинхронной, она может блокировать сопрограммы производителя. Если это так, потребительский пул может быть gevent.threadpool.ThreadPool. например

from gevent.threadpool import ThreadPool
consumer = ThreadPool(POOL_SIZE)  

Это обзор того, как это можно сделать. Я не тестировал код.

from gevent import monkey; monkey.patch_all()
from time import time
import requests
from PIL import Image
from io import BytesIO
import os
from urlparse import urlparse
from gevent.pool import Pool

def download(url):
    try:
        response = session.get(url)
    except Exception as e:
        print(e)
    else:
        if response.status_code == requests.codes.ok:
            file_name = urlparse(url).path.rsplit('/',1)[-1]
            return (response.content,file_name)
        response.raise_for_status()

def process(img):
    if img is None:
        return None
    img, name = img
    img = Image.open(BytesIO(img))
    path = os.path.join(base_folder, name)
    try:
        img.save(path)
    except Exception as e:
        print(e)
    else:
        return True

def run(urls):        
    consumer.map(process, producer.imap_unordered(download, urls))

if __name__ == '__main__':
        POOL_SIZE = 300
        producer = Pool(POOL_SIZE)
        consumer = Pool(POOL_SIZE)

        session = requests.Session()
        http_adapter = requests.adapters.HTTPAdapter(pool_connections=100, pool_maxsize=100)
        session.mount('http://', http_adapter)

        test_urls = # list of 100 urls
        base_folder = 'download_temp'
        t1 = time()
        run(test_urls)
        print time() - t1  

Предложу обратить внимание на Grablib http://grablib.org/

Это асинхронный парсер, основанный на pycurl и multicurl. Также он пытается автоматически решить сетевую ошибку (например, повторить попытку, если тайм-аут и т. д.).

Я верю, что модуль Grab:Spider решит ваши проблемы на 99%. http://docs.grablib.org/en/latest/index.html#spider-toc