Скрапинг заголовков из Yahoo Finance с помощью Python

Я использую красивый суп для извлечения заголовков с этой страницы http://in.finance.yahoo.com/q?s=AAPL, но мне нужны заголовки за последние 3 месяца, то есть с 10 декабря 2013 г. по 10 марта 2014 г. Но я могу извлечь только те заголовки, которые принадлежат им на этой конкретной странице. Как извлечь нужные заголовки для какой-то конкретной компании?

Код:

url = 'http://in.finance.yahoo.com/q?s=AAPL'
data = urllib2.urlopen(url)
soup = BeautifulSoup(data)

divs = soup.find('div',attrs={'id':'yfi_headlines'})
div = divs.find('div',attrs={'class':'bd'})
ul = div.find('ul')
lis = ul.findAll('li')
hls = []
for li in lis:
    headlines = li.find('a').contents[0]
    print headlines

python web-scraping beautifulsoup yahoo-finance
person blackmamba    schedule 11.03.2014    source источник
comment
Будьте более конкретными и опубликуйте свой код первым.   -  person alecxe    schedule 11.03.2014

Ответы (2)


arrow_upward
0
arrow_downward

Я думаю, что ваша проблема больше связана с тем, откуда вы получаете данные. Если вам нужны данные за последние три месяца, вы должны запросить http://in.finance.yahoo.com/q/hp?s?s=AAPL, где все данные, которые вы ищете, представлены в таблице.

person Leonardo    schedule 11.03.2014

arrow_upward
0
arrow_downward

на http://in.finance.yahoo.com/q?s=AAPL, нажмите «больше заголовков от AAPL». оттуда вы получите ссылку, в которой есть поле даты и времени. изменить это, и вы должны быть хорошо. (http://in.finance.yahoo.com/q/h?s=AAPL&t=2014-02-08T15:06:40+05:30)

person acushner    schedule 11.03.2014
comment
Что, если мне нужны заголовки на определенный период времени? Как и API Twitter с тех пор и до оператора. - person blackmamba; 11.03.2014