Разбирать даты рождения и смерти из Википедии?

Вы можете рассмотреть возможность использования такой библиотеки, как BeautifulSoup или lxml, чтобы проанализировать ответ html / xml.

Вы также можете взглянуть на Requests, в котором есть гораздо более чистый API для выполнения запросов.

Вот рабочий код с использованием Requests, BeautifulSoup и re, возможно, не лучшее решение здесь, но он довольно гибкий и может быть расширен для аналогичных проблем:

import re
import requests
from bs4 import BeautifulSoup

url = 'http://en.wikipedia.org/w/api.php?action=query&prop=revisions&rvprop=content&rvsection=0&titles=Albert_Einstein&format=xml'

res = requests.get(url)
soup = BeautifulSoup(res.text, "xml")

birth_re = re.search(r'(Birth date(.*?)}})', soup.revisions.getText())
birth_data = birth_re.group(0).split('|')
birth_year = birth_data[2]
birth_month = birth_data[3]
birth_day = birth_data[4]

death_re = re.search(r'(Death date(.*?)}})', soup.revisions.getText())
death_data = death_re.group(0).split('|')
death_year = death_data[2]
death_month = death_data[3]
death_day = death_data[4]

Предложение Per @JBernardo с использованием данных JSON и mwparserfromhell, лучший ответ для этого конкретного варианта использования:

import requests
import mwparserfromhell

url = 'http://en.wikipedia.org/w/api.php?action=query&prop=revisions&rvprop=content&rvsection=0&titles=Albert_Einstein&format=json'

res = requests.get(url)
text = res.json["query"]["pages"].values()[0]["revisions"][0]["*"]
wiki = mwparserfromhell.parse(text)

birth_data = wiki.filter_templates(matches="Birth date")[0]
birth_year = birth_data.get(1).value
birth_month = birth_data.get(2).value
birth_day = birth_data.get(3).value

death_data = wiki.filter_templates(matches="Death date")[0]
death_year = death_data.get(1).value
death_month = death_data.get(2).value
death_day = death_data.get(3).value

Первое. API Википедии позволяет использовать JSON вместо XML, что значительно упростит задачу.

Второе: нет необходимости использовать парсеры HTML / XML (контент - это не HTML, и не должен быть контейнер). Что вам нужно проанализировать, так это этот формат Wiki внутри тега «revisions» JSON.

Проверьте некоторые парсеры Wiki здесь

Что здесь сбивает с толку, так это то, что API позволяет вам запрашивать определенный формат (XML или JSON), но это всего лишь контейнер для некоторого текста в реальном формате, который вы хотите проанализировать:

Этот: {{Birth date|df=yes|1879|3|14}}

Вы сможете это сделать с помощью одного из парсеров, указанных по ссылке выше.

Сначала используйте pywikipedia. Он позволяет запрашивать текст статьи, параметры шаблона и т. Д. Через абстрактный интерфейс высокого уровня. Во-вторых, я бы выбрал шаблон Persondata (посмотрите в конец статьи). Кроме того, в долгосрочной перспективе вас могут заинтересовать Викиданные, внедрение которых займет несколько месяцев , но это позволит легко запрашивать большинство метаданных в статьях Википедии.

Шаблон persondata устарел, и вместо этого вам следует обращаться к Викиданным. См. Викиданные: доступ к данным. Мой предыдущий (теперь устаревший) ответ с 2012 года был следующим:

Что вам следует сделать, так это проанализировать шаблон {{persondata}}, который можно найти в большинстве биографических статей. Существуют существующие инструменты для простого извлечения таких данных программным способом с учетом имеющихся у вас знаний и другие полезные ответы, я уверен, вы справитесь.

Одна из альтернатив в 2019 году - использовать Wikidata API, который, среди прочего, предоставляет биографические данные, такие как даты рождения и смерти, в структурированном формате, который очень легко использовать без каких-либо настраиваемых парсеров. Многие статьи Википедии полагаются на информацию из Википедии, поэтому во многих случаях это будет то же самое, как если бы вы использовали данные Википедии.

Например, посмотрите на страницу Викиданных Альберта Эйнштейна и выполните поиск по запросу «дата рождения» и «дата смерти», вы обнаружите, что они такие же, как в Википедии. У каждой сущности в Викиданных есть список «утверждений», которые представляют собой пары «свойств» и «значений». Чтобы узнать, когда родился и умер Эйнштейн, нам нужно только найти в списке утверждений соответствующие свойства, в данном случае P569 и P570. Чтобы сделать это программно, лучше всего получить доступ к объекту как json, что вы можете сделать со следующей структурой URL:

https://www.wikidata.org/wiki/Special:EntityData/Q937.json

И в качестве примера вот что P569 заявляет об Эйнштейне:

        "P569": [
          {
            "mainsnak": {
              "property": "P569",
              "datavalue": {
                "value": {
                  "time": "+1879-03-14T00:00:00Z",
                  "timezone": 0,
                  "before": 0,
                  "after": 0,
                  "precision": 11,
                  "calendarmodel": "http://www.wikidata.org/entity/Q1985727"
                },
                "type": "time"
              },
              "datatype": "time"
            },
            "type": "statement",

Вы можете узнать больше о доступе к Викиданным в этой статье, а более конкретно о датах структурирована в Help: Dates.

Я столкнулся с этим вопросом и оценил всю полезную информацию, которая была предоставлена ​​в @Yoshiki answer, но для получения рабочего решения потребовался некоторый синтез. Поделитесь здесь, если это будет полезно для кого-то еще. Код также находится в этой сути для тех, кто хочет его разветвить / улучшить.

В частности, здесь не так много способов обработки ошибок ...

import csv
from datetime import datetime
import json
import requests
from dateutil import parser


def id_for_page(page):
    """Uses the wikipedia api to find the wikidata id for a page"""
    api = "https://en.wikipedia.org/w/api.php"
    query = "?action=query&prop=pageprops&titles=%s&format=json"
    slug = page.split('/')[-1]

    response = json.loads(requests.get(api + query % slug).content)
    # Assume we got 1 page result and it is correct.
    page_info = list(response['query']['pages'].values())[0]
    return  page_info['pageprops']['wikibase_item']


def lifespan_for_id(wikidata_id):
    """Uses the wikidata API to retrieve wikidata for the given id."""
    data_url = "https://www.wikidata.org/wiki/Special:EntityData/%s.json"
    page = json.loads(requests.get(data_url % wikidata_id).content)

    claims = list(page['entities'].values())[0]['claims']
    # P569 (birth) and P570 (death) ... not everyone has died yet.
    return [get_claim_as_time(claims, cid) for cid in ['P569', 'P570']]


def get_claim_as_time(claims, claim_id):
    """Helper function to work with data returned from wikidata api"""
    try:
        claim = claims[claim_id][0]['mainsnak']['datavalue']
        assert claim['type'] == 'time', "Expecting time data type"

        # dateparser chokes on leading '+', thanks wikidata.
        return parser.parse(claim['value']['time'][1:])
    except KeyError as e:
        print(e)
        return None


def main():
    page = 'https://en.wikipedia.org/wiki/Albert_Einstein'

    # 1. use the wikipedia api to find the wikidata id for this page
    wikidata_id = id_for_page(page)

    # 2. use the wikidata id to get the birth and death dates
    span = lifespan_for_id(wikidata_id)

    for label, dt in zip(["birth", "death"], span):
        print(label, " = ", datetime.strftime(dt, "%b %d, %Y"))