Как исправить ошибку UnicodeDecodeError: кодек ascii не может декодировать байт?

Когда вы получаете ошибку декодирования с кодеком 'ascii', это обычно указывает на то, что байтовая строка используется в контексте, где требуется строка Unicode (в Python 2, Python 3 вообще этого не допустит).

Поскольку вы импортировали from __future__ import unicode_literals, строка "'s" имеет кодировку Unicode. Это означает, что строка, которую вы пытаетесь strip, также должна быть строкой Unicode. Исправьте это, и вы больше не будете получать ошибку.

Как прокомментировал @MarkRansom, игнорирование символов, отличных от ascii, укусит вас.

Сначала взгляните на

• Как исправить: UnicodeDecodeError: кодек ascii не может декодировать байт
• для очистки текста, принадлежащего разным языкам в python

Также обратите внимание, что это анти-шаблон: Почему НЕ следует использовать sys.setdefaultencoding(utf-8) в скрипте py?

Самое простое решение - просто использовать Python3, и это уменьшит некоторую боль.

>>> import requests
>>> from bs4 import BeautifulSoup
>>> import spacy
>>> nlp = spacy.load('en')

>>> url = "http://www.bbc.co.uk/news/uk-politics-39784164"
>>> html = requests.get(url).content
>>> bsoup = BeautifulSoup(html, 'html.parser')
>>> text = '\n'.join(p.text for d in bsoup.find_all( 'div', {'class': 'story-body__inner'}) for p in d.find_all('p') if p.text.strip())

>>> import spacy
>>> nlp = spacy.load('en')
>>> doc = nlp(text)
>>> names = [ent for ent in doc.ents if ent.ent_type_ == 'PERSON']

Наконец-то я исправил свой код. Я удивлен, как легко это выглядит, но мне потребовалось так много времени, чтобы добраться туда, и я видел так много людей, озадаченных одной и той же проблемой, поэтому я решил опубликовать свой ответ.

Добавление этой небольшой функции перед передачей имен для дальнейшей очистки решило мою проблему.

def decode(names):        
    decodednames = []
    for name in names:
        decodednames.append(unicode(name, errors='ignore'))
    return decodednames

SpaCy по-прежнему считает, что 59 миллиардов фунтов стерлингов — это ЧЕЛОВЕК, но я не возражаю, я могу разобраться с этим позже в своем коде.

Рабочий код:

import urllib
import requests
from bs4 import BeautifulSoup
import spacy
from spacy.en import English
from __future__ import unicode_literals
nlp_toolkit = English()
nlp = spacy.load('en')

def get_text(url):
    r = requests.get(url)
    soup = BeautifulSoup(r.content, "lxml")

    # delete unwanted tags:
    for s in soup(['figure', 'script', 'style']):
        s.decompose()

    # use separator to separate paragraphs and subtitles!
    article_soup = [s.get_text(separator="\n", strip=True) for s in soup.find_all( 'div', {'class': 'story-body__inner'})]

    text = ''.join(article_soup)
    return text

# using spacy
def get_names(all_tags):
    names=[]
    for ent in all_tags.ents:
        if ent.label_=="PERSON":
            names.append(str(ent))
    return names

def decode(names):        
    decodednames = []
    for name in names:
        decodednames.append(unicode(name, errors='ignore'))
    return decodednames

def cleaning_names(names):
    new_names = [s.strip("'s") for s in names] # remove 's' from names
    myset = list(set(new_names)) #remove duplicates
    return myset

def main():
    url = "http://www.bbc.co.uk/news/uk-politics-39784164"
    text=get_text(url)
    text=u"{}".format(text)
    all_tags = nlp(text)
    names = get_person(all_tags)
    print "names:"
    print names
    decodednames = decode(names)
    mynewlist = cleaning_names(decodednames)
    print mynewlist

if __name__ == '__main__':
    main()

который дает мне это без ошибок:

имена: ['Ник Клегг', 'Брексит', '\xc2\xa359bn', 'Тереза ​​Мэй', 'Брексит', 'Брексит', 'Мистер Клегг', 'Мистер Клегг', 'Мистер Клегг', 'Брексит' , 'Мистер Клегг', 'Тереза ​​Мэй'] [u'Мистер Клегг', u'Брексит', u'Ник Клегг', u'59bn', u'Тереза ​​Мэй']