Я использую кадры данных pandas, и у меня есть данные, по которым у меня есть клиенты для каждой компании. Однако названия компаний немного различаются, но в конечном итоге влияют на данные. Пример:
Company Customers
AAAB 1,000
AAAB Inc. 900
The AAAB Inc. 20
AAAB the INC 10
Я хочу получить общее количество клиентов из базы данных нескольких разных компаний с компаниями, имеющими нестандартные названия. Есть идеи, с чего мне начать?
Я помню, как читал этот блог о библиотека fuzzywuzzy (смотрим в еще вопрос), который может сделать это:
pip install fuzzywuzzy
Вы можете использовать его функцию partial_ratio для «нечеткого сопоставления» строк:
In [11]: from fuzzywuzzy.fuzz import partial_ratio
In [12]: partial_ratio('AAAB', 'the AAAB inc.')
Out[12]: 100
Который кажется уверенным в том, что это хороший матч!
In [13]: partial_ratio('AAAB', 'AAPL')
Out[13]: 50
In [14]: partial_ratio('AAAB', 'Google')
Out[14]: 0
Мы можем выбрать наилучшее совпадение из фактического списка компаний (при условии, что он у вас есть):
In [15]: co_list = ['AAAB', 'AAPL', 'GOOG']
In [16]: df.Company.apply(lambda mistyped_co: max(co_list,
key=lambda co: partial_ratio(mistyped_co, co)))
Out[16]:
0 AAAB
1 AAAB
2 AAAB
3 AAAB
Name: Company, dtype: object
Я сильно подозреваю, что в scikit Learn или библиотеке numpy есть что-то, что делает это более эффективно на больших наборах данных... но это должно помочь.
Если у вас нет списка компаний, вам, вероятно, придется сделать что-то более умное...
splitCompaniesSet = map( lambda cmpnyName :
set( map( lambda name : name.split(" "), cmpnyName ) ), dataFrame['Company'] )
Я думаю, это правильно.
В основном создайте список наборов, каждый набор имеет разделение названия компании. Затем, начиная с первого элемента, найдите пересечение множества. любого другого элемента с этим. Для каждого непустого пересечения измените имя на самое простое совпадение среди всех непустых результирующих наборов, т. е. возьмите еще одно пересечение множества со всеми непустыми множествами и установите в качестве результата название компании для всех непустых наборов. пустые спички.
Затем перейдите к следующему Company, который дал пустой набор при пересечении с первым названием компании. Затем сделайте это для следующих Company, которые были пустыми для первых двух, которые вы пробовали, и так далее.
Хотя, возможно, есть более эффективный способ.
fuzzywuzzy.fuzz.partial_ratio и установить для всех тех, где partial_ratio=100, одно и то же имя. Это устранит необходимость иметь список компаний, как предложил Энди.
- person Matthew Turner; 18.10.2013
Используйте 1_
Попробуйте следующий код: -
from cleanco import prepare_terms, basename
business_name = "The AAAB Inc."
terms = prepare_terms()
basename(business_name, terms, prefix=False, middle=False, suffix=True)
Ожидаемый результат: -
The AAAB
