мы можем использовать XPath с BeautifulSoup?

Нет, BeautifulSoup сам по себе не поддерживает выражения XPath.

Альтернативная библиотека, lxml, поддерживает XPath 1.0. У него есть совместимый с BeautifulSoup режим, в котором он пытается анализировать поврежденный HTML так, как это делает Soup. Однако анализатор HTML lxml по умолчанию так же хорошо справляется с анализом неработающего HTML, и я считаю, что он быстрее .

После того, как вы преобразовали документ в дерево lxml, вы можете использовать метод .xpath() для поиска элементов.

try:
    # Python 2
    from urllib2 import urlopen
except ImportError:
    from urllib.request import urlopen
from lxml import etree

url =  "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
response = urlopen(url)
htmlparser = etree.HTMLParser()
tree = etree.parse(response, htmlparser)
tree.xpath(xpathselector)

Существует также специальный lxml.html() модуль с дополнительными функциями.

Обратите внимание, что в приведенном выше примере я передал объект response непосредственно в lxml, так как синтаксический анализатор, читающий непосредственно из потока, более эффективен, чем сначала чтение ответа в большую строку. Чтобы сделать то же самое с библиотекой requests, вы хотите установить stream=True и передать объект response.raw после включения прозрачной распаковки транспорта:

import lxml.html
import requests

url =  "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
response = requests.get(url, stream=True)
response.raw.decode_content = True
tree = lxml.html.parse(response.raw)

Вас может заинтересовать поддержка селектора CSS; класс CSSSelector переводит операторы CSS в выражения XPath, что значительно упрощает поиск td.empformbody:

from lxml.cssselect import CSSSelector

td_empformbody = CSSSelector('td.empformbody')
for elem in td_empformbody(tree):
    # Do something with these table cells.

Завершение круга: сам BeautifulSoup действительно имеет очень полный Поддержка селектора CSS:

for cell in soup.select('table#foobar td.empformbody'):
    # Do something with these table cells.

Я могу подтвердить, что в Beautiful Soup нет поддержки XPath.

Как уже говорили другие, BeautifulSoup не поддерживает xpath. Вероятно, есть несколько способов получить что-то из xpath, включая использование Selenium. Однако вот решение, которое работает как в Python 2, так и в 3:

from lxml import html
import requests

page = requests.get('http://econpy.pythonanywhere.com/ex/001.html')
tree = html.fromstring(page.content)
#This will create a list of buyers:
buyers = tree.xpath('//div[@title="buyer-name"]/text()')
#This will create a list of prices
prices = tree.xpath('//span[@class="item-price"]/text()')

print('Buyers: ', buyers)
print('Prices: ', prices)

Я использовал это в качестве ссылки.

В BeautifulSoup есть функция с именем findNext от текущего элемента, направленного дочернему элементу, поэтому:

father.findNext('div',{'class':'class_value'}).findNext('div',{'id':'id_value'}).findAll('a') 

Вышеприведенный код может имитировать следующий xpath:

div[class=class_value]/div[id=id_value]

from lxml import etree
from bs4 import BeautifulSoup
soup = BeautifulSoup(open('path of your localfile.html'),'html.parser')
dom = etree.HTML(str(soup))
print dom.xpath('//*[@id="BGINP01_S1"]/section/div/font/text()')

Выше использовалась комбинация объекта Soup с lxml, и можно извлечь значение с помощью xpath

при использовании lxml все просто:

tree = lxml.html.fromstring(html)
i_need_element = tree.xpath('//a[@class="shared-components"]/@href')

но при использовании BeautifulSoup BS4 тоже все просто:

• сначала удалите "//" и "@"
• второе - добавить звездочку перед "="

попробуй это волшебство:

soup = BeautifulSoup(html, "lxml")
i_need_element = soup.select ('a[class*="shared-components"]')

как вы видите, это не поддерживает вложенный тег, поэтому я удаляю часть "/@href"

Я просмотрел их документы и, кажется, там нет опции xpath . Кроме того, как вы можете видеть здесь на аналогичном вопрос о SO, OP запрашивает перевод с xpath на BeautifulSoup, поэтому мой вывод будет таким: нет, синтаксический анализ xpath недоступен.

Может быть, вы можете попробовать следующее без XPath

from simplified_scrapy.simplified_doc import SimplifiedDoc 
html = '''
<html>
<body>
<div>
    <h1>Example Domain</h1>
    <p>This domain is for use in illustrative examples in documents. You may use this
    domain in literature without prior coordination or asking for permission.</p>
    <p><a href="https://www.iana.org/domains/example">More information...</a></p>
</div>
</body>
</html>
'''
# What XPath can do, so can it
doc = SimplifiedDoc(html)
# The result is the same as doc.getElementByTag('body').getElementByTag('div').getElementByTag('h1').text
print (doc.body.div.h1.text)
print (doc.div.h1.text)
print (doc.h1.text) # Shorter paths will be faster
print (doc.div.getChildren())
print (doc.div.getChildren('p'))

Это довольно старая тема, но теперь есть обходное решение, которого в то время не было в BeautifulSoup.

Вот пример того, что я сделал. Я использую модуль «запросы» для чтения RSS-канала и получения его текстового содержимого в переменной с именем «rss_text». При этом я запускаю его через BeautifulSoup, ищу xpath /rss/channel/title и извлекаю его содержимое. Это не совсем XPath во всей его красе (подстановочные знаки, несколько путей и т. д.), но если у вас есть только базовый путь, который вы хотите найти, это работает.

from bs4 import BeautifulSoup
rss_obj = BeautifulSoup(rss_text, 'xml')
cls.title = rss_obj.rss.channel.title.get_text()

используйте 1_