28 февр. 2012 г.

Парсинг сайтов на python

Привет, друзья!
Нужен ваш профессиональный совет: чем современный питонист должен парсить сайты?
Поводом для обращения к аудитории для меня послужило открытие либы pyquery, которая позволяет делать jqurey-style  запросы по xml-документам. Я вдруг осознал, что есть много нетрадиционных, но весьма удобных подходов к проблемме.
А какие интересные и удобные способы парсинга известны вам?

11 комментариев:

Alexander Dinu комментирует...

Если документы не слишком большие —BeautifulSoup. Не?

Анонимный комментирует...

Регэкспами.

Анонимный комментирует...

scrapy

Анонимный комментирует...

scrapy

Grigoriy Petukhov комментирует...

http://grablib.org - это обёртка над pycurl/lxml. pyquery - кстати, это тоже обёртка над lxml

Независимо от использования pyquery или grab, современный питонист должен знать lxml, как единственную адекватную библиотеку для парсинга lxml/html.

Анонимный комментирует...

Григорий, поправь кодировку на grablib.org.

tibalt комментирует...

еще на хабре что-то такое проскакивало - http://habrahabr.ru/blogs/python/127584/

Анонимный комментирует...

http://scrapy.org/

egrachev комментирует...

Мне больше нравится lxml:
from lxml.html import parse
root = parse(url).getroot()
results = root.cssselect(".company-data h1")

Анонимный комментирует...

Асинхроный Grab, уже использовал в парсинге десятка сайтов, остались только позитивные впечатления.

Анонимный комментирует...

perl и только он)