28 февр. 2012 г.

Парсинг сайтов на python

Привет, друзья!
Нужен ваш профессиональный совет: чем современный питонист должен парсить сайты?
Поводом для обращения к аудитории для меня послужило открытие либы pyquery, которая позволяет делать jqurey-style  запросы по xml-документам. Я вдруг осознал, что есть много нетрадиционных, но весьма удобных подходов к проблемме.
А какие интересные и удобные способы парсинга известны вам?
на

11 комментариев:

  1. Alexander Dinu28 февраля 2012 г. в 17:17

    Если документы не слишком большие —BeautifulSoup. Не?

    ОтветитьУдалить
  2. Анонимный28 февраля 2012 г. в 18:21

    Регэкспами.

    ОтветитьУдалить
  3. Анонимный28 февраля 2012 г. в 19:31

    scrapy

    ОтветитьУдалить
  4. Анонимный28 февраля 2012 г. в 19:31

    scrapy

    ОтветитьУдалить
  5. Grigoriy Petukhov28 февраля 2012 г. в 19:56

    http://grablib.org - это обёртка над pycurl/lxml. pyquery - кстати, это тоже обёртка над lxml

    Независимо от использования pyquery или grab, современный питонист должен знать lxml, как единственную адекватную библиотеку для парсинга lxml/html.

    ОтветитьУдалить
  6. Анонимный29 февраля 2012 г. в 09:52

    Григорий, поправь кодировку на grablib.org.

    ОтветитьУдалить
  7. tibalt29 февраля 2012 г. в 11:09

    еще на хабре что-то такое проскакивало - http://habrahabr.ru/blogs/python/127584/

    ОтветитьУдалить
  8. Анонимный29 февраля 2012 г. в 21:44

    http://scrapy.org/

    ОтветитьУдалить
  9. egrachev1 марта 2012 г. в 12:59

    Мне больше нравится lxml:
    from lxml.html import parse
    root = parse(url).getroot()
    results = root.cssselect(".company-data h1")

    ОтветитьУдалить
  10. Анонимный5 марта 2012 г. в 09:50

    Асинхроный Grab, уже использовал в парсинге десятка сайтов, остались только позитивные впечатления.

    ОтветитьУдалить
  11. Анонимный17 июля 2012 г. в 16:28

    perl и только он)

    ОтветитьУдалить