1.1.811 - 6 новых парсеров, улучшения в JavaScript парсерах

Тема в разделе "Новости", создана пользователем Forbidden, 6 апр 2017.

  1. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.036
    Симпатии:
    1.607
    [​IMG]

    В A-Parser 1.1.811 добавлено 6 новых встроенных парсеров - Амазон, Яндекс.Маркет, Рамблер, IxQuick, добавление ссылки в индекс Bing, расширенный парсер Moz(OpenSiteExplorer). Добавляйте идеи для новых парсеров на нашем форуме и мы их обязательно реализуем

    Помимо встроенных парсеров вы можете создавать свои собственные парсеры на языке JavaScript - используя всю мощь многопоточности A-Parser'а, а также производительность движка V8 и преимущества ES6.

    Для владельцев CapMonster и XEvil - напоминаем что A-Parser можно подключить к этим программам из коробки, тем самым колоссально повысив скорость парсинга во многих парсерах

    Улучшения
    • Новый парсер Shop::Amazon Shop::Amazon - парсит выдачу https://www.amazon.com по ключевому слову, собирает название, ссылку, картинку, прайс, прайс до скидки, рейтинг, число комментариев, продавца и дополнительную информацию
    • Новый парсер Shop::Yandex::Market Shop::Yandex::Market - парсер Яндекс.Маркета, по указанному ключевому слову(или по прямой ссылке на категорию) собирает следующие данные: название товара, ссылку, ссылку на картинку, рейтинг, число комментариев, цену от и до, число предложений от магазинов и список дополнительных характеристик
    • Новый парсер SE::Rambler SE::Rambler - сегодня рамблер использует одновременно выдачу Google и Яндекса, в зависимости от геолокации пользователя(прокси), есть поддержка антигейта
    • Новый парсер SE::IxQuick SE::IxQuick - https://www.ixquick.com - еще один поисковик, основанный на выдаче Google
    • Добавление ссылок в индекс Бинга - SE::Bing::AddURL SE::Bing::AddURL - добавляет ваши ссылки в промышленных масштабах, требуется антигейт
    • Новый парсер Rank::OpenSiteExplorer::Extended Rank::OpenSiteExplorer::Extended - расширенная версия парсера Rank::OpenSiteExplorer Rank::OpenSiteExplorer, собирает с https://moz.com 39 параметров по домену, сабдомену и странице
    • JavaScript парсеры: новые методы this.util.urlFromHTML(url, [base]) и this.util.updateResultsData(results, data)
    • В парсере SE::Yandex SE::Yandex добавлен сбор времени последнего кэширования страницы
    Исправления в связи с изменениями в выдаче
    • SE::Yandex SE::Yandex - исправлен парсинг выдачи, сбор ссылки на кэш страницы, а также парсинг рекламных объявлений
    • SE::Google SE::Google - исправлен парсинг рекламных объявлений, а также проблема с парсингом в редких случаях при использовании антигейта
    • В парсере Net::Whois Net::Whois исправлен парсинг дат, а также улучшен парсинг whois сервера GoDaddy
    • SE::Google::Trends SE::Google::Trends - полностью обновлен парсер и список собираемых значений
    • Rank::LinkPad Rank::LinkPad, Rank::MajesticSEO Rank::MajesticSEO, SE::Seznam SE::Seznam
    Исправления
    • Проблема с прокруткой в Планировщике
    • Проблема с кодировкой в tools.parseJSON
    • Ошибка импорта JavaScript парсеров
     
    Metroid, EceninPars, d4k и 7 другим нравится это.
  2. vipdenya

    vipdenya A-Parser Pro License
    A-Parser Pro

    Регистрация:
    25 июл 2014
    Сообщения:
    60
    Симпатии:
    7
    Зачетная обнова - спасибо. А кинопоиск и imdb можете добавить?
     
  3. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.036
    Симпатии:
    1.607
    можем, добавь в задачи
     
    vipdenya, vipuncle и btr нравится это.
  4. Kai

    Kai A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 мар 2017
    Сообщения:
    3
    Симпатии:
    0
    Во вкладке "Инструменты - Тестирование шаблонов" для проекта "Rank::OpenSiteExplorer::Extended" отсутствует пример json. Из-за этого, не могу разобраться как вызывать все эти 39 параметров, про которые сказано выше.
     
  5. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    1.805
    Симпатии:
    1.297
    Kai нравится это.
  6. Kai

    Kai A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 мар 2017
    Сообщения:
    3
    Симпатии:
    0
    В улучшениях этой версии есть строка "В парсере [​IMG] SE::Yandex добавлен сбор времени последнего кэширования страницы". А возможно ли такое прикрутить для парсера Гугла?
     
  7. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.036
    Симпатии:
    1.607
    гугл не выдает такой информации в выдаче
     
  8. Kai

    Kai A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 мар 2017
    Сообщения:
    3
    Симпатии:
    0
    Согласен. Только он выдает эту инфу с оператором cache. К примеру: cache:a-parser.com
    Как вытянуть дату кеширования по этому запросу я ума не приложу. Если невозможно прикрутить дату кеша в Гугле как переменную, то подскажите пожалуйста как это сделать регуляркой.
     
  9. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    1.805
    Симпатии:
    1.297
    Тема про кэш Гугла уже не раз обсуждалась на форуме: https://a-parser.com/threads/1819/
    Ну а спарсить время из страницы не сложно:
    [​IMG]
     
    Forbidden нравится это.

Поделиться этой страницей