1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 1500+ и мы растем!
    Скрыть объявление

Пресет Определяем CMS для 1000000 доменов за 15 часов 1.0

Пример массового определения движков и демонстрация производительности

  1. Егор Ерохин

    Егор Ерохин A-Parser Pro License
    A-Parser Pro

    Регистрация:
    5 май 2020
    Сообщения:
    7
    Симпатии:
    2
    Обнаружил проблему с определением CMS OpenCart
    При выборе Ecommerce или Opencart или при любых других настройках
    CMS сайта не определяется, точнее определяется как unknown.
    примеры
    altek.ua
    audiodigital.ru

    Файл apps.json обновлен до поледней версии
    Прокси не используются.
    Другие детекты по странице проходят корректно, что свидетельствует о том, что код страницы передается в а-парсер без искажений.
     
  2. Support Vlad

    Support Vlad Moderator
    Команда форума A-Parser Enterprise

    Регистрация:
    6 апр 2020
    Сообщения:
    111
    Симпатии:
    29
    Парсер Rank::CMS Rank::CMS работает на базе расширения для браузера Wappalyzer. Для этих сайтов оно не определяет OpenCart.
    [​IMG] [​IMG]
     
  3. Егор Ерохин

    Егор Ерохин A-Parser Pro License
    A-Parser Pro

    Регистрация:
    5 май 2020
    Сообщения:
    7
    Симпатии:
    2
    Понял, спасибо, попробую прикрутить свое определение по признакам.
     
  4. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    162
    Симпатии:
    31
    Приветствую!
    Встал с таким вопросом, если сайт с протоколом https, а в запросах указан сайт с http, то парсер не видит cms.
    Подскажите, как решить данную проблему?

    И также тут же хотел узнать, а для чего здесь подключается парсер Net::HTTP как раз для таких случаев или чего-то другого?
     
  5. relay

    relay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 июл 2013
    Сообщения:
    149
    Симпатии:
    97
    Нужен конкретный пример сайта
    На сайте может быть не настроен редирект с http на https, соот-но и парсер не определит cms
    Для изучения возможностей Net::HTTP для таких случаев, рекомендую прочитать - Все о редиректах
     
    seowin555 и Support нравится это.
  6. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    162
    Симпатии:
    31
    С этим разобрался, оказалось там дело в том, что в базе Wappalyzer нет многих признаков, поэтому просто cms не определялась.

    Но есть другая проблема, это проблема со скоростью парсинга, сколько бы я не делал потоков и пробовал разные варианты, не удается добиться скорости выше 1500..
    Версия а-парсера у меня последняя бета, сами ресурсы я предварительно прочекал на 200 ОК, сам парсер стоит на довольно хорошем выделенном сервере, с которым я работаю уже более 2 лет и весь софт у меня там.
    Настройки у меня такие https://prnt.sc/w33mn5 в пресете.
    Подскажите, что можно придумать?
     
  7. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.278
    Симпатии:
    1.807
    Rank::CMS - это довольно тяжелый парсер, в зависимости от выбора в Check list к каждой получаемой странице может применяться очень много регулярных выражений, а это требует большого кол-ва системных ресурсов и времени. Возможно парсер упирается в производительность одного ядра процессора, тогда есть смысл запустить несколько копий.
     
    seowin555 нравится это.
  8. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    162
    Симпатии:
    31
    Понял вас, буду пробовать. А сейчас получается еще нет поддержки многоядерности в пределах одного парсера?

    И еще момент, можете подсказать для чего в этом парсере используется также парсер Net::HTTP? И как он работает?
    Я проверял работу с ним и без него, по скорости ничего не менялось.
     
  9. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.278
    Симпатии:
    1.807
    Полноценной поддержки многоядерности еще нет.

    https://a-parser.com/threads/6552/
     

Поделиться этой страницей