1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

CMS: проверка определенных движков

Тема в разделе "Делимся опытом", создана пользователем high_skill, 10 авг 2014.

  1. high_skill

    high_skill A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 июн 2013
    Сообщения:
    56
    Симпатии:
    7
    привет всем , очень важный вопрос !
    по сабжу

    CMS: проверка определенных движков , точнее :
    подскажите на скринах как отчекать с базы сайтов
    1) именно WP
    2) или 2 движка сразу

    3) еще вопрос по сохранению результата , WordPress движки сохранять в виде

    domain.com/wp-login.php

    точнее дописывать сразу в домен путь двига

    4) CMS парсер , требует http https ?

    спасибо! :)
     
    #1 high_skill, 10 авг 2014
    Последнее редактирование: 10 авг 2014
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Начиная с версии 1.1.9(http://a-parser.com/threads/544/#post-3055) появилась возможность выбирать движки для проверки прямо через интерфейс:

    [​IMG]


    для проверки можно выбрать несколько движков или групп


    он как и все парсеры работает с обоими протоколами
     
    #2 Forbidden, 10 авг 2014
    high_skill нравится это.
  3. high_skill

    high_skill A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 июн 2013
    Сообщения:
    56
    Симпатии:
    7
    а если без http https он ссылки не будет обрабатывать?
     
    #3 high_skill, 11 авг 2014
  4. high_skill

    high_skill A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 июн 2013
    Сообщения:
    56
    Симпатии:
    7
    что то у меня нету или я слепой , Check list нема вобще o_O
     
    #4 high_skill, 11 авг 2014
  5. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791


    не будет, используй Query format: http://$query
     
    #5 Forbidden, 12 авг 2014
  6. pavelk15

    pavelk15 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    31 авг 2014
    Сообщения:
    7
    Симпатии:
    0
    Здравствуйте. Подскажите пожалуйста - а откуда парсер берет данные для обработки (базу ссылок), где это задается? Я так понимаю что есть уже спаршеная база сайтов, которая находится в папке /result и к ней где то указывается путь? (на скрине не видно)Поясните пожалуйста.
     
    #6 pavelk15, 3 сен 2014
  7. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    база ссылок для проверки задается как обычно в качестве запросов
     
    #7 Forbidden, 3 сен 2014
  8. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    #8 Forbidden, 3 сен 2014
  9. poiskspider

    poiskspider A-Parser Pro License
    A-Parser Pro

    Регистрация:
    30 апр 2014
    Сообщения:
    86
    Симпатии:
    11
    Мне необходимо отсортировать базу по заданным движкам (10-15 штук), но если добавляю больше одного "filter result on" база тогда не сортируется, если с одним "filter result on" то все нормально получается. Как мне отсортировать сразу несколько движков? Делал вот так, скрин ниже:
    Capture.jpg
     
    #9 poiskspider, 15 окт 2014
    Последнее редактирование: 15 окт 2014
  10. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    фильтры всегда работают вместе, т.е. между ними стоит "И"
    необходимо оставить только один фильтр по регулярному выражению vBulletin|DataLife Engine|Drupal

    другой подход - выбрать все необходимые движки в Check list и добавить фильтр Regex Not Match по регулярке none|unknow
     
    #10 Forbidden, 15 окт 2014
  11. poiskspider

    poiskspider A-Parser Pro License
    A-Parser Pro

    Регистрация:
    30 апр 2014
    Сообщения:
    86
    Симпатии:
    11
    Что первый вариант с фильтром у меня так и не заработал, а вот второй способ с Regex Not Match, как раз то что надо, да и удобней мне так кажется...

    И в продолжение темы о CMS (движках). Вопрос:
    Как мне спарсить с поисковой системы сайты на заданном движке. Например я хочу получить базу сайтов на движках: vBulletin, DataLife Engine, Drupal. Все что есть в выдаче у Гугла или Яндекса. Если можно выложите скрином, как это сделать
     
    #11 poiskspider, 15 окт 2014
  12. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    для этого необходимо составлять специальные запросы, которые свойственны для конкретных движков, например "Powered by vBulletin" и т.д.
     
    #12 Forbidden, 16 окт 2014
  13. Force68

    Force68 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 фев 2013
    Сообщения:
    175
    Симпатии:
    49
    Запросы для парсинга vBulletin, DataLife Engine.
     

    Вложения:

    • DLE.zip
      Размер файла:
      1,1 КБ
      Просмотров:
      20
    • VBulletin.zip
      Размер файла:
      1,2 КБ
      Просмотров:
      17
    #13 Force68, 16 окт 2014
    Metroid, poiskspider и Forbidden нравится это.
  14. high_skill

    high_skill A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 июн 2013
    Сообщения:
    56
    Симпатии:
    7
    прошу помочь составить задание для пойска несколько движков CMS , то есть из списка были выбрали десятки cms
    а как дальше и правильно создать задание ума не дохдит .
    спасибо

    [​IMG]
     
    #14 high_skill, 12 ноя 2015
  15. Vanzent

    Vanzent A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    16 апр 2013
    Сообщения:
    27
    Симпатии:
    7
    Без фильтра в результат попадут все домены из запроса с проставленными кмс, которые выбрал.

    Форбиден писал в http://a-parser.com/threads/1194/#post-3418
    "другой подход - выбрать все необходимые движки в Check list и добавить фильтр Regex Not Match по регулярке none|unknow"
    Этим уберем из результата домены с неопределенными кмс
     
    #15 Vanzent, 12 ноя 2015
  16. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.372
    Симпатии:
    2.102
    Несколькими постами выше есть ответ на ваш вопрос:
     
    #16 Support, 12 ноя 2015
  17. high_skill

    high_skill A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 июн 2013
    Сообщения:
    56
    Симпатии:
    7
    при выполнений таска выходит ошибка some error
    eyJwcmVzZXQiOiJFY29tZXJjZSIsInZhbHVlIjp7InByZXNldCI6IkVjb21lcmNl
    IiwicGFyc2VycyI6W1siUmFuazo6Q01TIiwiZGVmYXVsdCIseyJ0eXBlIjoib3Zl
    cnJpZGUiLCJpZCI6ImNhdHMiLCJ2YWx1ZSI6WyItM2RDYXJ0IiwiZWNvbW1lcmNl
    IiwiLTF1bmQxIiwiLUFURyBXZWIgQ29tbWVyY2UiLCItQmlnY29tbWVyY2UiLCIt
    Q1MgQ2FydCIsIi1CaWd3YXJlIiwiLUNvbW1lcmNlIFNlcnZlciIsIi1Db3Ntb3No
    b3AiLCItQ3ViZUNhcnQiLCItRGVtYW5kd2FyZSIsIi1EcnVwYWwgQ29tbWVyY2Ui
    LCItRldQIiwiLUUtTWVyY2hhbnQiLCItR2FtYmlvIiwiLUlCTSBXZWJTcGhlcmUg
    Q29tbWVyY2UiLCItSHlicmlzIiwiLUludGVyc2hvcCIsIi1KVEwgU2hvcCIsIi1N
    YWdlbnRvIiwiLU1vbmRvIE1lZGlhIiwiLU9wZW5DYXJ0IiwiLVBvd2VyZ2FwIiwi
    LVF1aWNrLkNhcnQiLCItUGxlbnR5bWFya2V0cyIsIi1PWElEIGVTaG9wIiwiLVBy
    ZXN0YXNob3AiLCItU2Vvc2hvcCIsIi1TaG9wYXRyb24iLCItU2hvcGlmeSIsIi1T
    aG9wd2FyZSIsIi1TbWFydHN0b3JlIiwiLVNwcmVlIiwiLVN0b3JlIFN5c3RlbXMi
    LCItVG9tYXRvQ2FydCIsIi1VYmVyY2FydCIsIi1WUC1BU1AiLCItVmlydHVlTWFy
    dCIsIi1Wb2x1c2lvbiIsIi1XZWJzYWxlIiwiLVdvb0NvbW1lcmNlIiwiLVgtQ2Fy
    dCIsIi1ZYWhvbyEgRWNvbW1lcmNlIiwiLVpldXNjYXJ0IiwiLWlDb25nbyIsIi1u
    b3BDb21tZXJjZSIsIi1vc0NTUyIsIi1vc0NvbW1lcmNlIiwiLXh0Q29tbWVyY2Ui
    LCItWmVuIENhcnQiLCItWGFuYXJpbyJdfSx7InR5cGUiOiJvdmVycmlkZSIsImlk
    IjoidXNlcHJveHkiLCJ2YWx1ZSI6ZmFsc2V9LHsidHlwZSI6ImZpbHRlciIsInJl
    c3VsdCI6ImNtcyIsImZpbHRlclR5cGUiOiJyZW5vdG1hdGNoIiwidmFsdWUiOiJu
    b25lfHVua25vdyIsIm9wdGlvbiI6ImlzIn1dXSwicmVzdWx0c0Zvcm1hdCI6IiRw
    MS5wcmVzZXQiLCJyZXN1bHRzU2F2ZVRvIjoiZmlsZSIsInJlc3VsdHNGaWxlTmFt
    ZSI6IkVjb21lcmNlLnR4dCIsImFkZGl0aW9uYWxGb3JtYXRzIjpbXSwicmVzdWx0
    c1VuaXF1ZSI6Im5vIiwicXVlcnlGb3JtYXQiOlsiaHR0cDovLyRxdWVyeSJdLCJ1
    bmlxdWVRdWVyaWVzIjpmYWxzZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOmZhbHNlLCJp
    dGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZhbHNlLCJxdWVyeUJ1aWxk
    ZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNPbkFsbExldmVs
    cyI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9ucyI6eyJvdmVyd3JpdGUiOmZhbHNlfSwi
    ZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUiOiJObyIsIm1vcmVPcHRpb25zIjpmYWxz
    ZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1bHRzQXBwZW5kIjoiIiwicXVlcnlC
    dWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W10sImNvbmZpZ092ZXJyaWRl
    cyI6W119fQ==
     
    #17 high_skill, 12 ноя 2015
  18. Vanzent

    Vanzent A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    16 апр 2013
    Сообщения:
    27
    Симпатии:
    7
    Query format: http://$query
    А запросы с http или без?
     
    #18 Vanzent, 12 ноя 2015
  19. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Some error - проверь IP в Members Area
     
    #19 Forbidden, 12 ноя 2015
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей