1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Пресет Нужна помощь в составлении задания для парсинга 1.0

Проверка наличия запроса в домене и поддомене

  1. seoseo2014

    seoseo2014 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    12 янв 2015
    Сообщения:
    4
    Симпатии:
    0
    Приветствую. Прошу помочь в правильном и корректном составлении задания для апарсера. Документацию читаю, форум тоже. Разбираюсь потихоньку. Прошу не отправлять в мануалы, а показать реальный пример.

    Теперь о том, что мне нужно. А именно, запустить парсинг гугла по максимуму на предмет наличия у доменов двух признаков: нужного мне слова, как в поддомене, так и в папке.

    Например: slovo.domen.com и domen.com/slovo/

    Результат необходимо выводить в два файла, без анкоров и лишней информации. Только ссылки с данным словом. В первом файле слово в поддомене: http://slovo.domen.com, во втором файле слово в папке: http://domen.com/slovo/

    Заранее огромное спасибо за помощь.
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.796
    [​IMG]

    • Сохраняем по регулярным выражениям необходимые ссылки в отдельные массивы
    • Сохраняем результаты из этих массивов по отдельным файлам
    • Используем опцию Parse all results для сбора большего числа результатов
    Код:
    eyJwcmVzZXQiOiJHb29nbGU6IGZpbHRlciB0byB0d28gZmlsZXMiLCJ2YWx1ZSI6
    eyJwcmVzZXQiOiJHb29nbGU6IGZpbHRlciB0byB0d28gZmlsZXMiLCJwYXJzZXJz
    IjpbWyJTRTo6R29vZ2xlIiwiMTAwMCBMaW5rcyB1c2UgUHJveHkiLHsidHlwZSI6
    ImN1c3RvbVJlc3VsdCIsInJlc3VsdCI6WyJzZXJwIiwibGluayJdLCJyZWdleCI6
    IiheaHR0cHM/Oi8vW14vXSo/WyUgcXVlcnkub3JpZyAlXS4qJCkiLCJyZWdleFR5
    cGUiOiJpIiwicmVzdWx0VHlwZSI6ImFycmF5IiwiYXJyYXlOYW1lIjoic3VicyIs
    InJlc3VsdHMiOlsibGluayJdfSx7InR5cGUiOiJjdXN0b21SZXN1bHQiLCJyZXN1
    bHQiOlsic2VycCIsImxpbmsiXSwicmVnZXgiOiIoXmh0dHBzPzovL1teL10qLy4q
    P1slIHF1ZXJ5Lm9yaWcgJV0uKiQpIiwicmVnZXhUeXBlIjoiaSIsInJlc3VsdFR5
    cGUiOiJhcnJheSIsImFycmF5TmFtZSI6InBhdGhzIiwicmVzdWx0cyI6WyJsaW5r
    Il19LHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJwcm94eXJldHJpZXMiLCJ2YWx1
    ZSI6IjE1MCJ9LHsidHlwZSI6Im9wdGlvbnMiLCJpZCI6InBhcnNlQWxsIiwidmFs
    dWUiOnRydWV9XV0sInJlc3VsdHNGb3JtYXQiOiIkcDEuc3Vicy5mb3JtYXQoJyRs
    aW5rXFxuJykiLCJyZXN1bHRzU2F2ZVRvIjoiZmlsZSIsInJlc3VsdHNGaWxlTmFt
    ZSI6InN1YnMtJGRhdGVmaWxlLmZvcm1hdCgpLnR4dCIsImFkZGl0aW9uYWxGb3Jt
    YXRzIjpbWyJwYXRocy0kZGF0ZWZpbGUuZm9ybWF0KCkudHh0IiwiJHAxLnBhdGhz
    LmZvcm1hdCgnJGxpbmtcXG4nKSJdXSwicmVzdWx0c1VuaXF1ZSI6Im5vIiwicXVl
    cnlGb3JtYXQiOlsiaW51cmw6JHF1ZXJ5Il0sInVuaXF1ZVF1ZXJpZXMiOmZhbHNl
    LCJzYXZlRmFpbGVkUXVlcmllcyI6ZmFsc2UsIml0ZXJhdG9yT3B0aW9ucyI6eyJv
    bkFsbExldmVscyI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9ucyI6eyJvdmVyd3JpdGUi
    OmZhbHNlfSwiZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUiOiJObyIsIm1vcmVPcHRp
    b25zIjpmYWxzZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1bHRzQXBwZW5kIjoi
    IiwicXVlcnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W10sImNvbmZp
    Z092ZXJyaWRlcyI6W119LCJwYXJzZXJzQ29uZlByZXNldHMiOnsiU0U6Okdvb2ds
    ZSI6eyIxMDAwIExpbmtzIHVzZSBQcm94eSI6eyJxdWVyeWZvcm1hdCI6IiRxdWVy
    eSIsInBhcnNlbm90Zm91bmQiOnRydWUsImdsIjoiIiwicGFnZWNvdW50IjoiMTAi
    LCJkb19nemlwIjpmYWxzZSwiZG9tYWluIjoid3d3Lmdvb2dsZS5jb20iLCJ0aW1l
    b3V0IjoiNjAiLCJ1c2Vwcm94eSI6dHJ1ZSwiYW50aWdhdGVwcmVzZXQiOiJkZWZh
    dWx0IiwiZXh0cmFxdWVyeSI6IiIsImxvY2F0aW9uIjoiIiwidXNlc2Vzc2lvbnMi
    OnRydWUsInNlcnB0aW1lIjoiIiwibGlua3NwZXJwYWdlIjoiMTAwIiwiZmlsdGVy
    Ijp0cnVlLCJzZXJwIjoiIiwidXNlYW50aWdhdGUiOmZhbHNlLCJwcm94eXJldHJp
    ZXMiOiIxNSIsInJlcXVlc3RkZWxheSI6IjAiLCJwcm94eWJhbm5lZGNsZWFudXAi
    OiI2MDAiLCJyYXdkYXRhIjowLCJmb3JtYXRyZXN1bHQiOiIkc2VycC5mb3JtYXQo
    JyRsaW5rXFxuJykiLCJsciI6IiIsIm1heF9zaXplIjoiMjA0ODAwIn19fX0=
     
    seoseo2014 нравится это.
  3. seoseo2014

    seoseo2014 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    12 янв 2015
    Сообщения:
    4
    Симпатии:
    0
    Большое спасибо! Дабы не создавать новую тему, спрошу здесь. Как добиться сбора максимального кол-ва результатов? При данных настройках у меня собирает 2-3k доменов максимум, после чего задание завершается.
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.796
    попробуй выключить Parse all results и использовать такой формат запроса:
    {az:a:zzzz} inurl:$query
     
    seoseo2014 нравится это.
  5. Rost

    Rost A-Parser Pro License
    A-Parser Pro

    Регистрация:
    16 сен 2014
    Сообщения:
    28
    Симпатии:
    5
    Подскажите с пресетом, аналогичная задача, но уже надо пройтись с проверкой на такое же наличие "slovo", но не из поиска гугл, а из уже имеющегося списка доменов
     
  6. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.558
    Симпатии:
    2.168
    Т.е. нужно проверить на страницах по заданным ссылкам наличие некоего слова и вывести в результат только те, где это слово найдено?
     
  7. Rost

    Rost A-Parser Pro License
    A-Parser Pro

    Регистрация:
    16 сен 2014
    Сообщения:
    28
    Симпатии:
    5
    да, всё верно
     
    #7 Rost, 3 окт 2018
    Последнее редактирование: 3 окт 2018
  8. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.558
    Симпатии:
    2.168
    Решается с помощью фильтров. Похожий пример есть здесь: https://a-parser.com/threads/4811/#post-15292
     
  9. Rost

    Rost A-Parser Pro License
    A-Parser Pro

    Регистрация:
    16 сен 2014
    Сообщения:
    28
    Симпатии:
    5
    имеется список урлов (список доменов), надо чтобы искало папку или поддомен с этим словом, затем сохраняло в отдельные файлы найденные урлы
     
  10. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.558
    Симпатии:
    2.168
    Не совсем понятна задача, опишите, пожалуйста, на реальном примере то, что вы хотите сделать.
     

Поделиться этой страницей