1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Пресет Нужна помощь в составлении задания для парсинга 1.0

Проверка наличия запроса в домене и поддомене

  1. seoseo2014

    seoseo2014 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    12 янв 2015
    Сообщения:
    4
    Симпатии:
    0
    Приветствую. Прошу помочь в правильном и корректном составлении задания для апарсера. Документацию читаю, форум тоже. Разбираюсь потихоньку. Прошу не отправлять в мануалы, а показать реальный пример.

    Теперь о том, что мне нужно. А именно, запустить парсинг гугла по максимуму на предмет наличия у доменов двух признаков: нужного мне слова, как в поддомене, так и в папке.

    Например: slovo.domen.com и domen.com/slovo/

    Результат необходимо выводить в два файла, без анкоров и лишней информации. Только ссылки с данным словом. В первом файле слово в поддомене: http://slovo.domen.com, во втором файле слово в папке: http://domen.com/slovo/

    Заранее огромное спасибо за помощь.
     
    #1 seoseo2014, 13 янв 2015
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.794
    [​IMG]

    • Сохраняем по регулярным выражениям необходимые ссылки в отдельные массивы
    • Сохраняем результаты из этих массивов по отдельным файлам
    • Используем опцию Parse all results для сбора большего числа результатов
    Код:
    eyJwcmVzZXQiOiJHb29nbGU6IGZpbHRlciB0byB0d28gZmlsZXMiLCJ2YWx1ZSI6
eyJwcmVzZXQiOiJHb29nbGU6IGZpbHRlciB0byB0d28gZmlsZXMiLCJwYXJzZXJz
IjpbWyJTRTo6R29vZ2xlIiwiMTAwMCBMaW5rcyB1c2UgUHJveHkiLHsidHlwZSI6
ImN1c3RvbVJlc3VsdCIsInJlc3VsdCI6WyJzZXJwIiwibGluayJdLCJyZWdleCI6
IiheaHR0cHM/Oi8vW14vXSo/WyUgcXVlcnkub3JpZyAlXS4qJCkiLCJyZWdleFR5
cGUiOiJpIiwicmVzdWx0VHlwZSI6ImFycmF5IiwiYXJyYXlOYW1lIjoic3VicyIs
InJlc3VsdHMiOlsibGluayJdfSx7InR5cGUiOiJjdXN0b21SZXN1bHQiLCJyZXN1
bHQiOlsic2VycCIsImxpbmsiXSwicmVnZXgiOiIoXmh0dHBzPzovL1teL10qLy4q
P1slIHF1ZXJ5Lm9yaWcgJV0uKiQpIiwicmVnZXhUeXBlIjoiaSIsInJlc3VsdFR5
cGUiOiJhcnJheSIsImFycmF5TmFtZSI6InBhdGhzIiwicmVzdWx0cyI6WyJsaW5r
Il19LHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJwcm94eXJldHJpZXMiLCJ2YWx1
ZSI6IjE1MCJ9LHsidHlwZSI6Im9wdGlvbnMiLCJpZCI6InBhcnNlQWxsIiwidmFs
dWUiOnRydWV9XV0sInJlc3VsdHNGb3JtYXQiOiIkcDEuc3Vicy5mb3JtYXQoJyRs
aW5rXFxuJykiLCJyZXN1bHRzU2F2ZVRvIjoiZmlsZSIsInJlc3VsdHNGaWxlTmFt
ZSI6InN1YnMtJGRhdGVmaWxlLmZvcm1hdCgpLnR4dCIsImFkZGl0aW9uYWxGb3Jt
YXRzIjpbWyJwYXRocy0kZGF0ZWZpbGUuZm9ybWF0KCkudHh0IiwiJHAxLnBhdGhz
LmZvcm1hdCgnJGxpbmtcXG4nKSJdXSwicmVzdWx0c1VuaXF1ZSI6Im5vIiwicXVl
cnlGb3JtYXQiOlsiaW51cmw6JHF1ZXJ5Il0sInVuaXF1ZVF1ZXJpZXMiOmZhbHNl
LCJzYXZlRmFpbGVkUXVlcmllcyI6ZmFsc2UsIml0ZXJhdG9yT3B0aW9ucyI6eyJv
bkFsbExldmVscyI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9ucyI6eyJvdmVyd3JpdGUi
OmZhbHNlfSwiZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUiOiJObyIsIm1vcmVPcHRp
b25zIjpmYWxzZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1bHRzQXBwZW5kIjoi
IiwicXVlcnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W10sImNvbmZp
Z092ZXJyaWRlcyI6W119LCJwYXJzZXJzQ29uZlByZXNldHMiOnsiU0U6Okdvb2ds
ZSI6eyIxMDAwIExpbmtzIHVzZSBQcm94eSI6eyJxdWVyeWZvcm1hdCI6IiRxdWVy
eSIsInBhcnNlbm90Zm91bmQiOnRydWUsImdsIjoiIiwicGFnZWNvdW50IjoiMTAi
LCJkb19nemlwIjpmYWxzZSwiZG9tYWluIjoid3d3Lmdvb2dsZS5jb20iLCJ0aW1l
b3V0IjoiNjAiLCJ1c2Vwcm94eSI6dHJ1ZSwiYW50aWdhdGVwcmVzZXQiOiJkZWZh
dWx0IiwiZXh0cmFxdWVyeSI6IiIsImxvY2F0aW9uIjoiIiwidXNlc2Vzc2lvbnMi
OnRydWUsInNlcnB0aW1lIjoiIiwibGlua3NwZXJwYWdlIjoiMTAwIiwiZmlsdGVy
Ijp0cnVlLCJzZXJwIjoiIiwidXNlYW50aWdhdGUiOmZhbHNlLCJwcm94eXJldHJp
ZXMiOiIxNSIsInJlcXVlc3RkZWxheSI6IjAiLCJwcm94eWJhbm5lZGNsZWFudXAi
OiI2MDAiLCJyYXdkYXRhIjowLCJmb3JtYXRyZXN1bHQiOiIkc2VycC5mb3JtYXQo
JyRsaW5rXFxuJykiLCJsciI6IiIsIm1heF9zaXplIjoiMjA0ODAwIn19fX0=
     
    #2 Forbidden, 13 янв 2015
    seoseo2014 нравится это.
  3. seoseo2014

    seoseo2014 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    12 янв 2015
    Сообщения:
    4
    Симпатии:
    0
    Большое спасибо! Дабы не создавать новую тему, спрошу здесь. Как добиться сбора максимального кол-ва результатов? При данных настройках у меня собирает 2-3k доменов максимум, после чего задание завершается.
     
    #3 seoseo2014, 14 янв 2015
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.794
    попробуй выключить Parse all results и использовать такой формат запроса:
    {az:a:zzzz} inurl:$query
     
    #4 Forbidden, 14 янв 2015
    seoseo2014 нравится это.
  5. Rost

    Rost A-Parser Pro License
    A-Parser Pro

    Регистрация:
    16 сен 2014
    Сообщения:
    28
    Симпатии:
    5
    Подскажите с пресетом, аналогичная задача, но уже надо пройтись с проверкой на такое же наличие "slovo", но не из поиска гугл, а из уже имеющегося списка доменов
     
    #5 Rost, 3 окт 2018
  6. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Т.е. нужно проверить на страницах по заданным ссылкам наличие некоего слова и вывести в результат только те, где это слово найдено?
     
    #6 Support, 3 окт 2018
  7. Rost

    Rost A-Parser Pro License
    A-Parser Pro

    Регистрация:
    16 сен 2014
    Сообщения:
    28
    Симпатии:
    5
    да, всё верно
     
    #7 Rost, 3 окт 2018
    Последнее редактирование: 3 окт 2018
  8. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Решается с помощью фильтров. Похожий пример есть здесь: https://a-parser.com/threads/4811/#post-15292
     
    #8 Support, 3 окт 2018
  9. Rost

    Rost A-Parser Pro License
    A-Parser Pro

    Регистрация:
    16 сен 2014
    Сообщения:
    28
    Симпатии:
    5
    имеется список урлов (список доменов), надо чтобы искало папку или поддомен с этим словом, затем сохраняло в отдельные файлы найденные урлы
     
    #9 Rost, 3 окт 2018
  10. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Не совсем понятна задача, опишите, пожалуйста, на реальном примере то, что вы хотите сделать.
     
    #10 Support, 3 окт 2018
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей