1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Парсинг ссылок по запросам inurl:.php?id=

Тема в разделе "Делимся опытом", создана пользователем roger22, 15 фев 2018.

Метки:
  1. roger22

    roger22 New Member

    Регистрация:
    14 фев 2018
    Сообщения:
    5
    Симпатии:
    0
    Здравствуйте . Пожалуйста подскажите, как настроить а-парсер под парс страниц с гугла, по доркам .
    В данный момент настройки стоят по дефлопу. Но,почему-то парсит не очень много ссылок . К примеру по доркам такого вида: "inurl:.php?id=" , в гугле больше ляма страниц. Парсер находит около 10-30 тысяч. Мне нужно бооольше ссылок :) . Так-же столкнулся с такой траблой: Когда парсю ссылки через :"редактор заданий" много запросов идет в неудачные , а когда парсю через:",быстрое задание " все ок .
     
  2. Zlodeys

    Zlodeys A-Parser Pro License
    A-Parser Pro

    Регистрация:
    2 фев 2016
    Сообщения:
    51
    Симпатии:
    30
    Для наибольшего кол-ва результатов, добавляй к запросу перебор. Например {az:aaa:zzz} или {subs:folder} - где folder папка с файлом где будут запросы ,будет перебор всех вариантов. Насчет второго вопроса, смотри в сторону прокси, гугл очень остро реагирует на парсинг с операторами. Нужны хорошие прокси и много. Попробуй поставить повтор с другим прокси, например 10 повторов. [​IMG]

    Это
    переопределение [​IMG]
     
    #2 Zlodeys, 15 фев 2018
    Последнее редактирование: 15 фев 2018
  3. roger22

    roger22 New Member

    Регистрация:
    14 фев 2018
    Сообщения:
    5
    Симпатии:
    0
    Спасибо . Но этот метод с перебором не подойдет так как в большенстве случаев, он парсит дубли .
     
  4. Zlodeys

    Zlodeys A-Parser Pro License
    A-Parser Pro

    Регистрация:
    2 фев 2016
    Сообщения:
    51
    Симпатии:
    30
    Я тебе советую не с выдачи дергать сайты с дорками, а базу доменов прочекать на эти дорки ;)
    Так как с выдачи уже как правило все задрочены сайты. А, вот с базы доменов, можно более менее нормально надергать. И скорость в разы быстрее. У меня этот метод показал хороший результат.
     
    AlexSk09, Oopssik и roger22 нравится это.
  5. roger22

    roger22 New Member

    Регистрация:
    14 фев 2018
    Сообщения:
    5
    Симпатии:
    0
    Пожалуйста подскажи подробнее как это сделать ? Можно в лс
     
  6. vaulroon

    vaulroon A-Parser Pro License
    A-Parser Pro

    Регистрация:
    11 фев 2018
    Сообщения:
    67
    Симпатии:
    4
    Зачем в лс, информация, думаю, не секретная и передаваться будет не за деньги, зато может другие пользователи почерпнут для себя что-то новое.
     
  7. roger22

    roger22 New Member

    Регистрация:
    14 фев 2018
    Сообщения:
    5
    Симпатии:
    0
    Ну в лс просто хотел обсудить детали . А так конечно не настаиваю можно и в теме .
     
  8. Zlodeys

    Zlodeys A-Parser Pro License
    A-Parser Pro

    Регистрация:
    2 фев 2016
    Сообщения:
    51
    Симпатии:
    30
    Да все же выше уже написано. Зарежаем базу доменов, если нужно сначала прогоняем на cms, через Net::HTTP чекаем по признакам, путем подстановки и перебором нашей дорки через {subs:folder}. И усе.

    Где брать список доменов, это уже гуглите сами. Но проблем с этим нет особо. В конце концов на форуме, есть пример как распарсить выдачу на домены.
     
    #8 Zlodeys, 16 фев 2018
    Последнее редактирование: 16 фев 2018
    roger22 нравится это.
  9. roger22

    roger22 New Member

    Регистрация:
    14 фев 2018
    Сообщения:
    5
    Симпатии:
    0
    Спасибо.Буду пробовать копать .
     
  10. Vvtex

    Vvtex A-Parser Pro License
    A-Parser Pro

    Регистрация:
    9 окт 2017
    Сообщения:
    124
    Симпатии:
    24
    Привет. Подскажите, где "пример как распарсить выдачу на домены".

    З.Ы. метод перебора
    $query {az:a:zzz}
    $query {num:1:10000}
     
    #10 Vvtex, 17 мар 2018
    Последнее редактирование: 17 мар 2018
  11. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.403
    Симпатии:
    2.116
  12. Vvtex

    Vvtex A-Parser Pro License
    A-Parser Pro

    Регистрация:
    9 окт 2017
    Сообщения:
    124
    Симпатии:
    24
    Support, спасибо
     
    Support нравится это.

Поделиться этой страницей