1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Помогите собрать список доменов

Тема в разделе "Техническая поддержка", создана пользователем anvikvik, 12 июл 2013.

  1. anvikvik

    anvikvik A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 мар 2013
    Сообщения:
    1
    Симпатии:
    0
    Здравствуйте, пожалйуста помогите настроить а-парсер так, чтоб на выходе у меня были списки доменов ( можно в крайнем случае полных линков ) . Нужны только домены с выдачи больше ничего. Заранее благодарен
     
    #1 anvikvik, 12 июл 2013
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    В общем случае поиск доменов решается парсингом ПС по нужным запросам, если тематика домена не важна то можно просто использовать перебор букв:

    [​IMG]

    На данном скрине мы видим:
    1. Парсим поисковик Google с пресетом 1000 ссылок с 1 запроса(10 страниц по 100 результатов - максимально для Гугла)
    2. Делаем уникальность ссылок по домену - нам не нужны повторящиюся ссылки
    3. Извлекаем с помощью Results Builder домен из ссылки - нам нужен только список доменов в результате
    4. В качестве запроса используем макрос {az:a:zzzz} - он автоматически создаст все комбинации буквенных запросов в диапозоне от a до zzzz
     
    #2 Forbidden, 13 июл 2013
  3. Malchishka

    Malchishka A-Parser Pro License
    A-Parser Pro

    Регистрация:
    13 сен 2013
    Сообщения:
    42
    Симпатии:
    0
    Подскажите? почему cпарсить все адреса сайтов из выдачи, вроде сделал по примеру выше, но парсит почему-то ~165 ссылок (хотя в выдаче их намного больше), что я сделал не так?

    [​IMG]
     
    #3 Malchishka, 8 апр 2014
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    необходимо кликнуть по иконке с инструментом и выбрать Parse all results
    [​IMG]
     
    #4 Forbidden, 8 апр 2014
    Malchishka нравится это.
  5. Malchishka

    Malchishka A-Parser Pro License
    A-Parser Pro

    Регистрация:
    13 сен 2013
    Сообщения:
    42
    Симпатии:
    0
    Помогите, пожалуйста решить проблему.
    Создал проект
    [​IMG]
    и решил его опробовать, домены начались парситься, всё работало. Я выключил выполнение, т.к. у меня ещё собралось недостаточно прокси. После того, как прокси собралось достаточно я добавил ещё и к Яндексу такуюже строчку "Unique resulte on" и запустил парсер, но ничего не спарсилось, я удалил для Я эту строку, т.е. оставил всё тоже, что было при тестировании, но всё равно получил пустой файл.
     
    #5 Malchishka, 5 май 2014
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    увеличь попытки - Request retries для обоих парсеров
     
    #6 Forbidden, 5 май 2014
    Malchishka нравится это.
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей