1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

SE::Yandex очень низкая скорость парсинга

Тема в разделе "Техническая поддержка", создана пользователем seowin555, 30 мар 2020.

  1. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    186
    Симпатии:
    37
    Подскажите, можно как-то ускорить парсер SE::Yandex?
    Использовал сначала свои прокси и также покупные, скорость парсинга была низкой, купил прокси а-парсера 100 потоков на месяц, но скорость работы на проксях а-парсера еще ниже, чем на моих..

    Пробовал парсить как с Ксевилом, так и без него.

    Также пробовал обновить а-парсер до последней версии, но также не помогло.
     
    #1 seowin555, 30 мар 2020
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.372
    Симпатии:
    2.102
    Можно попробовать стандартные варианты: увеличить кол-во потоков и уменьшить кол-во собираемых страниц (если это позволяет сделать ваша задача).
    Но Яндекс сейчас плохо парсится в целом, часто выдает каптчи, поэтому больших скоростей врятли получится добиться. По нашим тестам немного увеличивает скорость подключение авторазгадывания каптч или антигейта, но не на много.
     
    #2 Support, 30 мар 2020
    seowin555 нравится это.
  3. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    186
    Симпатии:
    37
    Все это и так сделано, но не помогло..
    Паршу по кею всего 20 результатов на 1 страницу.
    Использую в качестве антигейта Ксевил.
    По моим ощущениям, сейчас Яндекс парсится даже хуже, чем Гугл.
    Скорость парсинга при 100-200 потоках до 100 максимум, и то в среднем 50...
     
    #3 seowin555, 30 мар 2020
    HoneyMoney нравится это.
  4. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    186
    Симпатии:
    37
    Так как мне постоянно для моих задач нужно парсить Яндекс практически, стал разбираться с задачей сам далее.
    Понял следующее, что сейчас похоже сильно Яндекс зависит от проксей...
    Нашел дорогие прокси, на них удалось поднять скорость при 200 потоках до 400 линков это без антигейта. С антигейтом(использовался Ксевил), там скорость до 200.
    Прокси а-парсера на данный момент для парсинга Яндекса не подходят.

    Предлагаю ввести тестовый тариф или манибэк в течении часа для проксей а-парсера.
    Вот я, например, взял прокси сейчас а-парсера только для парсинга Яндекса, но с ними совсем почти парсинг не идет, поэтому парсить Яндекс с ними не буду, по сути просто выкинул деньги.
     
    #4 seowin555, 31 мар 2020
    kolya757 нравится это.
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей