A-Parser - парсер для профессионалов SEO

май
17
by Support at 10:14
(107 Просмотров / 3 Симпатии)
0 Комментарии
Очередное видео в цикле уроков по созданию JavaScript парсеров. Здесь показано, как реализовать разгадывание рекаптч в JS парсере.



В уроке рассмотрено:
  • Описание и настройка парсера Util::ReCaptcha2 Util::ReCaptcha2
  • Описание принципа работы ReCaptcha2
  • Создание кастомного JavaScript парсера с поддержкой разгадывания рекаптч

Ссылки:

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
май
07
by Support at 11:43
(255 Просмотров / 3 Симпатии)
0 Комментарии

Улучшения

  • SE::Google::Modern SE::Google::Modern - многократно увеличена скорость парсинга
  • Множество улучшений в Net::DNS Net::DNS:
    • Возможность указать несколько DNS и задать метод выбора
    • Бан нерабочих/плохих DNS по специальному эвристическому алгоритму
    • Возможность вывести в результат использованный DNS сервер при удачном запросе
  • В SE::Google::Modern SE::Google::Modern добавлена опция Use sessions
  • В SE::Yandex::WordStat SE::Yandex::WordStat добавлена настройка пресета антигейта для логина
  • Также в SE::Yandex::WordStat SE::Yandex::WordStat удалены настройки Use logins/Use sessions, теперь они включены всегда
  • Добавлена возможность автоматического удаления задания из Завершенных
  • В макросе подстановок {num} добавлена поддержка обратного отсчета
  • В JavaScript парсерах добавлена возможность сохранения произвольных данных в сессии
  • В JavaScript парсерах добавлена возможность прямого сохранения в файл
  • В API методе...
апр
26
by Support at 11:19
(296 Просмотров / 1 Симпатии)
0 Комментарии
В этом сборнике статей мы рассмотрим все возможные варианты решения задачи прохода по пагинации на сайтах, очень детально изучим работу с переменными в JavaScript парсерах, а также попробуем работать с базами данных SQLite на примере парсера курсов валют. Поехали!

Обзор вариантов прохода по пагинации
В A-Parser существует несколько способов, с помощью которых можно реализовать проход по пагинации. В связи с их разнообразием, становится актуальным вопрос выбора нужного алгоритма, который позволит максимально эффективно переходить по страницам в процессе парсинга. В этой статье мы постараемся разобраться с каждым из способов максимально подробно. Также будут показаны реальные примеры и даны рекомендации по оптимизации многостраничного парсинга. Статья - по ссылке выше.


Переменные в парсерах JavaScript
JS парсеры в А-Парсере появились уже около года назад. Благодаря им...
апр
19
by Support at 12:37
(241 Просмотров / 4 Симпатии)
0 Комментарии
Запись обучающего вебинара для ТопЭксперт, рассказываем об А-Парсере, его возможностях в целом, а также продемонстрируем ключевые функции


  1. Что такое A-Parser
  2. Базовые возможности (встроенные парсеры)
    • Демонстрация работы стандартных парсеров:
      • парсинг Google
      • парсинг Bing с автоматическим размножением запросов (Parse all results)
      • проверка позиций в Яндекс
      • сбор характеристик сайтов, 3 парсера в одном пресете: Alexa, Яндекс.ТИЦ, MOZ
      • парсинг текстов
      • сбор e-mail
      • сбор title и description со страниц
  3. JavaScript парсеры
    • Демонстрация работы JS парсеров:
      • определение языка ключевого слова с помощью Яндекс.Переводчика
      • использование модулей Node.js
  4. API
  5. Заключение
    • системные требования
    • прокси
    • цены и лицензирование
    ...
апр
16
by Support at 12:05
(251 Просмотров / 1 Симпатии)
0 Комментарии
22-й сборник рецептов. В нем мы разберемся, как проверять индексацию всех страниц сайта одновременно в нескольких поисковиках, научимся парсить данные по ссылкам из выдачи одним заданием и будем искать сабдомены на сайтах. Поехали!

Получение страниц сайта и проверка индексации в Google и Яндекс
Данный пресет позволяет спарсить ссылки на все страницы сайта и одновременно проверить их на предмет индексации поисковиками (в примере Google и Яндекс, можно по аналогии добавить другие ПС). Готовый пресет и описание по ссылке выше.

Парсим title и description для TOP10 поисковой выдачи по ключевому слову
Пример использования tools.query.add в JavaScript парсерах. Данный парсер получает ссылки из выдачи, после чего собирает из каждой страницы title и description. И все это одним заданием с максимальной производительностью, благодаря многопоточному парсингу. Парсер с описанием...