Каталог примеров

Тема в разделе "Делимся опытом", создана пользователем Support, 8 июл 2015.

  1. Support

    Support Moderator Команда форума A-Parser Enterprise

    В данном каталоге собраны различные примеры использования А-Парсера для облегчения поиска ответов на возникающие вопросы. В комментариях приветствуются заявки на добавление и другие предложения.

    Парсинг контактных данных (e-mail, телефоны...)

    Сбор емейлов со всех страниц сайта
    Собираем 1.65 миллиона email со страниц контактов за 2.5 часа
    Детальный разбор комплексного парсинга номеров телефонов из доски обьявлений
    Выборочная обработка JavaScript: расшифровка телефонов
    Парсинг Авито
    Парсинг 2GIS
    Как получить admin contact из WHOIS
    Парсинг телефонов (регулярное выражение)

    Парсеры подсказок

    Парсер подсказок Baidu
    Парсер подсказок Rambler
    Парсер подсказок Mail.Ru
    Парсер подсказок LiveInternet
    Парсер подсказок DuckDuckGo
    Парсер подсказок GooglePlay
    Парсер подсказок pornhub
    Парсинг подсказок Youtube
    Подсказки amazon.com

    Парсинг характеристик сайтов, доменов и т.п.

    Проверяем наличие мобильной версии для 1000000 сайтов
    Определение сайтов без мобильной версии
    Определяем CMS для 1000000 доменов за 15 часов
    Проверка сайта на ошибку 404
    Проверка доменов/ссылок на 200 ОК
    Создание карты сайта
    Проверка наличия страниц
    Узнать имя ns-сервера
    Кэш Яндекса
    Парсинг информации о IP
    Как фильтровать результат по определенным хедерам?
    Универсальный чекер страниц
    Парсинг всех страниц сайта
    Как спарсить title?
    Спарсить все .com домены
    Как собрать все url с параметрами?
    Анализ скорости загрузки и юзабилити сайтов
    Анализ всех страниц сайта

    Парсинг соц. сетей, интернет магазинов и т.п.

    Парсер vk.com (Родной город, Семейное положение, Время захода на анкету)
    Сбор ссылок на анкеты vk.com
    Парсинг всех результатов поиска vk.com
    Парсинг товаров с интернет-магазина и вывод результатов в виде веб-страницы
    Парсинг дерева категорий с сохранением структуры
    Парсер соц сигналов

    Фильтры

    Фильтр ответа сервера и заголовков
    FAQ по использованию фильтров
    Стоп-слова (использование фильтров)
    Парсинг сайтов с быстророботом (фильтр по времени)
    Фильтрация по размеру текста
    Как отфильтровать результаты по нескольким признакам и разбить по ним в отчете?
    Фильтр данных по дате
    Проверка на множественное вхождение текста анкора ссылки
    Как получить количество главных в выдаче по запросу?
    Как упростить конструкцию фильтра
    Парсинг быстробота в Яндексе или парсинг по дате
    Проверка вхождения ключа в анкор

    Работа с файлами

    Скачивание изображений по ссылкам
    Динамическое изменение имени файла результатов
    Сортировка по файлам в зависимости от значения
    Скачивание файлов в папки с иерархией
    Пример скачивания файлов
    Еще один комплексный пример с использованием разных парсеров и сохранением результатов в несколько файлов в разных папках
    Анализ выдачи гугла на наличие ключа в тайтле и дескрипшене, с выводом результата в разные файлы
    Create new result directory every X number of files (English)
    Скачивание картинок указанного разрешения и размера
    Проверка картинок на уникальность
    Разбивать результат в файлы по условиям

    Кастомные парсеры

    Пример написания собственного парсера
    Парсинг RSS
    Парсинг Google Translate
    Парсер search.disconnect.me или альтернатива inurl Google
    Парсер подсказок из search.disconnect.me
    Парсинг трафика и стоимости по ключевым словам из SEMrush
    Парсер YouTube через API
    Парсинг Instagram
    Парсинг searchmetrics.com
    Парсер searx.me
    Кастомный парсер Яндекс Картинок
    Быстрое создание кастомного парсера поисковой системы с помощью XPath
    Парсинг OpenSiteExplorer (MOZ) с авторизацией
    Как парсить Яндекс.Новости?
    Парсинг всех сайтов из указанной категории Я.Каталога

    Ключевые слова и тексты

    Первые шаги работы с WordStat'ом
    Парсинг Вортстата по указанным кеям
    Сбор текстовых блоков >1000 символов
    Определение сезонности ключевых слов через Wordstat
    Поиск свободных ниш в RU сегменте интернета
    Частотность слов и словосочетаний
    Семантический анализ текста (плотность, водность и т.п.)
    Вывод определенного количества текста из страницы
    Проверка корректности ключевых слов в Гугле
    Проверка конкуренции и вхождения в в заголовок в Google
    Парсинг подсветок для Yandex
    Топ10 - фильтрация по кол-ву вхождения в тайтл и сниппет
    Вытянуть содержимое статьи в одну строчку

    Другие примеры работы с А-парсер'ом

    Сбор перелинкованных топиков
    Парсим базу для XRumer: 420000 форумов за 9 часов
    Управление ссылками для перехода при использовании Parse to level
    Оценка частотности по Вордстату, словарь Даля, 115000 слов за 40 минут
    Вывод результатов в таблицу с возможностью сортировки
    Сбор прокси
    Рефспам
    Подсчет количества совпадений на странице (частотность)
    Сравнить две строковые даты
    Парсинг подсвеченных слов из сниппета
    Парсинг информации, подгружаемой JS
    Пример задания с использованием нескольких парсеров
    Удаление переносов из конечного результата
    Подстановка рандомного символа
    Проверка наличия слова в домене и поддомене
    SEO::ping - How to? (English)
    Пример использования Use pages и Check next page
    Проверка сайтов на наличие определенных фраз и запись в разные файлы в зависимости от результата проверки
    Парсинг статей с сохранением в xml с доп. данными
    Template Toolkit - перемешать строчки в файле результата
    Сохранение запросов, по которым было найдено очень мало результатов
    Получение md5 запроса
    Получение актуального списка регионов и их кодов для Яндекса
    Сортировка результатов
    Статистика по результатам парсинга
    Парсинг выдачи Google по картинке
    md5 подпись результата
    Вывод результата в формате дампа SQL
    Из unix в привычную дату
    Как получить полные ссылки из Baidu
    Parse to level, как парсить с ограничением?

    Обзоры

    Обзор вариантов представления результата на примере оценки позиций сайтов
    Обзор инструмента $tools.query
     
    Последнее редактирование: 6 дек 2016
    btr, vipdenya, loveseo и 3 другим нравится это.
  2. Support

    Support Moderator Команда форума A-Parser Enterprise

    Каталог обновлен, добавлено 32 примера и 1 обзор.
     
    rumos, List, Metroid и 4 другим нравится это.

Поделиться этой страницей