16-й выпуск Сборника рецептов. В нем мы научимся парсить OpenSiteExplorer с авторизацией, попробуем забирать все сайты из Яндекс.Каталога и сделаем парсер Яндекс.Новостей. Поехали!
Парсинг OpenSiteExplorer (MOZ) с авторизацией
С помощью рассмотренного в статье способа, можно парсить OSE с авторизацией, что в свою очередь позволяет обходить ограничение на 10 запросов с одного IP в сутки. Плюс ко всему, значительно расширен набор возвращаемых параметров по сравнению со стандартным парсером. Кроме этого, можно совсем не использовать прокси, что дает значительный прирост в скорости! Сам пресет и описание - по ссылке выше.
Парсинг всех сайтов из указанной категории Я.Каталога
Многие пользователи A-Parser неоднократно спрашивали о возможности спарсить все сайты из Яндекс.Каталога. Поэтому мы публикуем сам пресет и подробное описание процесса его создания и работы. Все это - по ссылке выше.
Как парсить Яндекс.Новости?
В А-Парсере в стандартном парсере Google можно парсить новости. А вот для Яндекса на данный момент нету такой возможности. Но решается это довольно просто. Как именно - читайте по ссылке выше. Плюс бонусом небольшой пресет для парсинга подсказок из Я.Новостей - еще один способ парсить ключевые слова
Кроме этого:
Еще больше различных рецептов в нашем Каталоге примеров!
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
Парсинг OpenSiteExplorer (MOZ) с авторизацией
С помощью рассмотренного в статье способа, можно парсить OSE с авторизацией, что в свою очередь позволяет обходить ограничение на 10 запросов с одного IP в сутки. Плюс ко всему, значительно расширен набор возвращаемых параметров по сравнению со стандартным парсером. Кроме этого, можно совсем не использовать прокси, что дает значительный прирост в скорости! Сам пресет и описание - по ссылке выше.
Парсинг всех сайтов из указанной категории Я.Каталога
Многие пользователи A-Parser неоднократно спрашивали о возможности спарсить все сайты из Яндекс.Каталога. Поэтому мы публикуем сам пресет и подробное описание процесса его создания и работы. Все это - по ссылке выше.
Как парсить Яндекс.Новости?
В А-Парсере в стандартном парсере Google можно парсить новости. А вот для Яндекса на данный момент нету такой возможности. Но решается это довольно просто. Как именно - читайте по ссылке выше. Плюс бонусом небольшой пресет для парсинга подсказок из Я.Новостей - еще один способ парсить ключевые слова
Кроме этого:
- Проверка вхождения ключа в анкор
- Обновлен пресет для парсинга пользователей по тегу из Instagram
Еще больше различных рецептов в нашем Каталоге примеров!
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
- Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
- Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
- Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
- Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
- Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
- Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
- Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
- Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
- Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
- Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
- Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
- Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
- Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query
- Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты
- Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu