Сборник рецептов #27: сбор списка user-agent и парсинг Авито с записью в MySQL

27-й сборник рецептов. В нем собраны рецепты сбора списка юзерагентов и парсинга Авито с записью результатов в MySQL базу данных. Также показан пример отправки файлов в POST запросе. Поехали!

Получение списка user-agent
Сейчас существует много различных браузеров, которые работают на разных платформах. Многие сайты ограничивают работу со старыми браузерами, а некоторые не отдают контент даже при запросе с юзерагентом относительно нового браузера. В A-Parser можно задавать user-agent для запросов, также существует специальный инструмент, который позволяет при каждом запросе выбирать рандомный из заранее подготовленного списка. Пресет для парсинга таких списков, с возможностью фильтрации по различным параметрам, доступен по ссылке выше.


Парсер Avito с записью в MySQL
Предыдущий пресет для парсинга Авито пользуется большой популярностью. Также наши пользователи часто спрашивают о возможности записи собранных результатов напрямую в базу данных. Поэтому мы подготовили JS парсер, который решает эту задачу. Как обычно, он доступен по ссылке выше.


Кроме этого:

• Отправка файлов в POST запросе - пример решения задачи по отправке файлов в POST запросах.

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Спойлер: Предыдущие сборники

• Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
• Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
• Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
• Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
• Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
• Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
• Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
• Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
• Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
• Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
• Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
• Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
• Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query
• Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты
• Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu
• Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей
• Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК
• Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов
• Сборник рецептов #19: публикация сообщений в Wordpress, парсинг Chrome Webstore и AliExpress
• Сборник рецептов #20: автообновление цен в ИМ, анализ текстов и регистрация аккаунтов
• Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb
• Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг и поиск сабдоменов
• Сборник рецептов #23: категории сайтов, парсинг в YML и преобразование дат
• Сборник рецептов #24: уведомление в Telegram об экспайре доменов, чекер РКН и работа с SQLite
• Сборник рецептов #25: дозапись результатов в таблицу, парсинг без регулярок и китайские поисковики
• Сборник рецептов #26: мобильные версии сайтов, список регионов Яндекса и упоминания домена в индексе