27-й сборник рецептов. В нем собраны рецепты сбора списка юзерагентов и парсинга Авито с записью результатов в MySQL базу данных. Также показан пример отправки файлов в POST запросе. Поехали! Получение списка user-agent Сейчас существует много различных браузеров, которые работают на разных платформах. Многие сайты ограничивают работу со старыми браузерами, а некоторые не отдают контент даже при запросе с юзерагентом относительно нового браузера. В A-Parser можно задавать user-agent для запросов, также существует специальный инструмент, который позволяет при каждом запросе выбирать рандомный из заранее подготовленного списка. Пресет для парсинга таких списков, с возможностью фильтрации по различным параметрам, доступен по ссылке выше. Парсер Avito с записью в MySQL Предыдущий пресет для парсинга Авито пользуется большой популярностью. Также наши пользователи часто спрашивают о возможности записи собранных результатов напрямую в базу данных. Поэтому мы подготовили JS парсер, который решает эту задачу. Как обычно, он доступен по ссылке выше. Кроме этого: Отправка файлов в POST запросе - пример решения задачи по отправке файлов в POST запросах. Еще больше различных рецептов в нашем Каталоге! Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы. Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter. Спойлер: Предыдущие сборники Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции! Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов Сборник рецептов #19: публикация сообщений в Wordpress, парсинг Chrome Webstore и AliExpress Сборник рецептов #20: автообновление цен в ИМ, анализ текстов и регистрация аккаунтов Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг и поиск сабдоменов Сборник рецептов #23: категории сайтов, парсинг в YML и преобразование дат Сборник рецептов #24: уведомление в Telegram об экспайре доменов, чекер РКН и работа с SQLite Сборник рецептов #25: дозапись результатов в таблицу, парсинг без регулярок и китайские поисковики Сборник рецептов #26: мобильные версии сайтов, список регионов Яндекса и упоминания домена в индексе
