В период с 10.12.2018 по 23.12.2018 будут действовать следующие изменения:
Техническая поддержка не будет предоставляться через ICQ, Jabber и E-Mail. Остальные каналы поддержки (перечислены ниже) будут работать в обычном режиме:
27-й сборник рецептов. В нем собраны рецепты сбора списка юзерагентов и парсинга Авито с записью результатов в MySQL базу данных. Также показан пример отправки файлов в POST запросе. Поехали!
Получение списка user-agent
Сейчас существует много различных браузеров, которые работают на разных платформах. Многие сайты ограничивают работу со старыми браузерами, а некоторые не отдают контент даже при запросе с юзерагентом относительно нового браузера. В A-Parser можно задавать user-agent для запросов, также существует специальный инструмент, который позволяет при каждом запросе выбирать рандомный из заранее подготовленного списка. Пресет для парсинга таких списков, с возможностью фильтрации по различным параметрам, доступен по ссылке выше.
Парсер Avito с записью в MySQL
Предыдущий пресет для парсинга Авито пользуется большой популярностью. Также наши пользователи часто...
SE::Google::Images - добавлены региональные настройки, поддержка рекаптчи, возможность задавать различные фильтры поиска и сбор анкоров, ссылок на страницу, ссылок на превью, а также типов изображений
26-й сборник рецептов. В нем будут показаны: проверка наличия мобильной версии сайта через Bing, парсинг полного списка регионов Яндекса и способ поиска упоминаний домена в индексе поисковой системы. Также показан пример работы с Node.js модулем mysql2, который позволяет работать с MySQL базами данных. Поехали!
Проверка наличия мобильной версии через Bing
На сегодняшний день наличие мобильной версии является одним из важнейших критериев качества сайта. По данным различных организаций доля мобильного трафика уже давно превышает десктопный. Именно поэтому мобильная версия сайта позволяет увеличить посещаемость сайта, ведь большинство крупных поисковиков отдают предпочтение в выдаче сайтам, имеющим полноценную мобильную версию. Проверить наличие и соответствие стандартам можно с помощью небольшого пресета по ссылке выше.