Добавлена опция Pages count которая позволяет парсить по страницам. Так как до этого парсилась только первая страница.
-
Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 1500+ и мы растем!Скрыть объявление
Парсер постов из Twitter 2.0
Парсер постов из Twitter по ключу
Метки:
-
Обновление 2.0
helpmuw нравится это. -
Все запросы помечались как неудачные
В независимости от успешности запросы помечались как неудачные.
-
Ответ не записывался в $data
Данные ответа не записывались в переменную $data.
-
Исправлены ошибки
Исправлена ошибка, которая возникала в случае неиспользования массива posts.
-
Исправлен парсинг постов
Twitter закрыл возможность вытаскивать посты из HTML. Парсер перестал собирать данные. В этом обновлении парсинг постов был исправлен. Теперь для работы парсера нужно установить puppeteer, с помощью которого реализовано получение необходимых для парсинга cookie. Рекомендуемая версия – puppeteer@2.1.1.
Изменился также список получаемых данных, теперь он имеет следующий вид:
- user_uri - ссылка на пользователя
- user_screen_name - логин
- user_name - имя...