В связи с тем что в сети x.com теперь нельзя свободно без авторизации просматривать посты по ключевику был полностью переписан парсинг под сбор постов по ссылке на профиль. Пример ссылок которые теперь в качестве запросов:
https://x.com/Sportsnet
https://x.com/skysportspl
https://x.com/sportde
Изменения:
- Парсер переписан на TypeScript(API v2)
- Улучшена работа с браузером
- Полностью изменены собираемые данные
- Вывод всех результатов в CSV таблицу
-...
-
Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!Скрыть объявление
Парсер постов из X (Twitter) 2.1
Парсер постов из X (Twitter)
Метки:
-
Обновление 2.1
-
Обновление 2.0
Добавлена опция Pages count которая позволяет парсить по страницам. Так как до этого парсилась только первая страница.
helpmuw нравится это. -
Все запросы помечались как неудачные
В независимости от успешности запросы помечались как неудачные.
-
Ответ не записывался в $data
Данные ответа не записывались в переменную $data.
-
Исправлены ошибки
Исправлена ошибка, которая возникала в случае неиспользования массива posts.
-
Исправлен парсинг постов
Twitter закрыл возможность вытаскивать посты из HTML. Парсер перестал собирать данные. В этом обновлении парсинг постов был исправлен. Теперь для работы парсера нужно установить puppeteer, с помощью которого реализовано получение необходимых для парсинга cookie. Рекомендуемая версия – [email protected].
Изменился также список получаемых данных, теперь он имеет следующий вид:
- user_uri - ссылка на пользователя
- user_screen_name - логин
- user_name - имя...