Парсер Парсер постов из X (Twitter) 2.2

[Support Alexander]

Пользователь Support Alexander разместил новый ресурс:

Парсер постов из Twitter - Парсер постов из Twitter по ключу

Парсер собирает информацию из постов twitter.

Собираемые данные

• Имя пользователя
• Логин
• Дата добавления
• Количество ответов, ретвитов и лайков
• Описание
• Фото из поста если есть
• Фото юзера
• Ссылка на профиль

В качестве запроса указывается поисковая фраза

parser
twitter
google

В результате получаем информацию c постов

Reyven, @Reyven91391770, Sat Dec 21 2019...

Узнать больше об этом ресурсе...

 

[poiskspider]

Цитата: "Собираются имя и логин автора, текст сообщения..."
Как раз в файле результата я и не увидел текста сообщения. Что не так в пресете?

 

[Support Alexander]

Как раз в файле результата я и не увидел текста сообщения. Что не так в пресете?

Используйте в формате результата $p1.posts.format('$name, $username, $description \n');
Список всех доступных свойств.

 

[Support Alex]

На версии 1.2.880 не работает. Ошибки при парсинге.

 

[Support Vlad]

Пользователь Support Vlad обновил ресурс Парсер постов из Twitter новой записью:

Исправлен парсинг постов

Twitter закрыл возможность вытаскивать посты из HTML. Парсер перестал собирать данные. В этом обновлении парсинг постов был исправлен. Теперь для работы парсера нужно установить puppeteer, с помощью которого реализовано получение необходимых для парсинга cookie. Рекомендуемая версия – [email protected].

Изменился также список получаемых данных, теперь он имеет следующий вид:

• user_uri - ссылка на пользователя
• user_screen_name - логин
  
• user_name - имя...

Узнать больше об этом обновлении...

 

[Support Vlad]

Не собираются аватарки пользователей (none).

 

[Support Vlad]

Пользователь Support Vlad обновил ресурс Парсер постов из Twitter новой записью:

Исправлены ошибки

Исправлена ошибка, которая возникала в случае неиспользования массива posts.

Узнать больше об этом обновлении...

 

[Support Vlad]

Пользователь Support Vlad обновил ресурс Парсер постов из Twitter новой записью:

Ответ не записывался в $data

Данные ответа не записывались в переменную $data.

Узнать больше об этом обновлении...

 

[Support Vlad]

Пользователь Support Vlad обновил ресурс Парсер постов из Twitter новой записью:

Все запросы помечались как неудачные

В независимости от успешности запросы помечались как неудачные.

Узнать больше об этом обновлении...

 

[Force68]

А он по дефолту парсит вкладку "популярное"? А можно сделать вот так чтоб выбор был - а то по некоторым запросам результатов мало

 

[artyhack]

А он по дефолту парсит вкладку "популярное"? А можно сделать вот так чтоб выбор был - а то по некоторым запросам результатов мало

Добавьте в редакторе парсера после tweet_mode: 'extended',
tweet_search_mode: 'live'

 

[Force68]

Добавьте в редакторе парсера после tweet_mode: 'extended',
tweet_search_mode: 'live'

спасибо большое

 

[Support Ilia]

Пользователь Support Ilia обновил ресурс Парсер постов из Twitter новой записью:

Обновление 2.0

Добавлена опция Pages count которая позволяет парсить по страницам. Так как до этого парсилась только первая страница.

Узнать больше об этом обновлении...

 

[Dan Dan]

было бы отлично добавить кол-во твитов, которые опубликованы пользователем

 

[btr]

Не работает пресет ((

 

[Dan Dan]

а добавьте пожалуйста сбор ссылки на пост/твит

 

[yuri_dk]

Добрый день, не парсит такие данніе: item.tweet_geo, item.tweet_place, есть ли возможность пофиксить это?

 

[Support Ilia]

Пользователь Support Ilia обновил ресурс Парсер постов из Twitter новой записью:

Обновление 2.1

В связи с тем что в сети x.com теперь нельзя свободно без авторизации просматривать посты по ключевику был полностью переписан парсинг под сбор постов по ссылке на профиль. Пример ссылок которые теперь в качестве запросов:
https://x.com/Sportsnet
https://x.com/skysportspl
https://x.com/sportde

Изменения:
- Парсер переписан на TypeScript(API v2)
- Улучшена работа с браузером
- Полностью изменены собираемые данные
- Вывод всех результатов в CSV таблицу
-...

Узнать больше об этом обновлении...

 

[tatarin]

JavaScript execution error(parse v2)(JS::Social::Twitter, pid: 273056#1, query: https://x.com/ЛОГИН): TypeError: Cannot read properties of undefined (reading 'replace')
at JS_Social_Twitter.stringifyCookies (files/parsers/Social-Twitter/Social-Twitter.js:224:39)
at JS_Social_Twitter.getUserId (files/parsers/Social-Twitter/Social-Twitter.js:135:30)
at JS_Social_Twitter.parse (files/parsers/Social-Twitter/Social-Twitter.js:37:35)
at async JS_Social_Twitter.__do_parse (BaseParser.ts:1:73710)
at async Object.__processIncomingData (sandbox.js:1:15246)

 

[seodamage]

не работает