Пресет Вопросы и ответы из выдачи Google 3.2.1

[uaix_anton]

Добрый день. Прошла неделя с момента, как сломался пресет. Есть ли какие-то данные, когда удастся глянуть, и дать какой-то ответ по срокам? Работа остановилась, и нужно понимать, продлевать прокси, либо на месяц/полгода/год забыть о данном просете, и искать альтернативы?
Спасибо.

 

[Jonny]

согласен. скажите пожалуйста реальные сроки на которые можно расчитывать

 

[Support]

Задача в работе, сроков пока что нету.

 

[Support]

Пользователь Support обновил ресурс Вопросы и ответы из выдачи Google новой записью:

Обновление 3.0

• Парсер полностью переписан

Узнать больше об этом обновлении...

 

[Jonny]

после обновления очень сильно вырос процент неудачных запросов. сейчас он около 30% (ранее был около 1-5%)

примеры запросов (каждый запрос тестил несколько раз на разных проксях и получал одинаковый результат):
1) "Ошибка парсинга" - совсем не парсит блок по запросам, хотя блок по ним есть
запрос - Is sultan kosen a Muslim



запрос - Who built Rajarajeshwara Temple



2) "Нет больше вопросов" - парсит не выставленное число вопросов, часто в диапазоне 4-7 шт, при этом вопросы есть, если проверять руками (например выставлено парсить 10, но некоторые парсит по 5).
запрос - What is samsara


запрос - What caste is Drashti Dhami

 

[Support]

Пользователь Support обновил ресурс Вопросы и ответы из выдачи Google новой записью:

Обновление 3.1

• Переписан и улучшен алгоритм выборки ответов из кода страницы.
• В массив $questions добавлена переменная $answerHtml, содержащая исходный HTML-код ответа. Это позволит удобно анализировать возможные проблемы (например, если в ответе картинка/видео), а также теперь можно получать дополнительные данные из ответов, если парсер по-умолчанию их не возвращает.
• Исправлена ошибка с подгрузкой вопросов, которая возникала при наличии на странице других блоков с...

Узнать больше об этом обновлении...

 

[Support]

@Jonny Описанные ошибки исправлены.

 

[user1323]

@Jonny Описанные ошибки исправлены.

Посмотрите пожалуйста ошибки ниже, розовым формат результата, тестовый запрос "what has happened to the simón bolívar orchestra?":
1. Голубые и красные линии - порядок вопросов и ответов перепутаны парсером
2. Желтые стрелки, переносы строки не заменяются на пробелы, как в предыдущей версии.
3. Бледно розовые\фиолетовые стрелки, непонятно от чего куски текста.

Ответы с такой разметкой не парсит, возвращает пустые строки.

Из пункта 3, бледно розовые\фиолетовые стрелки, контент видимо со скрина ниже, но почему перед ними нет "A:"

Настройки:
eyJwcmVzZXQiOiJHb29nbGUgUGVvcGxlIGFsc28gYXNrIiwidmFsdWUiOnsicHJl
c2V0IjoiR29vZ2xlIFBlb3BsZSBhbHNvIGFzayIsInBhcnNlcnMiOltbIkpTOjpT
RTo6R29vZ2xlOjpQZW9wbGVBbHNvQXNrIiwicHJveHkgMTAwMCByYXogIix7InR5
cGUiOiJvdmVycmlkZSIsImlkIjoibW9kZSIsInZhbHVlIjoidG9MZXZlbCJ9LHsi
dHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJjb3VudCIsInZhbHVlIjoiNSJ9LHsidHlw
ZSI6Im92ZXJyaWRlIiwiaWQiOiJVdGlsX1JlQ2FwdGNoYTJfcHJlc2V0IiwidmFs
dWUiOiJkZWZhdWx0In0seyJ0eXBlIjoidW5pcXVlIiwicmVzdWx0IjpbInF1ZXN0
aW9ucyIsInF1ZXN0aW9uIl0sInVuaXF1ZVR5cGUiOiJzdHJpbmciLCJ1bmlxdWVH
bG9iYWwiOmZhbHNlfV1dLCJyZXN1bHRzRm9ybWF0IjoiJHAxLnF1ZXN0aW9ucy5m
b3JtYXQoJ1E6ICRxdWVzdGlvblxcbkE6ICRhbnN3ZXIjIyNlbmQjIyNcXG4nKSIs
InJlc3VsdHNTYXZlVG8iOiJmaWxlIiwicmVzdWx0c0ZpbGVOYW1lIjoiJGRhdGVm
aWxlLmZvcm1hdCgpLnR4dCIsImFkZGl0aW9uYWxGb3JtYXRzIjpbXSwicmVzdWx0
c1VuaXF1ZSI6InN0cmluZyIsInF1ZXJpZXNGcm9tIjoidGV4dCIsInF1ZXJ5Rm9y
bWF0IjpbIiRxdWVyeSJdLCJ1bmlxdWVRdWVyaWVzIjp0cnVlLCJzYXZlRmFpbGVk
UXVlcmllcyI6dHJ1ZSwiaXRlcmF0b3JPcHRpb25zIjp7Im9uQWxsTGV2ZWxzIjpm
YWxzZSwicXVlcnlCdWlsZGVyc0FmdGVySXRlcmF0b3IiOmZhbHNlLCJxdWVyeUJ1
aWxkZXJzT25BbGxMZXZlbHMiOmZhbHNlfSwicmVzdWx0c09wdGlvbnMiOnsib3Zl
cndyaXRlIjpmYWxzZSwid3JpdGVCT00iOmZhbHNlfSwiZG9Mb2ciOiJkYiIsImxp
bWl0TG9nc0NvdW50IjoiMCIsImtlZXBVbmlxdWUiOiJObyIsIm1vcmVPcHRpb25z
IjpmYWxzZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1bHRzQXBwZW5kIjoiIiwi
cXVlcnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W3sic291cmNlIjpb
MCxbInF1ZXN0aW9ucyIsInF1ZXN0aW9uIl1dLCJ0eXBlIjoiZGVjb2RlSHRtbCIs
ImFycmF5IjoicXVlc3Rpb25zIiwidG8iOiJxdWVzdGlvbiJ9LHsic291cmNlIjpb
MCxbInF1ZXN0aW9ucyIsImFuc3dlciJdXSwidHlwZSI6ImRlY29kZUh0bWwiLCJh
cnJheSI6InF1ZXN0aW9ucyIsInRvIjoiYW5zd2VyIn1dLCJjb25maWdPdmVycmlk
ZXMiOltdLCJydW5UYXNrT25Db21wbGV0ZSI6bnVsbCwidXNlUmVzdWx0c0ZpbGVB
c1F1ZXJpZXNGaWxlIjpmYWxzZSwicnVuVGFza09uQ29tcGxldGVDb25maWciOiJk
ZWZhdWx0IiwidG9vbHNKUyI6IiIsInByaW8iOjUsInJlbW92ZU9uQ29tcGxldGUi
OmZhbHNlLCJjYWxsVVJMT25Db21wbGV0ZSI6IiIsInF1ZXJpZXMiOiJ3aGF0IGhh
cyBoYXBwZW5lZCB0byB0aGUgc2ltXHUwMGYzbiBib2xcdTAwZWR2YXIgb3JjaGVz
dHJhPyIsImNhdGVnb3J5IjpbXX0sInBhcnNlcnNDb25mUHJlc2V0cyI6eyJKUzo6
U0U6Okdvb2dsZTo6UGVvcGxlQWxzb0FzayI6eyJwcm94eSAxMDAwIHJheiAiOnsi
cXVlcnlmb3JtYXQiOiIkcXVlcnkiLCJwYXJzZW5vdGZvdW5kIjoxLCJtb2RlIjoi
dG9MZXZlbCIsInJlQ2FwdGNoYVJldHJpZXMiOiIzIiwiZ2wiOiIiLCJwYWdlY291
bnQiOjEsInByb3h5Q2hlY2tlciI6IioiLCJobCI6ImVuIiwiZG9tYWluIjoid3d3
Lmdvb2dsZS5jb20iLCJ0aW1lb3V0IjoiNjAiLCJVdGlsX1JlQ2FwdGNoYTJfcHJl
c2V0IjoiZGVmYXVsdCIsIm5mcHIiOjAsInVzZXByb3h5IjoxLCJzYWZlc2VhcmNo
IjowLCJleHRyYXF1ZXJ5IjoiIiwiY291bnQiOiI1IiwidXNlc2Vzc2lvbnMiOjEs
ImxvY2F0aW9uIjoiIiwic2VycHRpbWUiOiJhbGwiLCJhZGRIZWFkZXJzIjoiIiwi
ZG9udFRha2VTZXNzaW9uIjowLCJsaW5rc3BlcnBhZ2UiOjEwLCJmaWx0ZXIiOjEs
InByb3h5cmV0cmllcyI6IjEwMDAiLCJyZXF1ZXN0ZGVsYXkiOiIwIiwicHJveHli
YW5uZWRjbGVhbnVwIjoiNjAwIiwicmVDYXB0Y2hhUGFzc1Byb3h5IjowLCJmb3Jt
YXRyZXN1bHQiOiIkcXVlc3Rpb25zLmZvcm1hdCgnUXVlc3Rpb246ICRxdWVzdGlv
blxcbkFuc3dlcjogJGFuc3dlclxcbkFuc3dlciBIVE1MOiAkYW5zd2VySHRtbFxc
blxcbicpIiwibHIiOiIiLCJleGFjdF9tYXRjaCI6MH19fX0=

 

[bigcranston]

Из пункта 3, бледно розовые\фиолетовые стрелки, контент видимо со скрина ниже, но почему перед ними нет "A:"

Такие же баги и у меня.
И даты не везде удаляются.

+ было бы неплохо чтоб ответы с видео и таблицами тоже парсились.

 

[user1323]

я уже забил на этот парсер, свой сделал.

 

[KiryaBH]

я уже забил на этот парсер, свой сделал.

В смысле сам сделал? На чем сделал?

 

[kogan]

я уже забил на этот парсер, свой сделал.

судя по всему тоже надо будет свой делать
не умеет обходит лимит на страницы при site: запросе

 

[Support]

Планируем добавить функционал сбора вопросов-ответов в стандартный парсер Гугла, а также в другие парсеры поисковиков, где они встречаются в выдаче.

не умеет обходит лимит на страницы при site: запросе

О каком лимите речь?

 

[serpoff]

Добрый день. А как можно получить URL источника ответа?
Спасибо.

 

[relay]

Добрый день. А как можно получить URL источника ответа?
Спасибо.

через парсинг answerHtml регуляркой
хорошо бы добавить переменные titile и link в preset

 

[vvitus]

Подскажите, задаю запросы, но в результате всегда выдает одинаковые вопросы-ответы. Откуда он берет эти вопросы не могу понять. И почему может не брать запросы из файла. Сорри за нубские вопросы. Только разбираюсь

Q: How do you use none?
A: None can be an adverb indicating “to no extent, in no way, not at all,” e.g., He was none the wiser after my explanation. But, it is mostly used as a pronoun meaning: “No one, not one” (None of the members is going.) “Not any” (None of the pizza is left.)
Q: What does none really mean?
A: (Entry 1 of 4) 1 : not any. 2 : not one : nobody. 3 : not any such thing or person.
Q: What is none example?

 

[vvitus]

Откуда взялись эти запросы не разобрался, но получилось запустить. Подскажите, при запуске данного парсера он парсит только похожие вопросы и ответы из выдачи. А вот ответ на сам исходный вопрос (запрос) он не парсит (нет в файле результата). Это так и должно быть или это просто нужно настроить?

 

[Support Artur]

Откуда взялись эти запросы не разобрался, но получилось запустить. Подскажите, при запуске данного парсера он парсит только похожие вопросы и ответы из выдачи. А вот ответ на сам исходный вопрос (запрос) он не парсит (нет в файле результата). Это так и должно быть или это просто нужно настроить?

Если вы про этот блок, его пресет не собирает, но вы можете его достать регуляркой из кода страницы

 

[serpoff]

Добрый день. Все процессы при сборе завершились с одинаковой ошибкой. Почистил и запустил заново, собирает. Версия пресета 3.1, апарсер 1.2.1294(стейбл).
Есть идеи, что это могло быть? чтоб в будущем не возникало таких ситуаций. Проверил сервер: проблем с местом, железом, ПО и тд не нашел.

Error: Start: JS::SE::Google:: peopleAlsoAsk Error: evalmachine.<anonymous>:1 "" TypeError: object null is not iterable (cannot read property Symbol(Symbol.iterator)) at __requireParserAsModule (evalmachine.<anonymous>:1:11423) at __prepareParserClass (evalmachine.<anonymous>:1:11941) at unknown:1:1 at Script.runInContext (node:vm:141:12) at Object.runInContext (node:vm:292:6) at evalmachine.<anonymous>:1:16930 at Object.__processIncomingData (evalmachine.<anonymous>:1:10568) at evalmachine.<anonymous>:1:20917 at processTicksAndRejections (node:internal/process/task_queues:115:5) at build/core.to_build.pl line 63589.

 

[Support Artur]

Добрый день. Все процессы при сборе завершились с одинаковой ошибкой. Почистил и запустил заново, собирает. Версия пресета 3.1, апарсер 1.2.1294(стейбл).
Есть идеи, что это могло быть? чтоб в будущем не возникало таких ситуаций. Проверил сервер: проблем с местом, железом, ПО и тд не нашел.

Error: Start: JS::SE::Google:: peopleAlsoAsk Error: evalmachine.<anonymous>:1 "" TypeError: object null is not iterable (cannot read property Symbol(Symbol.iterator)) at __requireParserAsModule (evalmachine.<anonymous>:1:11423) at __prepareParserClass (evalmachine.<anonymous>:1:11941) at unknown:1:1 at Script.runInContext (node:vm:141:12) at Object.runInContext (node:vm:292:6) at evalmachine.<anonymous>:1:16930 at Object.__processIncomingData (evalmachine.<anonymous>:1:10568) at evalmachine.<anonymous>:1:20917 at processTicksAndRejections (node:internal/process/task_queues:115:5) at build/core.to_build.pl line 63589.

пришлите весь лог в онлайн чат или в @aparser_bot в телеграме