Google Indexing API Обновление 2.1

Перед использованием пресета, нужно получить файл ключей и подтвердить свой сайт. Детально описано в статье Инструкция по использованию Google Indexing API.

После получению файла ключей, нужно будет скопировать его в папку ./aparser/files и в пресете в опции Filename указать путь и название файла ключа "files/Google Indexing API/client_secret.json".

В случае если вы хотите использовать несколько файлов ключей, то нужно в значении этой опции прописать путь к файлам, например, "files/Google Indexing API" и по этому пути парсер получит список файлов ключей.

Если указать в опции "Filename json" путь к папке с файлами ключами (а не одним файлом) и запросы будут из "Queries" (а не из "Filename of smart queries file"), то парсер будет случайно брать один из файлов ключей для каждой попытки парсинга.

Также для работы с Google API нужно установить модуль googleapis.




Опции:

• Use smart queries file - по умолчанию имеет значение "☐" (выключено) - определяет использовать ли умный файл запросов, нужно включить чтобы была возможность парсеру добавить запросы из файла с и по нужный индекс. В этом случае парсер не будет брать запросы стандартным методом из поля с запросам. Обязательно в поле с запросами нужно указать только один запрос любой, можно даже не ссылку. Нужно включить эту опцию если нужна возможность продолжить парсинг используя один файл запросов, парсер запомнит на каком индексе остановился в предыдущий раз и продолжит со следующего запроса.
• Filename of smart queries file - по умолчанию имеет значение "queries/smart-queries-file.txt" - путь и название умного файла запросов. Этот файл обязательно нужен если вы хотите чтобы парсер запоминал индекс последнего запроса в предыдущем парсинге. Это и будет файлом с запросами, в него и нужно поместить все запросы.
• New smart query index - по умолчанию имеет значение "☐" (выключено) - если опция включена, то парсер обнулит индекс который запомнил при предыдущем парсинге. Если опция выключена, то всегда будет читать файл в котором хранится индекс последнего запроса в файле "queries/smart-query-index.txt", если файла нет, то парсер самостоятельно его создаст и будет использовать.

Пример настроек если нужно использовать несколько файлов ключей и если нужно чтобы парсер запоминал индекс последнего запроса который был добавлен в парсинг в предыдущем задании:

Спойлер: Скриншот с настройками задания

На вход подается ссылка:

Код:

http://victim.in.ua/3565-nike-lunar-force-lf1-chorn-1070grn
http://google.com.ua/
http://victim.in.ua/bomber
http://victim.in.ua/muzhskaja-kurtka-riccardo-sero-sinjaja
http://victim.in.ua/muzhskaja-kurtka-riccardo-blue
http://victim.in.ua/muzhskie-zimnie-botinki-nike

На выходе получаем ссылку и статус:

Код:

http://victim.in.ua/muzhskaja-kurtka-riccardo-blue: 1
http://victim.in.ua/3565-nike-lunar-force-lf1-chorn-1070grn: 1
http://victim.in.ua/bomber: 1
http://victim.in.ua/muzhskie-zimnie-botinki-nike: 1
http://victim.in.ua/muzhskaja-kurtka-riccardo-sero-sinjaja: 1
http://google.com.ua/: 0