Методы API

`ping`

Проверка работы сервера и API.

Пример запроса

{
    "password": "pass",
    "action": "ping"
}

Пример ответа

{
    "success": 1,
    "data": "pong"
}

`oneRequest`

Одиночный запрос на парсинг, может использоваться любой парсер и пресет. В результате будет сформированная строка в соответствии с форматом результата, заданным в пресете, а также полный лог работы парсера.

Пример запроса

{
    "password": "pass",
    "action": "oneRequest",
    "data": {
        "query": "test",
        "parser": "SE::Google",
        "configPreset": "default",
        "preset": "Pages Count use Proxy"
    }
}

Описание возможных параметров:

parser - каким парсером выполнять запрос
preset - какой использовать пресет
configPreset - какой конфиг потоков использовать
query - сам запрос
rawResults - опциональный параметр, если установлен то вместо результирующей строки resultString вернет массив results со всеми результатами, который поддерживает указанный парсер
needData - опциональный параметр, указывающий, передавать ли в ответе data и pages, используется для экономии памяти, по умолчанию отключен
doLog - опциональный параметр, указывает возвращать ли лог работы вместе с результатами, по умолчанию включен
options - массив с дополнительными опциями применямыми к парсеру, например - override - позволяет переопределять значения в пресете

Пример ответа

{
    "success": 1,
    "data": {
        "resultString": "test: 6070000000\n",
        "logs": [
            [
                0,
                1614933603,
                "Parser SE::Google::0 parse query test"
            ],
            [
                0,
                1614933603,
                "Parse page 1"
            ],
            ...
            [
                0,
                1614933604,
                "Thread complete work"
            ]
        ]
    }
}

Описание переменных в ответе:

resultString - строка результата
logs - массив с логами выполнения запроса

Переопределение параметров парсера

В options можно переопределить любые параметры используемого парсера, они будут использованы поверх значений, указанных в пресете настроек.

Пример запроса:

{
    "password": "pass",
    "action": "oneRequest",
    "data": {
        "parser": "SE::Google",
        "preset": "default",
        "query": "test",
        "rawResults": 1,
        "doLog": 0,
        "options": [
            {
                "value": 1,
                "type": "override",
                "id": "pagecount"
            },
            {
                "value": 10,
                "type": "override",
                "id": "linksperpage"
            },
            {
                "type": "override",
                "id": "useproxy",
                "value": false
            }
        ]
    }
}

Ответ:

{
    "success": 1,
    "data": {
        "logs": [],
        "results": [
            {
                "ads": [],
                "success": 1,
                "info": {
                    "success": 1,
                    "retries": 0,
                    "stats": {
                        "success": 1,
                        "retries": 0,
                        "proxiesUsed": 0,
                        "requests": 0,
                        "queries": 1
                    }
                },
                "query": {
                    "first": "test",
                    "threadId": "0",
                    "lvl": 0,
                    "query": "test",
                    "queryUid": "0",
                    "orig": "test",
                    "prefered_proxy": null
                },
                "totalcount": "6130000000",
                "serp": [
                    "https://www.test.de/",
                    "Stiftung Warentest",
                    "Sichern Sie sich mit der <em>test</em>.de-Flatrate freien Zugriff auf alle <em>Tests</em> und Produktfinder. ï»¿Mehr erfahren: <em>test</em>.de-Flatrates. <em>Test</em> CO2&nbsp;...",
                    0,
                    ...
                ],
                "related": [
                    "test <b>speed</b>",
                    ...
                ],
                "detected_geo": "Germany",
                "rich": [
                    "Featured snippet"
                ],
                "misspell": 0,
                "resultsCount": 11
            }
        ]
    }
}

`bulkRequest`

Массовый запрос на парсинг, может использоваться любой парсер и пресет, а так же можно указать в какое количество потоков производить парсинг. В результате будет сформированная строка в соответствии с форматом результата, заданным в пресете, а так же полный лог работы парсера по каждому потоку.

Пример запроса

{
    "password": "pass",
    "action": "bulkRequest",
    "data": {
        "parser": "SE::Google",
        "preset": "Pages Count no Proxy",
        "configPreset": "default",
        "threads": 3,
        "rawResults": 1,
        "queries": [
            "test1",
            "test2",
            "test3",
            "test4",
            "test5"
        ]
    }
}

Описание возможных переменных в data:

threads - количество потоков для парсинга
queries - массив запросов. Остальные переменные полностью аналогичны oneRequest, за исключением query

Пример ответа

{
    "success": 1,
    "data": {
        "logs": {
            "0": {
                "1": [
                    [
                        4,
                        1614935687,
                        "SE::Google::0",
                        "test1"
                    ],
                    ...
                    [
                        0,
                        1614935688,
                        "Thread complete work"
                    ]
                ]
            },
            ...лог по остальным потокам...
        },
        "results": [
            {
                "ads": [],
                "success": 1,
                "info": {
                    "success": 1,
                    "retries": 0,
                    "stats": {
                        "success": 1,
                        "retries": 0,
                        "proxiesUsed": 0,
                        "requests": 0,
                        "queries": 1
                    }
                },
                "query": {
                    "first": "test1",
                    "threadId": "0",
                    "lvl": 0,
                    "query": "test1",
                    "queryUid": "0",
                    "orig": "test1",
                    "prefered_proxy": null
                },
                "totalcount": "35800000",
                "serp": [
                    "https://www.test1solutions.com/",
                    "FoamFlex200 | Oil Spill Absorbent | Oil Disaster solution",
                    "<em>TEST1</em> IS SOLUTION. In addition to the different models&nbsp;...",
                    0,
                    ...
                ],
                "related": [
                    "<b>test2</b>",
                    ...
                ],
                "detected_geo": "Germany",
                "rich": [
                    "Featured snippet",
                    "People also ask"
                ],
                "misspell": 0,
                "resultsCount": 12
            },
            ...результаты по остальным запросам...
        ]
    }
}

`addTask`

Добавление задания в очередь, все параметры аналогичны тем что задаются в интерфейсе Редактора заданий

подсказка

Для быстрого получения полной конфигурации задания можно воспользоваться Редактором заданий, составить задание и получить JSON для API запроса

Пример запроса

{
    "password": "pass",
    "action": "addTask",
    "data": {
        "preset": "default",
        "configPreset": "100 Threads",
        "parsers": [
            [
                "SE::Bing",
                "default",
                {
                    "type": "override",
                    "id": "pagecount",
                    "value": 1
                },
                {
                    "type": "options",
                    "id": "parseAll",
                    "value": true
                }
            ]
        ],
        "resultsFormat": "$p1.serp.format('$link;$anchor\\n')",
        "resultsSaveTo": "file",
        "resultsFileName": "$datefile.format().csv",
        "additionalFormats": [],
        "resultsUnique": "string",
        "queriesFrom": "text",
        "queryFormat": [
            "$query"
        ],
        "uniqueQueries": true,
        "saveFailedQueries": false,
        "iteratorOptions": {
            "onAllLevels": false,
            "queryBuildersAfterIterator": false,
            "queryBuildersOnAllLevels": false
        },
        "resultsOptions": {
            "overwrite": false,
            "writeBOM": true
        },
        "doLog": "db",
        "limitLogsCount": "0",
        "keepUnique": "No",
        "moreOptions": true,
        "resultsPrepend": "Ссылка;Анкор\n",
        "resultsAppend": "",
        "queryBuilders": [],
        "resultsBuilders": [],
        "configOverrides": [],
        "runTaskOnComplete": null,
        "useResultsFileAsQueriesFile": false,
        "runTaskOnCompleteConfig": "default",
        "toolsJS": "",
        "prio": 5,
        "removeOnComplete": false,
        "callURLOnComplete": "",
        "queries": [
            "test",
            "bla-bla"
        ]
    }
}

Пример ответа

В ответе приходит id созданного задания.

{
    "success": 1,
    "data": "697403"
}

Задание с запросами из файла

Для того, чтобы в задании запросы брались из файла, нужно задать "queriesFrom": "file" и путь(-и) к файлу(-ам) запросов "queriesFile": ["queries1.txt", "queries2.txt"]. В остальном все также, как в примере выше.

Пример запроса

{
    "password": "pass",
    "action": "addTask",
    "data": {
        "preset": "default",
        "configPreset": "100 Threads",
        "parsers": [
            [
                "SE::Google",
                "default"
            ]
        ],
        "resultsFormat": "$p1.preset",
        "resultsSaveTo": "file",
        "resultsFileName": "$datefile.format().csv",
        "additionalFormats": [],
        "resultsUnique": "no",
        "queriesFrom": "file",
        "queryFormat": [
            "$query"
        ],
        "uniqueQueries": false,
        "saveFailedQueries": false,
        "iteratorOptions": {
            "onAllLevels": false,
            "queryBuildersAfterIterator": false,
            "queryBuildersOnAllLevels": false
        },
        "resultsOptions": {
            "overwrite": false,
            "writeBOM": false
        },
        "doLog": "no",
        "limitLogsCount": "0",
        "keepUnique": "No",
        "moreOptions": false,
        "resultsPrepend": "",
        "resultsAppend": "",
        "queryBuilders": [],
        "resultsBuilders": [],
        "configOverrides": [],
        "runTaskOnComplete": null,
        "useResultsFileAsQueriesFile": false,
        "runTaskOnCompleteConfig": "default",
        "toolsJS": "",
        "prio": 5,
        "removeOnComplete": false,
        "callURLOnComplete": "",
        "queriesFile": [
            "queries/Text Document.txt"
        ]
    }
}

Пример ответа

{
    "success": 1,
    "data": "5432"
}

Запуск ранее сохраненного задания

Можно запускать заранее созданный через интерфейс пресет. В этом случае необходимо только указать запросы. Можно так же переопределить любой из параметров задания, они будут использованы поверх значений в пресете.

Пример запроса

{
    "password": "pass",
    "action": "addTask",
    "data": {
        "queriesFrom": "text",
        "queries": [
            "google.com",
            "yandex.ru"
        ],
        "configPreset": "default",
        "preset": "Analyze Domains"
    }
}

Пример ответа

{
    "success": 1,
    "data": "5436"
}

Флаг `removeOnRestart`

Этот флаг указывает на то, что задания будут удалятся при рестарте парсера.

Пример запроса

{
    "password": "pass",
    "action": "addTask",
    "data": {
        "queriesFrom": "text",
        "queries": [
            "google.com",
            "yandex.ru"
        ],
        "configPreset": "default",
        "preset": "Analyze Domains",
        "removeOnRestart": 1
    }
}

Пример ответа

{
    "success": 1,
    "data": "5437"
}

Флаг `removeOnComplete`

Этот флаг указывает на то, что задания будут удалятся после завершения.

Пример запроса

{
    "password": "pass",
    "action": "addTask",
    "data": {
        "queriesFrom": "text",
        "queries": [
            "google.com",
            "yandex.ru"
        ],
        "configPreset": "default",
        "preset": "Analyze Domains",
        "removeOnComplete": 1
    }
}

Пример ответа

{
    "success": 1,
    "data": "5438"
}

`info`

Получение общей информации о состоянии A-Parser и получение списка всех доступных парсеров.

подсказка

Получить номер актуальной версии А-Парсер возможно прямо по ссылке: https://a-parser.com/members/versions

Пример: {"lastBetaVersion":"1.2.1484","lastAlphaVersion":"1.2.1484","lastVersion":"1.2.1432"}

Пример запроса

{
    "password": "pass",
    "action": "info"
}

Пример ответа

{
    "success": 1,
    "data": {
        "tasksInQueue": 0,
        "pid": "13968",
        "activeProxyCheckerThreads": 0,
        "workingTasks": 0,
        "activeThreads": 0,
        "version": "1.2.1151",
        "availableParsers": [
            "API::Server::Redis",
            "Check::BackLink",
            "Check::RosKomNadzor",
            "DeepL::Translator",
            "GooglePlay::Apps",
            "HTML::EmailExtractor",
            ...
            "Util::AntiGate",
            "Util::ReCaptcha2",
            "Util::YandexRecognize"
        ]
    }
}

`getParserPreset`

Получение настроек указанного парсера и пресета.

подсказка

С помощью этого метода можно получить полный список параметров для использования в других API запросах.

Пример запроса

{
    "password": "pass",
    "action": "getParserPreset",
    "data": {
        "parser": "SE::Google",
        "preset": "default"
    }
}

Пример ответа

{
    "success": 1,
    "data": {
        "queryformat": "$query",
        "parsenotfound": 1,
        "reCaptchaRetries": 3,
        "pagecount": 5,
        "gl": "",
        "proxyChecker": "*",
        "hl": "en",
        "domain": "www.google.com",
        "timeout": 60,
        "Util_ReCaptcha2_preset": "default",
        "useproxy": 1,
        "nfpr": 0,
        "extraquery": "",
        "serptime": "all",
        "location": "",
        "usesessions": 1,
        "filter": 1,
        "linksperpage": 100,
        "dontTakeSession": 0,
        "addHeaders": "",
        "serp": "",
        "proxyretries": 10,
        "device": "desktop",
        "requestdelay": 0,
        "debug_nonexists_domains": 0,
        "proxybannedcleanup": 600,
        "formatresult": "$serp.format('$link\\n')",
        "reCaptchaPassProxy": 0,
        "lr": ""
    }
}

`getProxies`

Запрос списка живых проксей. Возвращается список живых прокси со всех проксичекеров.

Пример запроса

{
    "password": "pass",
    "action": "getProxies"
}

Пример ответа

{
    "success": 1,
    "data": {
        "127.0.0.1:23486": [
            "socks"
        ],
        "127.0.0.1:23140": [
            "socks"
        ],
        "127.0.0.1:21971": [
            "http"
        ]
    }
}

IP:port прокси будет указан в качестве имени массива. Первым элементом массива идет тип прокси, может принимать 3 значения - http, socks, socks4. Если указана авторизация по логин\паролю то вторым и третьим элементами будет логин и пароль.

Также можно получить список прокси только из определенных проксичекеров. Для этого нужно дополнительно передать массив checkers.

Пример:

{
    "password": "pass",
    "action": "getProxies",
    "data": {
        "checkers": [
            "Elite proxies",
            "free proxies"
        ]
    }
}

`getTaskState`

Получение состояния задания по его id.

Пример запроса

{
    "password": "pass",
    "action": "getTaskState",
    "data": {
        "taskUid": "181"
    }
}

Пример ответа

{
    "success": 1,
    "data": {
        "status": "completed",
        "stats": "<b>Overall stats</b><br>Runtime: 0:00:19<br>HTTP requests: 464<br><br><b>1. HTML::LinkExtractor</b><br>Queries done: 254<br>Successful queries: 252<br>Proxies used: 0 (per query)<br>Retries used: 1.07 (per query)<br>HTTP requests: 1.82 (per query)",
        "state": {
            "totalFail": 2,
            "totalWaitProxyThreads": 0,
            "minimized": 0,
            "queriesDoneCount": 254,
            "avgSpeed": 802,
            "activeThreads": 0,
            "startTime": 1507281122,
            "changeTime": 1507281141,
            "queriesCount": 1,
            "logExists": 0,
            "runTime": 19,
            "uniqueResultsCount": 656,
            "requests": "464",
            "addTime": 1507281120,
            "additionalCount": 253,
            "queriesDoneCountAtStart": 0,
            "lastQuery": "https://www.nytimes.com/ref/membercenter/help/infoservdirectory.html",
            "curSpeed": 846,
            "started": 1,
            "resultsCount": 31079
        }
    }
}

В ответ отдаётся статус задания (status) и его статистика (state).

Так же можно получить информацию сразу о нескольких заданиях, для этого нужно передать массив id.

Пример запроса

{
    "password": "pass",
    "action": "getTaskState",
    "data": {
        "taskUid": [
            "22",
            "23",
            "31"
        ]
    }
}

В этом случае в ответе будет массив с данными по каждому заданию.

Пример ответа

{
    "success": 1,
    "data": [
        {
            "status": "completed",
            "stats": "<b>Overall stats</b><br>Runtime: 0:00:01<br>HTTP requests: 0<br><br><b>1. SE::Bing</b><br>Queries done: 0<br>Successful queries: 0<br>Proxies used: 0 (per query)<br>Retries used: 0 (per query)<br>HTTP requests: 0 (per query)",
            "state": {
                "totalFail": 0,
                "totalWaitProxyThreads": 0,
                "minimized": 0,
                "queriesDoneCount": 0,
                "avgSpeed": 0,
                "activeThreads": 0,
                "startTime": 1507023540,
                "changeTime": 1507023541,
                "queriesCount": 1,
                "logExists": 1,
                "runTime": 1,
                "uniqueResultsCount": 0,
                "requests": 0,
                "addTime": 1507023443,
                "additionalCount": 0,
                "queriesDoneCountAtStart": 0,
                "lastQuery": "none",
                "curSpeed": 0,
                "started": 1,
                "resultsCount": 0
            }
        },
        ...данные по остальным заданиям...
    ]
}

`getTaskConf`

Получение конфигурации задания по его id.

Пример запроса

{
    "password": "pass",
    "action": "getTaskConf",
    "data": {
        "taskUid": "181"
    }
}

Пример ответа

В ответ отдаются настройки задания, в т.ч. с результирующем именем файла.

{
    "success": 1,
    "data": {
        "parsers": [
            [
                "SE::Bing",
                "default",
                {
                    "value": 1,
                    "type": "override",
                    "id": "pagecount"
                }
            ]
        ],
        "resultsFileName": "Mar-05_13-12-23.txt",
        "runTaskOnComplete": null,
        "limitLogsCount": "0",
        "resultsPrepend": "",
        "origResultsFileName": "$datefile.format().txt",
        "queriesFrom": "text",
        "runTaskOnCompleteConfig": "default",
        "doLog": "db",
        "useResultsFileAsQueriesFile": 0,
        "additionalFormats": [],
        "resultsSaveTo": "file",
        "callURLOnComplete": "",
        "resultsFormat": "$p1.related.format('$key\\n')",
        "queryBuilders": [],
        "preset": "default",
        "resultsAppend": "",
        "uniqueQueries": 0,
        "keepUnique": 0,
        "prio": "5",
        "saveFailedQueries": 0,
        "configPreset": "100 Threads",
        "queries": [
            "test"
        ],
        "toolsJS": "",
        "moreOptions": 0,
        "resultsBuilders": [],
        "resultsUnique": "string",
        "iteratorOptions": {
            "onAllLevels": 0,
            "queryBuildersAfterIterator": 0,
            "queryBuildersOnAllLevels": 0
        },
        "removeOnComplete": 0,
        "queryFormat": [
            "$query"
        ],
        "configOverrides": [],
        "resultsOptions": {
            "overwrite": 0,
            "writeBOM": 0
        }
    }
}

`getTaskResultsFile`

Получение ссылки для скачивания результата по id задания. По полученной ссылке можно скачать файл только один раз, без авторизации (используется одноразовый токен).

примечание

Работает только со статичным именем файла и $datefile.format(). Для превращения динамичного имени файла результата в статичное можно использовать флаг шаблонизатора isStaticTemplate()

Пример запроса

{
    "password": "pass",
    "action": "getTaskResultsFile",
    "data": {
        "taskUid": "181"
    }
}

Пример ответа

{
    "success": 1,
    "data": "http://127.0.0.1:9091/downloadResults?fileName=Mar-05_13-12-23.txt&token=wbvwlkes"
}

`getTasksList`

Получание списка активных заданий. Если передать дополнительный параметр completed: 1, то получим список завершенных заданий.

Пример запроса

{
    "password": "pass",
    "action": "getTasksList",
    "data": {
        "completed": "1"
    }
}

Пример ответа

{
    "success": 1,
    "data": [
        "2291",
        "2324",
        "2331",
        "2384",
        "2398",
        "2434",
        "2445",
        "3482",
        ...
    ]
}

`getParserInfo`

Выводит список всех доступных результатов, который может вернуть указанный парсер.

Пример запроса

{
   "password" : "pass",
   "action" : "getParserInfo",
   "data" : {
      "parser" : "SE::Google"
   }
}

Пример ответа

{
    "success": 1,
    "data": {
        "results": {
            "arrays": {
                "ads": [
                    "Ads list",
                    [
                        [
                            "link",
                            "Link"
                        ],
                        ...
                    ]
                ],
                "related": [
                    "Related keywords",
                    [
                        [
                            "key",
                            "Key"
                        ]
                    ]
                ],
                "rich": [
                    "Rich snippets list",
                    [
                        [
                            "name",
                            "Name"
                        ]
                    ]
                ],
                "serp": [
                    "Main serp list",
                    [
                        [
                            "link",
                            "Link"
                        ],
                        ...
                    ]
                ],
                "pages": [
                    "Raw data array",
                    [
                        [
                            "data",
                            "Raw data"
                        ]
                    ]
                ]
            },
            "flat": [
                [
                    "query",
                    "Formatted query"
                ],
                ...
            ]
        }
    }
}

`getAccountsCount`

Получение количества активных Яндекс аккаунтов.

Пример запроса

{
    "password": "pass",
    "action": "getAccountsCount"
}

Пример ответа

{
    "success": 1,
    "data": {
        "SE::Yandex": 18
    }
}

`deleteTaskResultsFile`

Удаление файла результата по id задания.

Пример запроса

{
    "password": "pass",
    "action": "deleteTaskResultsFile",
    "data": {
        "taskUid": "181"
    }
}

Пример ответа

{
    "success": 1
}

`changeTaskStatus`

Изменение статуса задания по его id. Существует всего 4 состояния, в которые можно перевести задание:

starting - запуск задания
pausing - постановка на паузу
stopping - остановка задания
deleting - удаление задания

Пример запроса

{
    "password": "pass",
    "action": "changeTaskStatus",
    "data": {
        "taskUid": "181",
        "toStatus": "deleting"
    }
}

Пример ответа

{
    "success": 1
}

`changeProxyCheckerState`

Изменение состояния проксичекера (1 - включен / 0 - выключен).

Пример запроса

{
    "password": "pass",
    "action": "changeProxyCheckerState",
    "data": {
        "checker": "proxychecker name",
        "state": 1
    }
}

Пример ответа

{
    "success": 1
}

`moveTask`

Перемещение задания в очереди по его id. Возможные направления перемещения:

start - в начало очереди
end - в конец очереди
up - на одну позицию вверх
down - на одну позицию вниз

Пример запроса

{
    "password": "pass",
    "action": "moveTask",
    "data": {
        "taskUid": "181",
        "direction": "start"
    }
}

Пример ответа

{
    "success": 1
}

`update`

Обновляет исполняемый файл парсера до последней доступной версии. После отправки команды A-Parser будет автоматически перезапущен. API вернет ответ об успехе после того, как загрузит и обновит исполняемый файл, это может занять 1-3 минуты.

Пример запроса

{
    "password": "pass",
    "action": "update"
}

Пример ответа

{
    "success": 1
}

ping​

oneRequest​

Переопределение параметров парсера​

bulkRequest​

addTask​

Задание с запросами из файла​

Запуск ранее сохраненного задания​

Флаг removeOnRestart​

Флаг removeOnComplete​

info​

getParserPreset​

getProxies​

getTaskState​

getTaskConf​

getTaskResultsFile​

getTasksList​

getParserInfo​

getAccountsCount​

deleteTaskResultsFile​

changeTaskStatus​

changeProxyCheckerState​

moveTask​

update​

`ping`

`oneRequest`

Переопределение параметров парсера

`bulkRequest`

`addTask`

Задание с запросами из файла

Запуск ранее сохраненного задания

Флаг `removeOnRestart`

Флаг `removeOnComplete`

`info`

`getParserPreset`

`getProxies`

`getTaskState`

`getTaskConf`

`getTaskResultsFile`

`getTasksList`

`getParserInfo`

`getAccountsCount`

`deleteTaskResultsFile`

`changeTaskStatus`

`changeProxyCheckerState`

`moveTask`

`update`