Написал для своих нужд, может кому пригодится.
По интерфейсу совместима с http://a-parser.com/wiki/aparser-pm/
По интерфейсу совместима с http://a-parser.com/wiki/aparser-pm/
Следуйте инструкциям в видео ниже, чтобы узнать, как установить наш сайт как веб-приложение на главный экран вашего устройства.
Примечание: Эта функция может быть недоступна в некоторых браузерах.
Писали под 2.7 на 3 не тестировали.Работает только на python 2.x?
pip install a-parser
# example
from a_parser import AParser
aparser = AParser('http://127.0.0.1:9091/API', 'your pass')
print(aparser.ping())
# output
# { 'success': 1, 'data': 'pong' }
taskId = aparser.addTask(
[['SE::Google', 'default',
{
'type': 'override',
'id': 'formatresult',
'value': '$serp.format("$anchor\\n")'
}, {
'type': 'override',
'id': 'pagecount',
'value': 1
}, {
'type': 'override',
'id': 'useproxy',
'value': False
}
]],
'default',
'text',
'diamond',
resultsFormat= '$p1.preset',
uniqueQueries= False,
queryFormat= ['$query'],
resultsUnique= 'no',
resultsSaveTo= 'file',
resultsFileName= '$datefile.format().txt',
doLog= 'no',
keepUnique= 'No',
moreOptions= False,
resultsPrepend= '',
resultsAppend= '',
configOverrides= [],
queryBuilders= []
)['data']
aparser.waitForTask(taskId)
print(aparser.getTaskResultsFile(taskId))
# output
# {'success': 1, 'data': 'http://127.0.0.1:9091/downloadResults?fileName=Jul-29_17-33-37.txt&token=utmxidbc'}
print(aparser.oneRequest('SE::Yahoo::Suggest', 'default', 'spider'))
# output
# {'success': 1, 'data': {'resultString': 'spider - spider:\nspider solitaire\nspiderman\nspider bites\nspider bite pictures\nspider solitaire two suits\nspider plant\nspider-man\nspider solitaire free\nspider bites pictures and symptoms\nspider monkey\n', 'logs': [[0, 1596033005, 'Parser SE::Yahoo::Suggest::0 parse query spider'], [0, 1596033005, 'Use proxy http://51.255.55.144:28466'], [0, 1596033006, 'GET(1): http://sugg.search.yahoo.com/gossip-us-fp/?nresults=10&output=yjson&version=&command=spider - 200 OK (0.3 KB)'], [3, 1596033006, 1], [0, 1596033006, 'Thread complete work']]}}
метод addTask, если запросы загружать из файла - выдает ошибкуДобавлены модули управления A-Parser через API для Python: https://pypi.org/project/a-parser/
Модуль совместим с Python версии 2.7.* и >=3.8.
Установка
Код:pip install a-parser
Использование
Код:# example from a_parser import AParser aparser = AParser('http://127.0.0.1:9091/API', 'your pass') print(aparser.ping()) # output # { 'success': 1, 'data': 'pong' } taskId = aparser.addTask( [['SE::Google', 'default', { 'type': 'override', 'id': 'formatresult', 'value': '$serp.format("$anchor\\n")' }, { 'type': 'override', 'id': 'pagecount', 'value': 1 }, { 'type': 'override', 'id': 'useproxy', 'value': False } ]], 'default', 'text', 'diamond', resultsFormat= '$p1.preset', uniqueQueries= False, queryFormat= ['$query'], resultsUnique= 'no', resultsSaveTo= 'file', resultsFileName= '$datefile.format().txt', doLog= 'no', keepUnique= 'No', moreOptions= False, resultsPrepend= '', resultsAppend= '', configOverrides= [], queryBuilders= [] )['data'] aparser.waitForTask(taskId) print(aparser.getTaskResultsFile(taskId)) # output # {'success': 1, 'data': 'http://127.0.0.1:9091/downloadResults?fileName=Jul-29_17-33-37.txt&token=utmxidbc'} print(aparser.oneRequest('SE::Yahoo::Suggest', 'default', 'spider')) # output # {'success': 1, 'data': {'resultString': 'spider - spider:\nspider solitaire\nspiderman\nspider bites\nspider bite pictures\nspider solitaire two suits\nspider plant\nspider-man\nspider solitaire free\nspider bites pictures and symptoms\nspider monkey\n', 'logs': [[0, 1596033005, 'Parser SE::Yahoo::Suggest::0 parse query spider'], [0, 1596033005, 'Use proxy http://51.255.55.144:28466'], [0, 1596033006, 'GET(1): http://sugg.search.yahoo.com/gossip-us-fp/?nresults=10&output=yjson&version=&command=spider - 200 OK (0.3 KB)'], [3, 1596033006, 1], [0, 1596033006, 'Thread complete work']]}}
A-Parser - это профессиональная платформа для сбора данных промышленного масштаба: 10 000+ потоков, 110+ парсеров и гибкость Node.js. Автоматизируйте задачи в SEO, e-commerce и арбитраже трафика с непревзойденной скоростью и масштабируемостью
Нужна помощь с настройкой или работой парсера? Напишите в поддержку, поможем довести все до результата.
Написать в поддержку