Перейти к основному содержимому

Часто задаваемые вопросы

1. Вопросы связанные с демо, оплатой и покупкой#

1.1. Как скачать результаты в Demo версии?

В Demo версии результаты работы не доступны для скачивания. Мы предоставляем их по вашим запросам. Пришлите ваши запросы и скажите, какой парсер вас интересует, а мы отправим вам результаты (в рамках демо их кол-во ограниченно).

1.2. Нужно ли доплачивать за что-то после покупки A-Parser?

Нет. Более детально: лицензии и дополнения, страница покупки.

1.3. Где, как можно оплатить прокси?

При покупке лицензии вам предоставляются бонусные прокси.

Lite - 20 потоков на 2 недели, Pro и Enterprise - 50 потоков на месяц.

Купить больше потоков или продлить вы можете в Личном кабинете на вкладке Магазин, подраздел Прокси.

1.4. Не могли бы вы мне настроить задание за деньги?

Техническая поддержка по вопросам связанным с работой А-Парсера предоставляется бесплатно. Насчет платной помощи в составлении заданий можно обращаться сюда: Платные услуги по составлению заданий, помощь с настройкой и обучение работы с A-Parser.

1.5. Могу ли я произвести оплату за парсер через банк Приват24? Через KIWI?

Перечень платежных систем, с которыми мы работаем, указан здесь: купить А-Парсер.

1.6. Если мне нужно спарсить только количество проиндексированных страниц в Яндексе, какой парсер мне лучше купить?

Для таких целей достаточно Lite-версии, но Pro более практична и гибкая в работе.

1.7. Где посмотреть сведения о моей лицензии?

Личный кабинет - A-Parser - Информация о лицензии.

1.8. Возможно ли купленные прокси использовать с нескольких ip?

Нет.

2. Вопросы по установке, запуску и обновлениях#

2.1. Нажимаю на кнопку Download - а архив не скачивается. Что делать?

Проверте, есть ли у вас свободное место на жестком диске, отключите антивирус. Следуйте инструкции по установке. Также ознакомьтесь с Как начать работать.

2.2. Купил Enterprise версию, но устанавливается по прежнему PRO. Что делать?

Удалите предыдущую версию. В Members Area проверьте верно ли прописан ваш IP-адрес. Перед загрузкой нажмите кнопку Обновить. Скачайте более новую версию. Более детально в инструкции по установке.

2.3. Установил программу, а она не запускается, что делать?

Проверьте запущенные приложения, отключите антивирус, проверьте доступный объём свободной оперативной памяти. Также в Личном кабинете проверьте верно ли прописан ваш IP-адрес. Более детально: инструкции по установке.

2.4. Что делать если у меня динамический IP-адрес?

Ничего страшного, A-Parser поддерживает работу с динамическими IP-адресами. Просто каждый раз, когда он меняется, вам необходимо его прописывать в Members Area. Для того, чтобы избежать данных манипуляций, рекомендуется использовать статический IP-адрес.

2.5. Какие оптимальные параметры сервера, компьютера для установки парсера?

Все системные требования можно посмотреть здесь: системные требования.

2.6. Запустил задание. Парсер упал и больше не запускается что делать?

Необходимо остановить сервер, проверить, не висит ли процесс в памяти, и попробовать запустить еще раз. Так же можно попробовать запустить А-Парсер с остановкой всех заданий. Для этого нужно запустить с параметром -stoptasks. Детально про запуск с параметром.

2.7. Какой пароль вводить при открытии адреса 127.0.0.1:9091?

Если это первый запуск, то пароль пустой. Если не первый - то тот, который Вы задали. Если забыли пароль - сброс пароля.

2.8. В Личном кабинете ввожу свой IP, а он не меняется в поле Ваш текущий IP. Почему?

Поле Ваш текущий IP отображает IP который у вас сейчас действителен, и он не должен менятся. Это его Вы должны вписать в поле IP 1.

2.9. Могу ли я запустить одновременно две копии?

Запустить две копии на одной машине можно только если у них будет прописан разных порт в файле конфигурации.

Запустить два А-Парсера на разных машинах одновременно можно только если у вас приобретён дополнительный IP в Личном кабинете.

2.10. Есть ли у парсера привязка к железу?

Нет. Для контроля лицензий используется ваш IP.

2.11. Вопрос по обновлению - обновлять только .exe? config/config.db и files/Rank-CMS/apps.json - а для чего эти файлы?

Если иное не указано, то обновлять только .exe. Первый файл для хранения конфигурации А-Парсера, а второй - это база для определения CMS и собственно работы самого парсера Rank::CMSRank::CMS.

2.12. У меня Win Server 2008 Web Edition - парсер не запускается...

На данной версии ОС А-парсер не будет работать. Единственный вариант - сменить ОС.

2.13. У меня 4-ядерный процессор. Почему А-Парсер использует только одно ядро?

A-Parser использует от 2х до 4х ядер, дополнительные ядра используется только при фильтрации, Конструкторе результатов, Parse custom result

2.14. У меня начала появляться ошибка сегментирования (segmentation failed, segmentation error). Что делать?

Скорее все изменился ваш IP. Проверьте в Личном кабинете.

2.15. У меня Linux. А-Парсер запустился, но в браузере не открывается. Как решить?

Проверьте фаервол - скорее всего он блокирует доступ.

3. Вопросы по настройке А-Парсера и других настройках#

3.1. Как настроить проксичекер?

Детальная инструкция находится здесь: настройка прокси.

3.2. Нет живых проксей - почему?

Проверьте ваше соединение с интернет, а также правильность настройки проксичекера. Если все сделано правильно, то это значит, что на данный момент ваш список прокси не содержит рабочих серверов. Решение данной проблемы: либо использовать другие прокси, либо повторить попытку позже. Если Вы используете наши прокси, то проверьте IP адрес в Личном кабинете в разделе Прокси. Также возможен вариант, что ваш провайдер блокирует доступ к другим dns, попробуйте сделать описанные здесь шаги: http://a-parser.com/threads/1240/#post-3582

3.3. Как подключит антигейт?

Детальная инструкция по настройке антигейта тут.

3.4. Я изменил парамеры в настройках парсера, но они не применились. Почему?

Пресет по-умолчанию (default) нельзя изменить, если внесены какие либо изменения, нужно нажать Сохранить как новый пресет, и после этого использовать его в своем задании.

3.5. Можно ли изменить настройки работающего задания?

Можно, но не все. В выполняющемся задании можно нажать на паузу и там же в выпадающем меню выбрать Редактировать.

3.6. Как импортировать пресет?

Нажать кнопку рядом с полем выбора задания в Редакторе заданий. Детально тут.

3.7. Как настроить парсер чтобы он не использовал прокси?

В настройках нужного парсера снять галочку Use proxy.

3.8. У меня нет кнопки Добавить переопределение / Override option!

Эту опцию можно добавить непосредственно в Редакторе заданий. Опции парсера.

3.9. Как перезаписать в тот же файл с результатами?

При составлении задания выставить опцию Перезаписать файл.

3.10. Где поменять пароль на парсер?

Настройки -> Общие настройки.

3.11. Поставил 6 миллионов ключей на парсинг, так же указал, что бы домены были все уникальны. А как так сделать, чтобы когда я поставлю новые 6 миллионов ключей, записывались только уникальные домены не перессекающиеся с прошлим парсингом?

Необходимо воспользоваться опцией Сохранять уникализацию при составлении первого задания, и указать сохраненную базу во втором. Детально в Дополнительные опции редактора заданий.

3.12. Как обойти ограничение в 1000 результатов для гугла?

Воспользуйтесь опцией Спарсить все результаты / Parse all results.

3.13. Как обойти ограничение в 1024 потока на линукс?

Тюнинг Linux для большего числа потоков.

3.14. Какой лимит потоков на Windows?

До 10000 потоков.

3.15. Как сделать запросы уникальными?

Использовать опцию Уникальные запросы в блоке Запросы в Редакторе заданий. опция Уникальные запросы

3.16. Как отключить проверку проксей?

В Настройки - Настройки проксичекера выбрать нужный проксичекер и добавить галку Не проверять прокси. Сохранить и выбрать сохраненный пресет.

3.17. Что такое Proxy ban time? Могу я постаивть в нем 0?

Время бана прокси в секундах. Да, можете.

3.18. Какая разница между Exact Domain и Top Level Domain в парсере SE::Google::PositionSE::Google::Position

Exact Domain - это строгое соответствие, т.е. если в выдаче www.domain.com, а мы ищем domain.com, то соответствия не будет. Top Level Domain сверяет весь топ домен, т.е. здесь будет соответствие.

3.19. Если запускать тестовый парсинг - все работает, если обычный - получаю ошибку Some error.

Скорее всего проблема в днс, попробуйте выполнить эту инструкцию по настройке днс.

3.20. Где задается Формат результата?

Форматирование и представление результатов.

3.21. В SE::GoogleSE::Google отсутствует нидерландский язык, хотя в настройках Гугла он есть. Почему?

Нидерландский язык это Dutch, он есть в списке. Детально в улучшении по добавлении нидерландского языка.

4. Вопросы по парсингу и ошибках во время парсинга#

4.1. Что такое потоки?

Все современные процессоры могут выполнять задачи в несколько потоков, что значительно увеличивает скорость их выполнения. Для сравнения можно привести обычный автобус, который за единицу времени перевозит какое-то кол-во людей - это будет обычная, однопоточная обработка, и двухэтажный автобус, который за то же время перевозит в два раза больше людей - это будет многопоточная обработка. A-Parser может обрабатывать одновременно до 10000 потоков.

4.2. Задание не запускается - пишет Some Error - почему?

Проверьте IP адрес в Личном кабинете.

4.3. Все запросы уходят в неудачные, что делать?

Скорее всего неправильно составлено задание либо используется неверный формат запроса. Также проверьте есть ли живые прокси. Еще можно попробовать увеличить опцию Request retries (детальнее тут: неудачные запросы).

4.4. Сколько аккаунтов нужно зарегистрировать чтобы спарсить 1 000 000 ключевых слов с SE::Yandex::WordstatSE::Yandex::Wordstat?

Нельзя точно сказать сколько нужно аккаунтов, так как аккаунт может перестать быть годным через неизвестное количество запросов. Но всегда можно зарегистрировать новые аккаунты используя парсер SE::Yandex::RegisterSE::Yandex::Register или просто добавить существующие аккаунты в файл files/SE-Yandex/accounts.txt.

4.5. Не запускается задание, пишет Error: Lock 100 threads failed(20 of limit 100 used) что делать?

Необходимо повысить максимально доступное кол-во потоков в настройках парсера, или же снизить в настройках задания. Детально в Настройки.

4.6. Можно ли запустить 2 задания одновременно?

Да, A-Parser поддерживает выполнение нескольких заданий одновременно. Кол-во одновременно работающих заданий регулируется в Настройки - Общие настройки: Максимум активных заданий.

4.7. Где лежит файл с результатами?

На вкладке Очередь заданий, после окончания каждого задания, Вы можете скачать результаты работы. Физически они находятся в папке results.

4.8. Можно ли скачать файл с результатами если парсинг не закончен?

Нет, пока не закончен парсинг, результаты скачать нельзя. Но его можно скопировать из папки aparser/results при остановленном задании или на паузе.

4.9. Можно ли вашим парсером спарсить 1 000 000 ссылок по одному запросу?

Да, используя опцию Спарсить все результаты / Parse all results.

4.10. Можно ли парсить Rank::CMSRank::CMS, Net::WhoisNet::Whois без прокси?

Rank::CMSRank::CMS - можно, и даже нужно. Net::WhoisNet::Whois - не желательно.

4.11. Как спарсить ссылки с гугла?

Необходимо использовать SE::GoogleSE::Google.

4.12. Может ли парсер ходить по ссылкам?

Да, это умеет делать парсер HTML::LinkExtractorHTML::LinkExtractor при использовании опции Парсить до уровня / Parse to level

4.13. Очень медленно парсит гугл что делать?

Первым делом нужно посмотреть логи задания, возможно все запросы неудачные. Если это так то нужно найти причину почему запросы неудачные и исправить. При парсинге c SE::GoogleSE::Google в логах задания часто неудачные попытки связанны с тем что Гугл показывает капчи, это нормально. Вы можете подключить Антигейт для обхода каптч, чтобы парсер не перебирал попытки. Также, есть статья где описаны факторы которые влияют на скорость парсинга и как они влияют: скорость и принцип работы парсеров.

4.14. Можно ли вашим парсером спарсить ссылки в которых текст только на японском языке?

Да, для этого необходимо в настройках парсера выставить необходимый язык, а также использовать японские ключевые слова.

4.15. Можно ли вашим парсером парсить ссылки только в доменной зоне .de или .ru

Да. Для этого нужно воспользоваться фильтром.

4.16. Как получить каждый результат в файле с новой строки?

При форматировании результата использовать \n. Пример:

$serp.format('$link\n')

4.17. Как спарсить топ10 сайтов с гугл?

Вот пресет:

eyJwcmVzZXQiOiJUT1AxMCIsInZhbHVlIjp7InByZXNldCI6IlRPUDEwIiwicGFy
c2VycyI6W1siU0U6Okdvb2dsZSIsImRlZmF1bHQiLHsidHlwZSI6Im92ZXJyaWRl
IiwiaWQiOiJwYWdlY291bnQiLCJ2YWx1ZSI6MX0seyJ0eXBlIjoib3ZlcnJpZGUi
LCJpZCI6ImxpbmtzcGVycGFnZSIsInZhbHVlIjoxMH0seyJ0eXBlIjoib3ZlcnJp
ZGUiLCJpZCI6InVzZXByb3h5IiwidmFsdWUiOmZhbHNlfV1dLCJyZXN1bHRzRm9y
bWF0IjoiJHAxLnByZXNldCIsInJlc3VsdHNTYXZlVG8iOiJmaWxlIiwicmVzdWx0
c0ZpbGVOYW1lIjoiJGRhdGVmaWxlLmZvcm1hdCgpLnR4dCIsImFkZGl0aW9uYWxG
b3JtYXRzIjpbXSwicmVzdWx0c1VuaXF1ZSI6Im5vIiwicXVlcnlGb3JtYXQiOlsi
JHF1ZXJ5Il0sInVuaXF1ZVF1ZXJpZXMiOmZhbHNlLCJzYXZlRmFpbGVkUXVlcmll
cyI6ZmFsc2UsIml0ZXJhdG9yT3B0aW9ucyI6eyJvbkFsbExldmVscyI6ZmFsc2Us
InF1ZXJ5QnVpbGRlcnNBZnRlckl0ZXJhdG9yIjpmYWxzZX0sInJlc3VsdHNPcHRp
b25zIjp7Im92ZXJ3cml0ZSI6ZmFsc2V9LCJkb0xvZyI6Im5vIiwia2VlcFVuaXF1
ZSI6Ik5vIiwibW9yZU9wdGlvbnMiOmZhbHNlLCJyZXN1bHRzUHJlcGVuZCI6IiIs
InJlc3VsdHNBcHBlbmQiOiIiLCJxdWVyeUJ1aWxkZXJzIjpbXSwicmVzdWx0c0J1
aWxkZXJzIjpbXSwiY29uZmlnT3ZlcnJpZGVzIjpbXX19

Как импортировать пример в А-Парсер.

4.18. Добавляю задание, перехожу во вкладку Очередь заданий - а его там нет! Почему?

Либо допущена ошибка при составлении задания, либо оно уже выполнено и перешло в Завершенные.

4.19. Пишет что файл не в utf-8, но я его не менял он и так utf-8, что делать?

Проверьте еще раз. Также попробуйте все же изменить кодировку, например с помощью Notepad++.

4.20. В файле с результатами все в одну строку, хотя в задании ставил перенос строки - почему?

В дополнительных настройках А-Парсера нужно использовать перенос строки CRLF (Windows).

Но если вы уже спарсили без этой опции, то используйте для просмотра более продвинутый просмотрщик, например Notepad++.

4.21. Сколько времени уходит на проверку частотности запросов по Яндексу на 1 000 запросов ?

Данный показатель очень зависит от параметров задания, характеристик сервера, качества прокси и т.п., поэтому однозначного ответа дать невозможно.

4.22. Как мне настроить парсер чтобы в результате было запрос-ссылка?

Формат результата:

$p1.serp.format('$query: $link\n')

В результате будет:

запрос: ссылка 1
запрос: ссылка 2
запрос: ссылка 3

4.23. Как мне перепарсить неудачные запросы и где они хранятся?

Для того, чтобы неудачные запросы сохранялись, следует выбрать соответствующую опцию в блоке Запросы в Редакторе заданий. Неудачные запросы хранятся в queries\failed. Нужно создать новое задание и в качестве файла запросов указать файл с неудачными запросами.

4.24. Как избавиться от HTML тегов при парсинге текста?

Воспользуйтесь опцией Remove HTML tags в Конструкторе результатов.

4.25. Как сделать так чтобы парсились только домены?

Воспользуйтесь опцией Extract Domain в Конструкторе результатов.

4.26. Какой максимальный размер файла с запросами можно использовать в парсере?

Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений.

4.27. Почему, когда я ввожу текст в поле запросов, парсер выдает Queries length limited to 8192 characters?

Это происходит потому что длина запроса ограничена 8192 знаками. Чтобы использовать более длинные запросы, используйте файлы в качестве запросов.

4.28. Что значит Ожидающих потоков - 3 ?

Это значит, что нехватает прокси. Уменьшите кол-во потоков, либо увеличьте кол-во прокси.

4.29. В тестовом парсинге пишет 596 SOCKS proxy error: Hello read error(Connection reset by peer) (0 KB) и не парсит, почему?

Это свидетельствует о нерабочих прокси.

4.30. В чём разница между языком результатов и страной поиска в парсере гугла?

Разница следующая: страна поиска - это привязка результатов к конкретной стране. Например, если вы ищете купить окна с привязкой к конкретной стране, то в приоритете будут сайты, предлагающие купить окна именно в этой стране. А язык результатов - это то, на каком языке должны выдаваться результаты.

4.31. У меня не парсится определенный сайт. Что может быть?

Часто проблема в том, что происходит блокировка из-за старого юзерагента на стороне сервера. Решается новым юзер агентом или следующим кодом в параметре User agent:

[% tools.ua.random() %]

4.32. Парсер виснет, вылетает. В логе попадается строка syswrite: No space left on device

А-Парсеру не хватает места на жестком диске. Освободите больше места.

4.33. У меня парсер начал выдавать none в результатах (или явно неверный результат)

Возможно изменился формат выдачи в используемом сервисе. Проверьте в Задачах или в Версиях, возможно уже есть сообщение (решение) этой проблемы.

4.34. Постоянно появляется окно с надписью Failed fetch news

Обсуждение решения этой проблемы.

4.35. Как вывести n первых результатов поисковой выдачи?

Гугл. Парсинг первых результатов выдачи.

4.36. Как отследить цепочку редиректов?

Отслеживание редиректов.

4.37. Как проверить проиндексированность ссылки на доноре?

Для таких целей существует отдельный парсер: Check::BackLinkCheck::BackLink. Детальнее в обсуждении.

4.38. Парсер вылетает на Linux. В логе присутствует такая запись: EV: error in callback (ignoring): syswrite() on closed filehandle at AnyEvent/Handle.pm line...

Скорее всего нужно протюнить число потоков, как написано в Документации:Тюнинг Linux для большего числа потоков.

4.39. Где можно посмотреть все возможные параметры для их использования через API?

Получение запроса API в интерфейсе.

Также, можно сгенерировать полный конфиг задания на JSON. Для этого нужно взять код задания и декодировать его из base64.

4.40. Я скачиваю картинки с помощью Net::HTTPNet::HTTP, но они почему-то все битые. Что делать?

1) Проверьте параметр Max body size - возможно нужно его увеличить. 2) Проверьте в настройках А-Парсера формат переноса строки: Дополнительные настройки - Перенос строки.

Для того, чтобы картинка не была битой, должен использоваться UNIX формат.

4.41. Как получить admin contact из WHOIS?

Такая задача легко решается с помощью функции Parse custom result и регулярного выражения. Детально в обсуждении.

4.42. Регулярное выражение для парсинга телефонов

Парсинг телефонов (регулярное выражение).

4.43. Определение сайтов без мобильной версии

Определение сайтов без мобильной версии.

4.44. Как узнать имя ns-сервера?

Узнать имя ns-сервера.

4.45. Как спарсить ссылки на кэш Яндекса?

Парсинг кеша Яндекса.

4.46. Как спарсить ссылки на все страницы сайта?

Спарсить все стр сайта.

4.47. Как спарсить title со страницы?

Как спарсить title.

4.48. Как спарсить все сайты в заданной доменной зоне?

Спарсить все .com домены.

4.49. Как собрать все url с параметрами?

Как собрать все url с параметрами.

4.50. Как отфильтровать результаты по нескольким признакам и разбить по ним в отчете?

Как отфильтровать результаты по нескольким признакам и разбить по ним в отчете.

4.51. Как упростить конструкцию фильтра?

Как упростить конструкцию фильтра.

4.52. Как сортировать по файлам в зависимости от результата?

Сортировка по файлам в зависимости отрезультата.

4.53. Create new result directory every X number of files (English)

Create new result directory every X number of files.

4.54. Первые шаги работы с WordStat'ом

Первые шаги работы с WordStat'ом. Парсинг Вортстата по указанным кеям.

4.55. Сбор текстовых блоков >1000 символов

Как связать SE::Google и HTML::TextExtractor.

4.56. Вывод определенного количества текста из страницы

Это тоже решается с помощью Template Toolkit. Детальнее в обсуждении.

4.57. Проверка конкуренции и вхождения в в заголовок в Google

Чек частотки и конки Гугл.

4.58. Фильтрация по количеству вхождения запроса в анкор и сниппет

Топ10 - фильтрация по кол-ву вхождения в тайтл и сниппет.

4.59. Как получить содержимое статьи в одну строчку?

Вытянуть содержимое статьи в одну строчку.

4.60. Как сравнить две строковые даты?

Сравнить две строковые даты.

4.61. Как парсить подсвеченные слова из сниппета?

Парсинг подсвеченных слов из сниппета

4.62. Пример задания с использованием нескольких парсеров

Настройка парсинга по нескольким парсерам.

4.63. Как перемешать строки в результате и как выводить рандомное кол-во результатов?

Template Toolkit - перемешать строчки.

4.64. Как подписывать результат с помощью MD5?

md5 подпись результата при выводе в format.

4.65. Как преобразовать дату из Unix timestamp в строковое представление?

Из unix в дату

4.66. Parse to level, как парсить с ограничением?

parse to level, как парсить с ограничением

4.67. Парсер падает на Linux при запуске задания. В логе такие строки: Can't call method "if_list" on an undefined value at IO/Interface/Simple.pm...

Необходимо в консоле выполнить команду:

apt-get --reinstall --purge install netbase

4.68. Ошибка Cannot init Parser: Error: Failed to launch the browser process! [0429/082706.472999:ERROR:zygote_host_impl_linux.cc(90)] Running as root without --no-sandbox is not supported...

Нужно запустить А-Парсер не от рута. А именно: от рут пользователя нужно создать нового юзера без рут прав(если есть такой, то просто используем его) и потом разрешить этому юзеру взаимодействовать с директорией А-Парсера, потом нужно заголиниться от нового пользователя и уже от него запускать.

Под пользователем root создать юзера, можно по вот этому гайду.

Чтобы разрешить созданному пользователю взаимодействовать с директорией А-Парсера, нужно дать пользователю права. Для этого заходим под root пользователем и командой даем права:

chown -R user:user aparser

4.69. Ошибка Cannot init Parser: Error: Failed to launch the browser process! [0429/102002.619437:FATAL:zygote_host_impl_linux.cc(117)] No usable sandbox! Update your kernel or see...

Под пользователем root выполнить команду:

sysctl -w kernel.unprivileged_userns_clone=1

Перезагрузка апарсера не требуется.

Последнее обновление