FAQ по использованию фильтров Спойлер: 1. Нажимаю на кнопку Download - а архив не скачивается. Что делать? Проверте, есть ли у вас свободное место на жестком диске, отключите антивирус. Следуйте инструкции: http://a-parser.com/wiki/install/. Также ознакомьтесь http://a-parser.com/wiki/start/ Спойлер: 2. Купил Enterprise версию, но устанавливается по прежнему PRO. Что делать? Уточните у Администратора, прошел ли Ваш платеж. Удалите предыдущую версию. В Members Area проверьте верно ли прописан ваш IP-адрес. Перед загрузкой нажмите кнопку Update. Скачайте более новую версию. Более детально: http://a-parser.com/wiki/install/ Спойлер: 3. Как скачать результаты в Demo версии? В demo версии результаты работы не доступны для скачивания. Пожалуйста, приобретите лицензию: http://a-parser.com/pages/buy/ Спойлер: 4. Нужно ли доплачивать за что-то после покупки A-Parser? Нет. Более детально: http://a-parser.com/wiki/versions-and-licences/, http://a-parser.com/pages/buy/ Спойлер: 5. Что такое потоки? Все современные процессоры могут выполнять задачи в несколько потоков, что значительно увеличивает скорость их выполнения. Для сравнения можно привести обычный автобус, который за единицу времени перевозит какое-то кол-во людей - это будет обычная, однопоточная обработка, и двухэтажный автобус, который за то же время перевозит в два раза больше людей - это будет многопоточная обработка. A-parser может обрабатывать одновременно до 10000 потоков. Спойлер: 6. Где, как можно оплатить прокси? При покупке лицензии вам предоставляются бонусные прокси. Купить больше потоков или продлить вы можете в Members Area на вкладке Shop, подраздел Proxy. Спойлер: 7. Установил программу, а она не запускается, что делать? Проверьте запущенные приложения, отключите антивирус, проверьте доступный объём свободной оперативной памяти. Также в Members Area проверьте верно ли прописан ваш IP-адрес. Более детально: http://a-parser.com/wiki/install/ Спойлер: 8. Что делать если у меня динамический IP-АДРЕС? Ничего страшного, a-parser поддерживает работу с динамическими IP-адресами. Просто каждый раз, когда он меняется, вам необходимо его прописывать в Members Area. Для того, чтобы избежать данных манипуляций, рекомендуется использовать статический IP-адрес. Спойлер: 9. Какие оптимальные параметры сервера, компьютера для установки парсера? Все системные требования можно посмотреть здесь: http://a-parser.com/wiki/system-requirements/ Спойлер: 10. Как настроить проксичекер? Детальная инструкция находится здесь: http://a-parser.com/wiki/proxy/ Спойлер: 11. Нет живых проксей - почему? Проверьте ваше соединение с интернет, а также правильность настройки проксичекера. Если все сделано правильно, то это значит, что на данный момент ваш список прокси не содержит рабочих серверов. Решение данной проблемы: либо использовать другие прокси, либо повторить попытку позже. Если Вы используете наши прокси, то проверьте IP адрес в Members Area в разделе Proxies. Также возможен вариант, что ваш провайдер блокирует доступ к другим dns, попробуйте сделать описанные здесь шаги: http://a-parser.com/threads/1240/#post-3582 Спойлер: 12. Задание не запускается - пишет Some Error - почему? Проверьте IP адрес в Members Area. Также проверьте формат результата и в целом все задание. Спойлер: 13. Все запросы уходят в неудачные, что делать? Скорее всего неправильно составлено задание либо используется неверный формат запроса. Также проверьте есть ли живые прокси. Еще можно попробовать увеличить Request retries. Спойлер: 14. Сколько аккаутов нужно зарегистрировать чтобы спарсить 1 000 000 ключевых слов с SE::Yandex::Wordstat? Данный парсер парсит максимальное отдаваемое вордстатом число результатов - 40 страниц по 50 элементов в выдачи. Т.е. 2000 ключевых слов. А это значит, что минимум необходимо 500 аккаунтов, но лучше 1000. Зарегистрировать их можно с помощью парсера SE::Yandex::Register или просто добавить существующие аккаунты в файл files/SE-Yandex/accounts.txt. Спойлер: 15. Не запускается задание, пишет Error: Lock 100 threads failed(20 of limit 100 used) что делать? Необходимо повысить максимально доступное кол-во потоков в настройках парсера, или же снизить в настройках задания. Спойлер: 16. Можно ли запустить 2 задания одновременно? Да, a-parser поддерживает выполнение нескольких заданий одновременно. Но не рекомендуется запускать одновременно много заданий. Оптимальное кол-во 1-3 задания. Кол-во одновременно работающих заданий регулируется в Настройки ->Общие настройки->Максимум активных заданий. Спойлер: 17. Где лежит файл с результатами? На вкладке Очередь заданий, после окончания каждого задания, Вы можете скачать результаты работы. Физически они находятся в папке results. Спойлер: 18. Можно ли скачать файл с результатами если парсинг не закончен? Нет, пока не закончен парсинг, результаты скачать нельзя. Но его можно скопировать из папки aparser/results при остановленном задании или на паузе. Спойлер: 19. Как подключит антигейт? Детальная инструкция по настройке антигейта: http://a-parser.com/wiki/setting-antigate/ Спойлер: 20. Я изменил парамеры в настройках парсера, но они не применились. Почему? Пресет по-умолчанию (default) нельзя изменить, если внесены какие либо изменения, нужно нажать Сохранить как новый пресет, и после этого использовать его в своем задании. Спойлер: 21. Можно ли изменить настройки работающего задания? Можно, но не все. В выполняющемся задании можно нажать на паузу и там же в выпадающем меню выбрать Edit. Спойлер: 22. Можно ли вашим парсером спарсить 1 000 000 ссылок по одному запросу? Да, используя опцию Parse all results. Спойлер: 23. Можно ли парсить Rank::CMS, Net:Whois без прокси? Rank::CMS - можно, и даже нужно; Net:Whois - не желательно. Спойлер: 24. Как спарсить ссылки с гугла? Необходимо использовать SE::Google. Подробнее: http://a-parser.com/wiki/se-google/ Спойлер: 25. Может ли парсер ходить по ссылкам? Да, это умеет делать парсер HTML::LinkExtractor при использовании опции Parse to level Спойлер: 26. Очень медленно парсит гугл что делать? Возможно стоит слишком большое значение Request delay или Request retries. Попробуйте уменьшить их. Также возможно нужно подключить Антигейт для обхода каптч. Спойлер: 27. Можно ли вашим парсером спарсить ссылки в которых текст только на японском языке? Да, для этого необходимо в настройках парсера выставить необходимый язык, а также использовать японские ключевые слова. Спойлер: 28. Можно ли вашим парсером парсить ссылки только в доменной зоне .de или .ru Да. Для этого нужно воспользоваться фильтрами. Спойлер: 29. Как импортировать пресет? Нажать кнопку рядом с полем выбора задания в Редакторе заданий. Спойлер: 30. Как настроить парсер чтобы он не использовал прокси? В настройках нужного парсера снять галочку Use proxy. Спойлер: 31. Запустил задание. Парсер упал и больше не запускается что делать? Необходимо остановить сервер, проверить, не висит ли процесс в памяти, и попробовать запустить еще раз. Так же можно попробовать запустить а-парсер с остановкой всех заданий. Для этого нужно запустить с параметром -stoptasks Спойлер: 32. Какой пароль вводить при открытии адреса 127.0.0.1:9091? Если это первый запуск, то пароль пустой. Если не первый - то тот, который Вы задали. Если забыли пароль - http://a-parser.com/wiki/setting/#Сброс-пароля Спойлер: 33. Как получить каждый результат в файле с новой строки? При форматировании результата использовать \n Пример: $serp.format('$link\n') Спойлер: 34. Не могли бы вы мне настроить задание за деньги? Техническая поддержка по вопросам связанным с работой А-парсера предоставляется бесплатно. Насчет платной помощи в составлении заданий можно обращаться сюда: http://a-parser.com/threads/1795/. Спойлер: 35. Могу ли я произвести оплату за парсер через банк Приват24? Через kiwi? Перечень платежных систем, с которыми мы работаем, указан здесь: http://a-parser.com/pages/buy/ Спойлер: 36. Как спарсить топ10 сайтов с гугл? Вот пресет: Код: eyJwcmVzZXQiOiJUT1AxMCIsInZhbHVlIjp7InByZXNldCI6IlRPUDEwIiwicGFy c2VycyI6W1siU0U6Okdvb2dsZSIsImRlZmF1bHQiLHsidHlwZSI6Im92ZXJyaWRl IiwiaWQiOiJwYWdlY291bnQiLCJ2YWx1ZSI6MX0seyJ0eXBlIjoib3ZlcnJpZGUi LCJpZCI6ImxpbmtzcGVycGFnZSIsInZhbHVlIjoxMH0seyJ0eXBlIjoib3ZlcnJp ZGUiLCJpZCI6InVzZXByb3h5IiwidmFsdWUiOmZhbHNlfV1dLCJyZXN1bHRzRm9y bWF0IjoiJHAxLnByZXNldCIsInJlc3VsdHNTYXZlVG8iOiJmaWxlIiwicmVzdWx0 c0ZpbGVOYW1lIjoiJGRhdGVmaWxlLmZvcm1hdCgpLnR4dCIsImFkZGl0aW9uYWxG b3JtYXRzIjpbXSwicmVzdWx0c1VuaXF1ZSI6Im5vIiwicXVlcnlGb3JtYXQiOlsi JHF1ZXJ5Il0sInVuaXF1ZVF1ZXJpZXMiOmZhbHNlLCJzYXZlRmFpbGVkUXVlcmll cyI6ZmFsc2UsIml0ZXJhdG9yT3B0aW9ucyI6eyJvbkFsbExldmVscyI6ZmFsc2Us InF1ZXJ5QnVpbGRlcnNBZnRlckl0ZXJhdG9yIjpmYWxzZX0sInJlc3VsdHNPcHRp b25zIjp7Im92ZXJ3cml0ZSI6ZmFsc2V9LCJkb0xvZyI6Im5vIiwia2VlcFVuaXF1 ZSI6Ik5vIiwibW9yZU9wdGlvbnMiOmZhbHNlLCJyZXN1bHRzUHJlcGVuZCI6IiIs InJlc3VsdHNBcHBlbmQiOiIiLCJxdWVyeUJ1aWxkZXJzIjpbXSwicmVzdWx0c0J1 aWxkZXJzIjpbXSwiY29uZmlnT3ZlcnJpZGVzIjpbXX19 Спойлер: 37. Добавляю задание, перехожу во вкладку Очередь заданий - а его там нет! Почему? Либо допущена ошибка при составлении задания, либо оно уже выполнено и перешло в Завершенные. Спойлер: 38. Пишет что файл не в utf-8, но я его не менял он и так utf-8, что делать? Проверьте еще раз. Также попробуйте все же изменить кодировку, например с помощью Notepad++ Спойлер: 39. В файле с результатами все в одну строку, хотя в задании ставил перенос строки - почему? Используйте для просмотра более продвинутый просмотрщик, например Notepad++ Спойлер: 40. У меня нет кнопки Override option! http://a-parser.com/wiki/settings-and-presets/#override-preset Спойлер: 41. Как перезаписать в тот же файл с результатами? При составлении задания выставить опцию Перезаписать файл. Спойлер: 42. Где поменять пароль на парсер? Настройки->Общие настройки Спойлер: 43. Сколько времени уходит на проверку частотности запросов по Яндексу на 1 000 запросов ? Данный показатель очень зависит от параметров задания, характеристик сервера, качества прокси и т.п., поэтому однозначного ответа дать невозможно. Спойлер: 44. Как мне настроить парсер чтобы в результате было запрос-ссылка? $p1.serp.format('$query-$link\n') запрос-ссылка 1 запрос-ссылка 2 запрос-ссылка 3 Спойлер: 45. Как мне перепарсить неудачные запросы и где они хранятся? Для того, чтобы неудачные запросы сохранялись, следует выбрать соответствующую опцию в блоке Запросы в Редакторе заданий. Неудачные запросы хранятся в queries\failed. Нужно создать новое задание и в качестве файла запросов указать файл с неудачными запросами. Спойлер: 46. Если мне нужно спарсить только количество проиндексированных страниц в Яндексе, какой парсер мне лучше купить? Для таких целей достаточно Lite-версии, но Pro более практична и гибкая в работе. Спойлер: 47. Как избавиться от HTML тегов при парсинге текста? Воспользуйтесь опцией Remove HTML tags в Конструкторе результатов. Пример Спойлер: 48. Поставил 6 миллионов ключей на парсинг, так же указал, что бы домены были все уникальны. А как так сделать, чтобы когда я поставлю новые 6 миллионов ключей, записывались только уникальные домены не перессекающиеся с прошлим парсингом? Необходимо воспользоваться опцией Сохранять уник при составлении первого задания, и указать сохраненную базу во втором. Спойлер: 49. Как сделать так чтобы парсились только домены? Воспользуйтесь опцией Extract Domain в Конструкторе результатов. Пример Спойлер: 50. Как обойти ограничение в 1000 результатов для гугла? Воспользуйтесь опцией Parse all results Спойлер: 51. Как обойти ограничение в 1024 потока на линукс? http://a-parser.com/wiki/install/#Тюнинг-linux-для-большого-числа-потоков Спойлер: 52. Какой лимит потоков на Windows? До 2000 потоков. Спойлер: 53. Какой максимальный размер файла с запросами можно использовать в парсере? Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений. Спойлер: 54. Почему, когда я ввожу текст в поле запросов, парсер выдает Queries length limited to 8192 characters? Это происходит потому что длина запроса ограничена 8192 знаками. Чтобы использовать более длинные запросы, используйте файлы в качестве запросов. Спойлер: 55. Как сделать запросы уникальными? Использовать опцию Уникальные запросы в блоке Запросы в Редакторе заданий. Спойлер: 56. Как отключить проверку проксей? В Проксичекере снять галочку Check proxies. Сохранить и выбрать сохраненный пресет. Спойлер: 57. В Members Area ввожу свой IP, а он не меняется в поле Your current IP. Почему? Поле Your current IP отображает Ваш текущий IP, и он не должен менятся. Это его Вы должны вписать в поле IP1. Спойлер: 58. Могу ли я запустить одновременно две копии? Нет. http://a-parser.com/wiki/versions-and-licences/ Спойлер: 59. Есть ли у парсера привязка к железу? Нет. Для контроля лицензий используется ваш IP. Спойлер: 60. В результате парсинга google PR, рейтинг сайта -1 , что это значит? Это значит, что у домена/страницы нету PageRank. Спойлер: 61. Вопрос по обновлению - обновлять только .exe? config/config.db и files/Rank-CMS/apps.json - а для чего эти файлы? Если иное не указано, то обновлять только .exe. Первый файл для хранения конфигурации а-парсера, а второй - это база для определения CMS и собственно работы самого парсера Rank::CMS Спойлер: 62. У меня Win Server 2008 Web Edition - парсер не запускается... На данной версии ОС А-парсер не будет работать. Единственный вариант - сменить ОС. Спойлер: 63. Что значит Ожидающих потоков-3 ? Это значит, что нехватает прокси. Уменьшите кол-во потоков, либо увеличьте кол-во прокси. Спойлер: 64. В тестовом парсинге пишет 596 SOCKS proxy error: Hello read error(Connection reset by peer) (0 KB) и не парсит, почему? Это свидетельствует о нерабочих прокси. Спойлер: 65. Что такое Proxy ban time? Могу я постаивть в нем 0? Время бана прокси в секундах. Да, можете. Спойлер: 66. В чём разница между языком результатов и страной поиска в парсере гугла? Разница следующая: страна поиска - это привязка результатов к конкретной стране. Например, если вы ищете "купить окна" с привязкой к конкретной стране, то в приоритете будет сайты, предлагающие купить окна именно в этой стране. А язык результатов - это то, на каком языке должны выдаваться результаты. Спойлер: 67. У меня не парсится определенный сайт. Что может быть? Часто проблема в том, что происходит блокировка из-за старого юзерагента на стороне сервера. Решается новым юзер агентом или [% tools.ua.random() %] в параметре User agent. Спойлер: 68. Какая разница между exact domain и top level domain в парсере SE::Google::position Exact domain - это строгое соответствие, т.е. если в выдаче www.domain.com, а мы ищем domain.com, то соответствия не будет. А top level domain сверяет весь топ домен, т.е. здесь будет соответствие. Спойлер: 69. Если запускать тестовый парсинг - все работает, если обычный - получаю ошибку Some error. Скорее всего проблема в днс, попробуйте выполнить эту инструкцию: http://a-parser.com/threads/1240/#post-3582 Спойлер: 70. Парсер виснет, вылетает. В логе попадается строка syswrite: No space left on device А-парсеру не хватает места на жестком диске. Освободите больше места. Спойлер: 71. У меня парсер начал выдавать none в результатах (или явно неверный результат) Возможно изменился формат выдачи в используемом сервисе. Проверьте здесь или здесь, возможно уже есть сообщение (решение) этой проблемы. Спойлер: 72. Постоянно появляется окно с надписью Failed fetch news http://a-parser.com/threads/1261/ Спойлер: 73. Как вывести n первых результатов поисковой выдачи? http://a-parser.com/threads/1763/ Спойлер: 74. Как отследить цепочку редиректов? http://a-parser.com/threads/1788/ Спойлер: 75. Как проверить проиндексированность ссылки на доноре? http://a-parser.com/threads/1806/#post-5498 Спойлер: 76. Парсер вылетает на Linux. В логе присутствует такая запись: EV: error in callback (ignoring): syswrite() on closed filehandle at AnyEvent/Handle.pm line... Скорее всего нужно протюнить число потоков, как написано в Документации. Спойлер: 77. У меня 4-ядерный процессор. Почему А-Парсер использует только одно ядро? Несколько ядер используется только при фильтрации, Конструкторе результатов, Parse custom result и в Rank::CMS. Спойлер: 78. Где задается Формат результата? http://a-parser.com/threads/1805/#post-5735 Спойлер: 79. Где можно посмотреть все возможные параметры для их использования через API? Можно сгенерировать полный конфиг задания на JSON. Для этого нужно взять код задания и декодировать его из base64. Спойлер: 80. Я скачиваю картинки с помощью Net::HTTP, но они почему-то все битые. Что делать? 1) Проверьте параметр Max body size - возможно нужно его увеличить. 2) Проверьте в настройках А-Парсера формат переноса строки: Для того, чтобы картинка не была битой, должен использоваться UNIX формат. Спойлер: 81. В SE::Google отсутствует нидерландский язык, хотя в настройках Гугла он есть. Почему? http://a-parser.com/threads/1942/ Спойлер: 82. Где посмотреть сведения о моей лицензии? Members Area - A-Parser - License Info Спойлер: 83. Возможно ли купленные прокси использовать с нескольких ip? Нет. Спойлер: 84. У меня начала появляться "ошибка сегментирования" (segmentation failed, segmentation error). Что делать? Скорее все изменился ваш IP. Проверьте в Личном кабинете. Спойлер: 85. У меня Linux. А-Парсер запустился, но в браузере не открывается. Как решить? Проверьте фаервол - скорее всего он блокирует доступ. Спойлер: 86. Как получить admin contact из WHOIS? https://a-parser.com/threads/2715/#post-8929 Спойлер: 87. Регулярное выражение для парсинга телефонов https://a-parser.com/threads/2710/ Спойлер: 88. Определение сайтов без мобильной версии https://a-parser.com/threads/1652/#post-4924 Спойлер: 89. Как узнать имя ns-сервера? https://a-parser.com/threads/1424/ Спойлер: 90. Как спарсить ссылки на кэш Яндекса? https://a-parser.com/threads/1305/#post-3549 Спойлер: 91. Как спарсить ссылки на все страницы сайта https://a-parser.com/threads/2071/#post-6445 Спойлер: 92. Как спарсить title со страницы? https://a-parser.com/threads/1177/#post-3014 Спойлер: 93. Как спарсить все сайты в заданной доменной зоне? https://a-parser.com/threads/1946/#post-6009 Спойлер: 94. Как собрать все url с параметрами? https://a-parser.com/threads/2644/#post-8605 Спойлер: 95. Как отфильтровать результаты по нескольким признакам и разбить по ним в отчете? https://a-parser.com/threads/1651/ Спойлер: 96. Как упростить конструкцию фильтра? https://a-parser.com/threads/2751/ Спойлер: 97. Как сортировать по файлам в зависимости от результата? https://a-parser.com/threads/1284/ Спойлер: 98. Create new result directory every X number of files (English) https://en.a-parser.com/threads/1709/ Спойлер: 99. Первые шаги работы с WordStat'ом https://a-parser.com/threads/649/ https://a-parser.com/wiki/parse-wordstat-key/ Спойлер: 100. Сбор текстовых блоков >1000 символов https://a-parser.com/threads/1776/ Спойлер: 101. Вывод определенного количества текста из страницы https://a-parser.com/threads/1573/page-2#post-8902 Спойлер: 102. Проверка конкуренции и вхождения в в заголовок в Google https://a-parser.com/threads/2834/ Спойлер: 103. Фильтрация по количеству вхождения запроса в анкор и сниппет https://a-parser.com/threads/2720/ Спойлер: 104. Как получить содержимое статьи в одну строчку? https://a-parser.com/threads/2847/ Спойлер: 105. Как сравнить две строковые даты? https://a-parser.com/threads/1470/ Спойлер: 106. Как парсить подсвеченные слова из сниппета? https://a-parser.com/threads/1203/#post-3129 Спойлер: 107. Пример задания с использованием нескольких парсеров https://a-parser.com/threads/1667/ Спойлер: 108. Сборник полезных фишек https://a-parser.com/threads/1667/ Спойлер: 109. Как перемешать строки в результате и как выводить рандомное кол-во результатов? https://a-parser.com/threads/1750/ Спойлер: 110. Как подписывать результат с помощью MD5? https://a-parser.com/threads/2398/ Спойлер: 111. Как преобразовать дату из Unix timestamp в строковое представление? https://a-parser.com/threads/2656/#post-8657 Спойлер: 112. Parse to level, как парсить с ограничением? https://a-parser.com/threads/2475/ Спойлер: 113. Парсер падает на Linux при запуске задания. В логе такие строки: Can't call method "if_list" on an undefined value at IO/Interface/Simple.pm... Необходимо в консоле выполнить команду: Код: apt-get --reinstall --purge install netbase
