Большой опрос: как и для чего вы используете A-Parser?

[Forbidden]

Всем привет!

Давайте поговорим о том как и для чего вы используете A-Parser, топик будет в формате обмена опыта, каждый рассказывает как A-Parser помогает ему в повседневной работе и/или давно стал главным инструментом в бизнесе. По результатам каждый найдет для себя новые идеи, или узнает о возможностях A-Parser'а о которых и не предполагал

Начну с себя и нашей команды:

• SpySerp.com - сервис бесплатного отслеживания позиций поисковых систем, целиком работает поверх A-Parser Enterprise, на данный момент нам хватает всего 2ух копий парсера запущенных на одном сервере(используются парсеры SE::Google, SE::Yandex, SE::Yandex::Direct::Frequency)
• Оценка доменов, я веду собственную базу доменов(~10 млн), ищу дропы с хорошими показателями(тут множество парсеров, включая Net::Whois - информация по дате регистрации и экспайра домена, Rank::CMS - узнаем CMS, SE::Google - проверяем индекс, и еще несколько Rank::* парсеров для оценки качества домена)
• Также парсер используется для сбора всей информации для моего доргена(текст - HTML::TextExtractor, картинки - SE::Google::Images, видео - SE::YouTube, перевод текста - SE::Bing::Translator), для каждой тематики собирается свой набор, достаточно много данных
• Любая автоматизация ручных действий - собрать однотипные данные с одного или множества сайтов, тут все просто, Net::HTTP + пара регулярок, и результаты уже в файле
• Еще один интересный кейс по оценке доменов - когда вам уже не хватает точности всяких Alexa, MOZ, Majestic и т.п. то можно сделать свой ранкер, собираем выдачу по довольно большому числу запросов(я собирал 10 млн), запросы общие(например перебор букв-цифр), дальше строим обратный индекс по встречаемости каждого домена в серпе, учитываем также позицию. Чем чаще и выше домен встречается - тем больше у него рейтинг

Конечно это малая часть, принимайте активное участие, напишите как используете A-Parser именно вы, и я подкину еще горячих идей

 

[Nikolay]

С помощью A-Parser, я сделал несколько крупных интернет магазинов, систематически используем его для обновления количества и стоимости. Для автоматической перебивки цены на торговых площадках. Для выборки и рассчета данных связанных с деятельностью ( eCommerce) и многое другое ) На самом деле A-Parser может заменить команду программистов. Что еще добавить, это лучший софт для торговли и работы с контентом какой только может быть.

 

[Syrex]

Раньше с помощью A-Parser собирал ключевые слова, проверял их по частоте и тд., подбирал дропы.
Сейчас же по прямому назначению - парсинг

• Также парсер используется для сбора всей информации для моего доргена

Я наверное пропустил, но какой дорген работает напрямую с апарсером? Или это что то личное?

 

[BESHENEI]

Я наверное пропустил, но какой дорген работает напрямую с апарсером?

Syrex - вроде это ответ на твой вопрос - https://a-parser.com/threads/1578/

 

[Forbidden]

Я наверное пропустил, но какой дорген работает напрямую с апарсером? Или это что то личное?

это самописный дорген под свои нужды, но как выше подметили та же пандора работает с апарсером

 

[vipuncle]

HTML::TextExtractor,

SE::Google, SE::Bing, [URL='https://a-parser.com/wiki/net-http/']Net::HTTP[/URL]

 

[tarasnick1]

Для сбора семанта и определения основных словоформ юзаю

SE::Yandex::WordStat,

SE::Yandex::Suggest,

SE::Google::Suggest
Для оценки частотки использую

SE::Yandex::WordStat
Использую

HTML::TextExtractor при парсинге крупных проектов
+ заказывал платный пресет для пробивки кодов ответов, отличных от 200 (использую в основном на крупных проектах, когда screaming frog seo spider не справляется)

 

[relay]

Топ 3 у меня

Net::HTTP - сбор необходимой инфы с сайтов
Net::Whois - проверка на регистрацию домена
Rank::CMS - свои регулярки для поиска уникальных движков

Пасеры поисковых систем - все используются

 

[btr]

к вышеперечисленному добавлю: с недавних пор собираю ключи с LI.ru(свои счетчики).

 

[Support]

От имени всего саппорта могу сказать, что нерешаемых задач для А-Парсера практически нет, есть только мало времени или опыта.
Каждый день в поддержку (платную в т.ч.) обращаются клиенты с самыми разнообразными задачами: от парсинга каталогов автомобильных запчастей и интернет-магазинов до оценки сайтов по самым разным критериям и поиска контактов.
Из самых интересных задач были парсинг погоды, парсинг анекдотов и парсинг ссылок на сериал из сайта телеканала до его выхода по ТВ. А самые популярные задачи - это парсинг текстовок и ключевых слов.

 

[Denis.b]

В целом работаю с А-парсером уже довольно давно. Началось все с того, что когда-то я работал в компании, у которой было довольно много своих сайтов. Был внутренний отдел продвижения и разработки. В один прекрасный момент, поняли, что следить за всеми сайтами вручную очень надоело. Тогда сервисы маркетинговой аналитики были еще не очень развиты. И мы начали думать над тем, как упросить работу.

Подразумевалось, что мы должны сделать свою систему, которая умеет парсить Яндекс (выдачу, wordstat, частотность и т.д.) и еще много чего. Поскольку задач парсинга было действительно много, мы решили посмотреть существующие решения на рынке.

И в один из таких моментов я и добрался до А-парсера. Основная вещь, которая мне тогда понравилась - наличие API. Почитав про возможности, я понял, что это то, что нужно для нашей задачи. Суть заключалась в том, что мы сделали некоторую надстройку над А-парсером, которая работала с ним через API и с которой взаимодействовали наши пользователи, а парсер выполнял всю "черную" работу. То есть и парсер и система были на отдельном серваке, и там крутились. Получилось нечто, похожее на SpySerp, но там же заморочились за кластеризацию семантики, отслеживание соответствия фактических страниц в выдаче продвигаемым и т.д.

Была еще одна задача - необходимо было спарсить довольно много страниц некоторого сайта, вытащить очень много данных, включая изображения, в конечном итоге порядка нескольких десятков тысяч. Немного попарились, но задание составили сами. До этого пробовали парсить через Google Excel, но он просто умирал от количества данных. В общем, решили задачу довольно быстро.

Мне нравится, что парсер может очень быстро работать, при наличии нужного количества прокси. Использую его для различных задач, связанных с семантикой, парсингом сайтов различных компаний и других вещей. Недавно выкатили обновление - сейчас можно свои парсеры делать на JS-е, но руки никак не дойдут попробовать. Вообще, хочу запилить, чтобы можно было постить объявления на сайты объявлений автоматом. Должно получиться. Еще, клево то, что прямо в форматировании результата программить можно, правда не все очевидно, и язык специфический, я, все-таки к другим немного привык)) Но если почитать, то в целом понятно. Вообще, конечно, стоит отметить, что по-началу казалось, что парсер сделан программистами для программистов)) Но потом увидел, что люди, не являющиеся программистами тоже нормально справляются, была бы голова на плечах))

Основные парсеры, которые использую: SE::Google, SE::Yandex, SE::Google:osition, SE::Yandex:osition, SE::Yandex::Suggest, SE::Yandex::WordStat, SE::Yandex:irect::Frequency, SE::Yandex::Register, HTML::LinkExtractor, HTML::TextExtractor.
И конечно клевая штука - Net::HTTP, особенно, когда XPATH сделали.
Такие дела.

 

[btr]

Не думали сделать базу пресетов? с возможностью публиковать свои пресеты, допустим есть у меня пресеты которыми мог бы поделиться, думаю не я один такой.
Набралась бы достаточно огромна база пресетов готовых, с описанием. Так же можно было бы встроить базу в сам апарсере(это было бы вообще круто).
Для нас это очень хороший способ поделиться опытом, для вас я думаю это привлечет новых клиентов.

 

[Forbidden]

Не думали сделать базу пресетов?

все что ты описал 1 в 1 в разработке

 

[relay]

все что ты описал 1 в 1 в разработке

PresetStore ?

 

[Apalon]

telefoni ,email,isq,scaip -plius v tom sto Proxy ne nuji -Seas plotno budut ispolizovati dlea Marafona

 

[DenisVoron]

По больше бы видео где показаны основные функции по работе с а-парсером используется для парсинга ! А то некоторые боятся покупать из за сложности в настройке!
А вот и решение

Не думали сделать базу пресетов? с возможностью публиковать свои пресеты, допустим есть у меня пресеты которыми мог бы поделиться, думаю не я один такой.
Набралась бы достаточно огромна база пресетов готовых, с описанием. Так же можно было бы встроить базу в сам апарсере(это было бы вообще круто).
Для нас это очень хороший способ поделиться опытом, для вас я думаю это привлечет новых клиентов.

 

[Al]

Использую только парсеры на основе Net::Http, 95% из которых сделаны одним человеком, - специалистом платной тех поддержки a-parser. О его квалификации писать не буду, он и сам все прекрасно знает, да и любой кто хоть раз обращался, думаю разделит те исключительно позитивные моменты, при работе с ним
Об этом так же может сказать и тот факт, что за год и 2 месяца, сумма, которую я потратил на эти парсеры (сложно сказать кол-во, где-то 150-200 пресетов) почти перевалила $2000. Ни об одном потраченном долларе я не жалею

Кстати, чем не повод поощрять таких лояльных клиентов Особенно если они продолжают вкладывать в проект, уже после покупки парсера.

Парсеры в основном для сбора информации по форумам, блогам, соц. сетям и сервисам, да и много чего еще. Если у кого-то есть собственные парсеры по этой тематике, или смежной (информация по сайтам, доменам, доски объявлений, сайты резюме и т.д.), а также есть желание поменяться, - пишите в личку (только обмен).

 

[odept34]

В основном Net::Http.

 

[btr]

наверное все таки для хакинга?

 

[antonevi4]

Собрали на нем вот этот сервис https://a-parser.com/threads/3214/.