Большой опрос: как и для чего вы используете A-Parser?

Тема в разделе "Делимся опытом", создана пользователем Forbidden, 18 янв 2017.

  1. Forbidden

    Forbidden Administrator Команда форума A-Parser Enterprise

    Всем привет!

    Давайте поговорим о том как и для чего вы используете A-Parser, топик будет в формате обмена опыта, каждый рассказывает как A-Parser помогает ему в повседневной работе и/или давно стал главным инструментом в бизнесе. По результатам каждый найдет для себя новые идеи, или узнает о возможностях A-Parser'а о которых и не предполагал :)

    Начну с себя и нашей команды:
    • SpySerp.com - сервис бесплатного отслеживания позиций поисковых систем, целиком работает поверх A-Parser Enterprise, на данный момент нам хватает всего 2ух копий парсера запущенных на одном сервере(используются парсеры SE::Google SE::Google, SE::Yandex SE::Yandex, SE::Yandex::Direct::Frequency SE::Yandex::Direct::Frequency)
    • Оценка доменов, я веду собственную базу доменов(~10 млн), ищу дропы с хорошими показателями(тут множество парсеров, включая Net::Whois Net::Whois - информация по дате регистрации и экспайра домена, Rank::CMS Rank::CMS - узнаем CMS, SE::Google SE::Google - проверяем индекс, и еще несколько Rank::* парсеров для оценки качества домена)
    • Также парсер используется для сбора всей информации для моего доргена(текст - HTML::TextExtractor HTML::TextExtractor, картинки - SE::Google::Images SE::Google::Images, видео - SE::YouTube SE::YouTube, перевод текста - SE::Bing::Translator SE::Bing::Translator), для каждой тематики собирается свой набор, достаточно много данных
    • Любая автоматизация ручных действий - собрать однотипные данные с одного или множества сайтов, тут все просто, Net::HTTP Net::HTTP + пара регулярок, и результаты уже в файле :)
    • Еще один интересный кейс по оценке доменов - когда вам уже не хватает точности всяких Alexa, MOZ, Majestic и т.п. то можно сделать свой ранкер, собираем выдачу по довольно большому числу запросов(я собирал 10 млн), запросы общие(например перебор букв-цифр), дальше строим обратный индекс по встречаемости каждого домена в серпе, учитываем также позицию. Чем чаще и выше домен встречается - тем больше у него рейтинг
    Конечно это малая часть, принимайте активное участие, напишите как используете A-Parser именно вы, и я подкину еще горячих идей :)
     
    sanyo, signup, wonder и 11 другим нравится это.
  2. Nikolay

    Nikolay A-Parser Enterprise License A-Parser Enterprise

    С помощью A-Parser, я сделал несколько крупных интернет магазинов, систематически используем его для обновления количества и стоимости. Для автоматической перебивки цены на торговых площадках. Для выборки и рассчета данных связанных с деятельностью ( eCommerce) и многое другое ) На самом деле A-Parser может заменить команду программистов. Что еще добавить, это лучший софт для торговли и работы с контентом какой только может быть.
     
    Denis.b, Marketolog, Forbidden и ещё 1-му нравится это.
  3. Syrex

    Syrex A-Parser Pro License A-Parser Pro

    Раньше с помощью A-Parser собирал ключевые слова, проверял их по частоте и тд., подбирал дропы.
    Сейчас же по прямому назначению - парсинг :)

    Я наверное пропустил, но какой дорген работает напрямую с апарсером? Или это что то личное?
     
  4. BESHENEI

    BESHENEI A-Parser Pro License A-Parser Pro

    Syrex - вроде это ответ на твой вопрос - https://a-parser.com/threads/1578/
     
    Support и Syrex нравится это.
  5. Forbidden

    Forbidden Administrator Команда форума A-Parser Enterprise

    это самописный дорген под свои нужды, но как выше подметили та же пандора работает с апарсером
     
    Syrex нравится это.
  6. vipuncle

    vipuncle A-Parser Pro License A-Parser Pro

  7. tarasnick1

    tarasnick1 A-Parser Pro License A-Parser Pro

    Для сбора семанта и определения основных словоформ юзаю [​IMG] SE::Yandex::WordStat, [​IMG] SE::Yandex::Suggest, [​IMG] SE::Google::Suggest
    Для оценки частотки использую [​IMG] SE::Yandex::WordStat
    Использую [​IMG]HTML::TextExtractor при парсинге крупных проектов
    + заказывал платный пресет для пробивки кодов ответов, отличных от 200 (использую в основном на крупных проектах, когда screaming frog seo spider не справляется)
     
    Support и Forbidden нравится это.
  8. relay

    relay A-Parser Enterprise License A-Parser Enterprise

    Топ 3 у меня

    Net::HTTP Net::HTTP - сбор необходимой инфы с сайтов
    Net::Whois Net::Whois - проверка на регистрацию домена
    Rank::CMS Rank::CMS - свои регулярки для поиска уникальных движков

    Пасеры поисковых систем - все используются
     
    Denis.b, Support и Forbidden нравится это.
  9. btr

    btr A-Parser Enterprise License A-Parser Enterprise

    к вышеперечисленному добавлю: с недавних пор собираю ключи с LI.ru(свои счетчики).
     
    Forbidden и Support нравится это.
  10. Support

    Support Moderator Команда форума A-Parser Enterprise

    От имени всего саппорта могу сказать, что нерешаемых задач для А-Парсера практически нет, есть только мало времени или опыта.
    Каждый день в поддержку (платную в т.ч.) обращаются клиенты с самыми разнообразными задачами: от парсинга каталогов автомобильных запчастей и интернет-магазинов до оценки сайтов по самым разным критериям и поиска контактов.
    Из самых интересных задач были парсинг погоды, парсинг анекдотов и парсинг ссылок на сериал из сайта телеканала до его выхода по ТВ. А самые популярные задачи - это парсинг текстовок и ключевых слов.
     
    Forbidden нравится это.
  11. Denis.b

    Denis.b A-Parser Enterprise License A-Parser Enterprise

    В целом работаю с А-парсером уже довольно давно. Началось все с того, что когда-то я работал в компании, у которой было довольно много своих сайтов. Был внутренний отдел продвижения и разработки. В один прекрасный момент, поняли, что следить за всеми сайтами вручную очень надоело. Тогда сервисы маркетинговой аналитики были еще не очень развиты. И мы начали думать над тем, как упросить работу.

    Подразумевалось, что мы должны сделать свою систему, которая умеет парсить Яндекс (выдачу, wordstat, частотность и т.д.) и еще много чего. Поскольку задач парсинга было действительно много, мы решили посмотреть существующие решения на рынке.

    И в один из таких моментов я и добрался до А-парсера. Основная вещь, которая мне тогда понравилась - наличие API. Почитав про возможности, я понял, что это то, что нужно для нашей задачи. Суть заключалась в том, что мы сделали некоторую надстройку над А-парсером, которая работала с ним через API и с которой взаимодействовали наши пользователи, а парсер выполнял всю "черную" работу. То есть и парсер и система были на отдельном серваке, и там крутились. Получилось нечто, похожее на SpySerp, но там же заморочились за кластеризацию семантики, отслеживание соответствия фактических страниц в выдаче продвигаемым и т.д.

    Была еще одна задача - необходимо было спарсить довольно много страниц некоторого сайта, вытащить очень много данных, включая изображения, в конечном итоге порядка нескольких десятков тысяч. Немного попарились, но задание составили сами. До этого пробовали парсить через Google Excel, но он просто умирал от количества данных. В общем, решили задачу довольно быстро.

    Мне нравится, что парсер может очень быстро работать, при наличии нужного количества прокси. Использую его для различных задач, связанных с семантикой, парсингом сайтов различных компаний и других вещей. Недавно выкатили обновление - сейчас можно свои парсеры делать на JS-е, но руки никак не дойдут попробовать. Вообще, хочу запилить, чтобы можно было постить объявления на сайты объявлений автоматом. Должно получиться. Еще, клево то, что прямо в форматировании результата программить можно, правда не все очевидно, и язык специфический, я, все-таки к другим немного привык)) Но если почитать, то в целом понятно. Вообще, конечно, стоит отметить, что по-началу казалось, что парсер сделан программистами для программистов)) Но потом увидел, что люди, не являющиеся программистами тоже нормально справляются, была бы голова на плечах))

    Основные парсеры, которые использую: SE::Google, SE::Yandex, SE::Google::position, SE::Yandex::position, SE::Yandex::Suggest, SE::Yandex::WordStat, SE::Yandex::Direct::Frequency, SE::Yandex::Register, HTML::LinkExtractor, HTML::TextExtractor.
    И конечно клевая штука - Net::HTTP, особенно, когда XPATH сделали.
    Такие дела.
     
    Последнее редактирование: 19 янв 2017
    BESHENEI, tarasnick1, Forbidden и 2 другим нравится это.
  12. btr

    btr A-Parser Enterprise License A-Parser Enterprise

    Не думали сделать базу пресетов? с возможностью публиковать свои пресеты, допустим есть у меня пресеты которыми мог бы поделиться, думаю не я один такой.
    Набралась бы достаточно огромна база пресетов готовых, с описанием. Так же можно было бы встроить базу в сам апарсере(это было бы вообще круто).
    Для нас это очень хороший способ поделиться опытом, для вас я думаю это привлечет новых клиентов.
     
    vadim4uk, signup, Хаким и 8 другим нравится это.
  13. Forbidden

    Forbidden Administrator Команда форума A-Parser Enterprise

    все что ты описал 1 в 1 в разработке :)
     
    Alex, vipdenya, vipuncle и ещё 1-му нравится это.
  14. relay

    relay A-Parser Enterprise License A-Parser Enterprise

    PresetStore ? ;)
     
    vadim4uk, Alex, limoshkaa и 3 другим нравится это.
  15. Apalon

    Apalon A-Parser Pro License A-Parser Pro

    telefoni ,email,isq,scaip -plius v tom sto Proxy ne nuji -Seas plotno budut ispolizovati dlea Marafona
     
  16. DenisVoron

    DenisVoron A-Parser Pro License A-Parser Pro

    По больше бы видео где показаны основные функции по работе с а-парсером используется для парсинга ! А то некоторые боятся покупать из за сложности в настройке!
    А вот и решение
     
    vadim4uk и WarGuss нравится это.
  17. Al

    Al A-Parser Enterprise License A-Parser Enterprise

    Использую только парсеры на основе Net::Http, 95% из которых сделаны одним человеком, - специалистом платной тех поддержки a-parser. О его квалификации писать не буду, он и сам все прекрасно знает, да и любой кто хоть раз обращался, думаю разделит те исключительно позитивные моменты, при работе с ним:)
    Об этом так же может сказать и тот факт, что за год и 2 месяца, сумма, которую я потратил на эти парсеры (сложно сказать кол-во, где-то 150-200 пресетов) почти перевалила $2000. Ни об одном потраченном долларе я не жалею:)

    Кстати, чем не повод поощрять таких лояльных клиентов:) Особенно если они продолжают вкладывать в проект, уже после покупки парсера.

    Парсеры в основном для сбора информации по форумам, блогам, соц. сетям и сервисам, да и много чего еще. Если у кого-то есть собственные парсеры по этой тематике, или смежной (информация по сайтам, доменам, доски объявлений, сайты резюме и т.д.), а также есть желание поменяться, - пишите в личку (только обмен).
     
    Support и Forbidden нравится это.
  18. odept34

    odept34 A-Parser Pro License A-Parser Pro

    Для хакеренга использую.
    В основном Net::Http.
     
    mountainmaster и BESHENEI нравится это.
  19. btr

    btr A-Parser Enterprise License A-Parser Enterprise

    наверное все таки для хакинга? :D
     
  20. antonevi4

    antonevi4 A-Parser Enterprise License A-Parser Enterprise

    Forbidden нравится это.

Поделиться этой страницей