Всем привет! Давайте поговорим о том как и для чего вы используете A-Parser, топик будет в формате обмена опыта, каждый рассказывает как A-Parser помогает ему в повседневной работе и/или давно стал главным инструментом в бизнесе. По результатам каждый найдет для себя новые идеи, или узнает о возможностях A-Parser'а о которых и не предполагал Начну с себя и нашей команды: SpySerp.com - сервис бесплатного отслеживания позиций поисковых систем, целиком работает поверх A-Parser Enterprise, на данный момент нам хватает всего 2ух копий парсера запущенных на одном сервере(используются парсеры SE::Google, SE::Yandex, SE::Yandex::Direct::Frequency) Оценка доменов, я веду собственную базу доменов(~10 млн), ищу дропы с хорошими показателями(тут множество парсеров, включая Net::Whois - информация по дате регистрации и экспайра домена, Rank::CMS - узнаем CMS, SE::Google - проверяем индекс, и еще несколько Rank::* парсеров для оценки качества домена) Также парсер используется для сбора всей информации для моего доргена(текст - HTML::TextExtractor, картинки - SE::Google::Images, видео - SE::YouTube, перевод текста - SE::Bing::Translator), для каждой тематики собирается свой набор, достаточно много данных Любая автоматизация ручных действий - собрать однотипные данные с одного или множества сайтов, тут все просто, Net::HTTP + пара регулярок, и результаты уже в файле Еще один интересный кейс по оценке доменов - когда вам уже не хватает точности всяких Alexa, MOZ, Majestic и т.п. то можно сделать свой ранкер, собираем выдачу по довольно большому числу запросов(я собирал 10 млн), запросы общие(например перебор букв-цифр), дальше строим обратный индекс по встречаемости каждого домена в серпе, учитываем также позицию. Чем чаще и выше домен встречается - тем больше у него рейтинг Конечно это малая часть, принимайте активное участие, напишите как используете A-Parser именно вы, и я подкину еще горячих идей
С помощью A-Parser, я сделал несколько крупных интернет магазинов, систематически используем его для обновления количества и стоимости. Для автоматической перебивки цены на торговых площадках. Для выборки и рассчета данных связанных с деятельностью ( eCommerce) и многое другое ) На самом деле A-Parser может заменить команду программистов. Что еще добавить, это лучший софт для торговли и работы с контентом какой только может быть.
Раньше с помощью A-Parser собирал ключевые слова, проверял их по частоте и тд., подбирал дропы. Сейчас же по прямому назначению - парсинг Я наверное пропустил, но какой дорген работает напрямую с апарсером? Или это что то личное?
Для сбора семанта и определения основных словоформ юзаю SE::Yandex::WordStat, SE::Yandex::Suggest, SE::Google::Suggest Для оценки частотки использую SE::Yandex::WordStat Использую HTML::TextExtractor при парсинге крупных проектов + заказывал платный пресет для пробивки кодов ответов, отличных от 200 (использую в основном на крупных проектах, когда screaming frog seo spider не справляется)
Топ 3 у меня Net::HTTP - сбор необходимой инфы с сайтов Net::Whois - проверка на регистрацию домена Rank::CMS - свои регулярки для поиска уникальных движков Пасеры поисковых систем - все используются
От имени всего саппорта могу сказать, что нерешаемых задач для А-Парсера практически нет, есть только мало времени или опыта. Каждый день в поддержку (платную в т.ч.) обращаются клиенты с самыми разнообразными задачами: от парсинга каталогов автомобильных запчастей и интернет-магазинов до оценки сайтов по самым разным критериям и поиска контактов. Из самых интересных задач были парсинг погоды, парсинг анекдотов и парсинг ссылок на сериал из сайта телеканала до его выхода по ТВ. А самые популярные задачи - это парсинг текстовок и ключевых слов.
В целом работаю с А-парсером уже довольно давно. Началось все с того, что когда-то я работал в компании, у которой было довольно много своих сайтов. Был внутренний отдел продвижения и разработки. В один прекрасный момент, поняли, что следить за всеми сайтами вручную очень надоело. Тогда сервисы маркетинговой аналитики были еще не очень развиты. И мы начали думать над тем, как упросить работу. Подразумевалось, что мы должны сделать свою систему, которая умеет парсить Яндекс (выдачу, wordstat, частотность и т.д.) и еще много чего. Поскольку задач парсинга было действительно много, мы решили посмотреть существующие решения на рынке. И в один из таких моментов я и добрался до А-парсера. Основная вещь, которая мне тогда понравилась - наличие API. Почитав про возможности, я понял, что это то, что нужно для нашей задачи. Суть заключалась в том, что мы сделали некоторую надстройку над А-парсером, которая работала с ним через API и с которой взаимодействовали наши пользователи, а парсер выполнял всю "черную" работу. То есть и парсер и система были на отдельном серваке, и там крутились. Получилось нечто, похожее на SpySerp, но там же заморочились за кластеризацию семантики, отслеживание соответствия фактических страниц в выдаче продвигаемым и т.д. Была еще одна задача - необходимо было спарсить довольно много страниц некоторого сайта, вытащить очень много данных, включая изображения, в конечном итоге порядка нескольких десятков тысяч. Немного попарились, но задание составили сами. До этого пробовали парсить через Google Excel, но он просто умирал от количества данных. В общем, решили задачу довольно быстро. Мне нравится, что парсер может очень быстро работать, при наличии нужного количества прокси. Использую его для различных задач, связанных с семантикой, парсингом сайтов различных компаний и других вещей. Недавно выкатили обновление - сейчас можно свои парсеры делать на JS-е, но руки никак не дойдут попробовать. Вообще, хочу запилить, чтобы можно было постить объявления на сайты объявлений автоматом. Должно получиться. Еще, клево то, что прямо в форматировании результата программить можно, правда не все очевидно, и язык специфический, я, все-таки к другим немного привык)) Но если почитать, то в целом понятно. Вообще, конечно, стоит отметить, что по-началу казалось, что парсер сделан программистами для программистов)) Но потом увидел, что люди, не являющиеся программистами тоже нормально справляются, была бы голова на плечах)) Основные парсеры, которые использую: SE::Google, SE::Yandex, SE::Google:osition, SE::Yandex:osition, SE::Yandex::Suggest, SE::Yandex::WordStat, SE::Yandex:irect::Frequency, SE::Yandex::Register, HTML::LinkExtractor, HTML::TextExtractor. И конечно клевая штука - Net::HTTP, особенно, когда XPATH сделали. Такие дела.
Не думали сделать базу пресетов? с возможностью публиковать свои пресеты, допустим есть у меня пресеты которыми мог бы поделиться, думаю не я один такой. Набралась бы достаточно огромна база пресетов готовых, с описанием. Так же можно было бы встроить базу в сам апарсере(это было бы вообще круто). Для нас это очень хороший способ поделиться опытом, для вас я думаю это привлечет новых клиентов.
telefoni ,email,isq,scaip -plius v tom sto Proxy ne nuji -Seas plotno budut ispolizovati dlea Marafona
По больше бы видео где показаны основные функции по работе с а-парсером используется для парсинга ! А то некоторые боятся покупать из за сложности в настройке! А вот и решение
Использую только парсеры на основе Net::Http, 95% из которых сделаны одним человеком, - специалистом платной тех поддержки a-parser. О его квалификации писать не буду, он и сам все прекрасно знает, да и любой кто хоть раз обращался, думаю разделит те исключительно позитивные моменты, при работе с ним Об этом так же может сказать и тот факт, что за год и 2 месяца, сумма, которую я потратил на эти парсеры (сложно сказать кол-во, где-то 150-200 пресетов) почти перевалила $2000. Ни об одном потраченном долларе я не жалею Кстати, чем не повод поощрять таких лояльных клиентов Особенно если они продолжают вкладывать в проект, уже после покупки парсера. Парсеры в основном для сбора информации по форумам, блогам, соц. сетям и сервисам, да и много чего еще. Если у кого-то есть собственные парсеры по этой тематике, или смежной (информация по сайтам, доменам, доски объявлений, сайты резюме и т.д.), а также есть желание поменяться, - пишите в личку (только обмен).
