Большой опрос: как и для чего вы используете A-Parser?

АПну тему)
Полностью согласен с Support - в применении а-парсера мы ограничены только собственной фантазией и ленью. Хотя… после приобретения софта лени во мне только прибавилось))

Один из моих способов применения – парсинг контента с дропов и создание на этом контенте тематических сайтов – теме уже куча лет, но до сих пор живет и хорошо себя чувствует.

Домены я не чекаю на валидность, а банально беру списки от регистраторов, которые младше 2015года (свежее базы использовать нет смысла, т.к. домены еще не успели проэкспайрится) и сравниваю с сегодняшними списками.
К примеру, если сравнить файлы за апрель 2014 и за 14.04.2017 по зоне .com

Код:

diff --speed-large-files  old.com.txt new.com.txt | grep -E "^<" | sed -e "s/^< //g" > del.com.txt

то на выходе получаем список из более чем 40млн уже удалённых доменов

Раньше использовал Rank::Archive для выявления есть ли сохраненные страницы в archive.org, но последнее время со всем справляется Net::HTTP

Далее определяю язык сайта - в этом мне помогает HTML::TextExtractor::LangDetect
Остается распарсить подходящие домены и пройтись по всем ссылкам для парсинга title & keywords с помощью Net::HTTP
Собственно, всё. Теперь, когда соберусь делать очередной сайт на любую тему, мне не составит труда сделать выборку и найти для него хороший контент на несколько месяцев вперед.
Возможно сумбурно написал, но, думаю, смысл понятен)

 

Странно, что еще не удостоили спам - сообщество, если понимать, что и как и куда нужно ему цены нет, например: для поиска и создания редиректов, собирать мыло конечно интересно, только мЫло само не интересное которое собирается (думаю по мыльным делам это только для начинающих, если впрямую распарсивать) по проксям вообще был клондайк пока не помер сендербейз, точнее пока не переехал - теперь он talos, зная куда и чего запрашивать из паблика можно было тянуть трастовые прокси, вообще много, что можно собрать если знать как и где искать.
Могу сказать, что если есть понимание и знания, то а- парсер под любые задачи подстраивается, очень хороший софт.
Я далеко не все вкусняшки описал (прошу прощения), так как много, что работает на текущий момент, это не стоит всем знать).

 

Всем привет. Подружил А-Парсер с программой 1С для поиска предложений авто-запчастей по своим поставщикам.
Экономит время - не описать словами. А, как все знают, время - деньги.
Наши менеджеры только выбирают интересующую запчасть и буквально за пару минут видят наличие и цены.
Спасибо проекту.

 

Пока только для сбора семантики и баз под хрум, знаю что возможности софта ограничиваются лишь опытом и знаниями пользователя, но вот как раз последнего мне и не хватает))) потихоньку взялся за изучение регулярок, хоть как то начать осваивать...

 

В последнее время использую А-парсер каждый день в работе, причем чем больше появляется знаний, тем нахожу больше вариантов применения А-парсера.

Хочу рассказать об одной истории, которая со мной приключилась.
Так получилось, что меня кинули в сети на парфюм, прислали совсем другой товар, причем поддельный. Перед заказом товара в ИМ, я естественно, проверял отзывы, но по данном домену отзывов негативных не было.
Благодаря а-парсеру, в особенности парсеру Net:NS и предварительно прочеканной для работы базы ру доменов 200 ОК, мне удалось выяснить основные домены ИМ мошенника, далее там оказалось, что не только парфюм, а черная икра и до кроссовок.
Потом удалось мне выяснить, что владелец ИМ вообще находится в федеральном розыске по 3 статьям.
С моей стороны было написана претензия хостеру, сейчас приедет милиция ко мне, которой я передам все нужные данные.
Вот так вот, а-парсер помог доброму делу..

 

Всем Привет,использую А-парсер для сбора ссылок на зарубежные магазины по определенной тематике,после провожу анализ по товаром и делаю свой магазин исходя из потребностей,людей.Очень полезная вещь А-парсер.

 

В очередной раз применили парсер "не по назначению", и хочу снова выразить свою признательность Форби и всей команде за такой потрясающий инструмент.

Много лет пользовались платными тарифами Load Impact, Loader.io и т.п., сервисы классные, но чтобы быстро что-то проверить - это не про них. Вчера возникла задача сравнить производительность сайта при применении определённых фиксов, первая мысль была опять использовать специальные сервисы, но сил продираться через настройку, верификации и конфигурации профилей - не было. И тут возникла идея, ведь у нас есть несколько серверов на *nix с апарсером, которые превосходно создадут любую нужную нагрузку - быстро создался пресет, на 100 потоков, через LinkExtractor, с указанием ограничений на типы страниц, которые не требуется анализировать - и вот у нас по одной кнопке уже функционирует инструмент объективного контроля и нагрузочного тестирования. Все данные как на ладони, средняя скорость, количество провалившихся запросов, коды ответов и т.п. - в общем, меньше чем за час мы проверили всё, что планировали, и что при использовании других сервисов потребовало бы многих часов и не одной сотни долларов.

Спасибо.