Универсальный парсер телефонов

Поиск контактов - это довольно частая задача для А-Парсера. На форуме уже есть несколько вариантов решения этой задачи: вот и вот. Но все они рассчитаны только на сбор e-mail. Дело в том, что почты собирать намного проще, т.к. все они имеют один формат записи и поэтому не составляет особого труда написать регулярное выражение для их извлечения. Можно также воспользоваться готовым парсером HTML::EmailExtractor.

А вот со сбором номеров телефонов все намного сложнее. Проблема в том, что для телефонов не существует общепринятого формата записи, из-за чего извлекать их регулярными выражениями становится очень сложно. Но решения все же существуют, и об одном из них мы расскажем ниже.

Речь пойдет о библиотеке Google libphonenumber, а точнее о ее порте libphonenumber-js. Как известно, А-Парсер поддерживает работу с NPM модулями, поэтому мы легко можем использовать такое решение.

Для того, чтобы парсить контакты, нужно сначала собрать ссылки на страницы, с которым впоследствии и будут собираться контакты. Можно делать это по-разному, например как тут, или тут. В рамках данной статьи мы не будем подробно останавливаться на этом и предположим что у нас уже есть список ссылок на нужные страницы.

Для парсинга email со страниц воспользуемся встроенным HTML::EmailExtractor. Создаем простое задание:

Здесь все настройки по-умолчанию, единственное что изменено - это Формат результата:

• Т.к. на странице почты могут дублироваться (и встречается это довольно часто), то нам нужно удалять дубли. Но делать это нужно только в рамках текущего запроса, поэтому обычная уникализация тут не подходит. Решаем это таким шаблоном:
  
  Код:

  mails = {};
  FOREACH item IN p1.mails;
      mails.${item.mail} = 1;
  END;
  mails = mails.keys;

  Результатом этого кода будет массив mails, содержащий только уникальные значения.
• Добавляем вывод ссылки на страницу и найденных почт в CSV. А также делаем проверку на наличие почты (ведь зачем нам в результате просто ссылки без почт?).
  
  Код:

  IF mails.size > 0;
      tools.CSVline(query, mails.join(', '));
  END

Теперь нужно добавить сюда сбор телефонов. Как известно, NPM модули можно использовать в JS парсерах и внутри tools.js. И т.к. мы делаем обычный пресет, то нам отлично подходит второй вариант.

В первую очередь устанавливаем модуль libphonenumber-js (как устанавливать npm модули).
Далее переходим в Инструменты - Редактор JavaScript и добавляем новую функцию (не забываем нажать кнопку Сохранить после добавления):

В этом коде мы импортируем модуль и вызываем его метод findPhoneNumbersInText. А также немного изменяем формируемый результат для удобства работы с ним.

Теперь мы можем обращаться к этой функции из любого места А-Парсера через вызов tools.js.getPhones(). Добавим ее в наш пресет, а точнее в шаблон Формата результата:

• Для телефонов делаем такую же уникализацию, как и для почт.
• Включаем в условие вывода проверку наличия телефонов и добавляем их в вывод.

Часто в тайтлах страниц содержится имя компании, поэтому, для удобства, можно их также парсить и выводить в результат. Тогда можно будет идентифицировать кому принадлежит контакт.

В итоге получается такой пресет:


Вставляем уже имеющийся список ссылок в поле запросов (или выбираем файл с ними), запускаем и получаем такую таблицу:

На этом задача по универсальному парсингу телефонов полностью решена.