1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Пресет Собираем 1.65 миллиона email со страниц контактов за 2.5 часа 1.0

Собираем 1.65 миллиона email со страниц контактов за 2.5 часа

  1. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Если нужно парсить текстовку, то это можно делать с помощью HTML::TextExtractor HTML::TextExtractor. В данном случае будет собираться весь текст из указанных страниц по заданным настройкам. CMS значения не имеет.
    А если нужно целенаправленно парсить именно статьи, то под каждый сайт нужно индивидуально составлять пресет (обычно на основе Net::HTTP Net::HTTP) и регулярными выражениями (функция Parse custom result) забирать только нужную информацию. CMS в данном случае тоже значения не имеет.
     
  2. fri-lancer

    fri-lancer A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 апр 2014
    Сообщения:
    89
    Симпатии:
    7
    а можно ли как то с адресами почт также сохранить и урл домена с которого спарсили почту?
     
  3. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Можно. Просто измените формат результата на такой:
    Код:
    $p1.mails.format('$query;$mail\n')
    А если нужно только домен, а не ссылку, то добавьте Конструктор результатов, им из запроса извлекайте домен и выводите его:
    Код:
    $p1.mails.format('$domain;$mail\n')
     
    Apples1 и fri-lancer нравится это.
  4. fri-lancer

    fri-lancer A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 апр 2014
    Сообщения:
    89
    Симпатии:
    7
    Еще вопросик, а можно потом эти почты проверить на валидность? Типо как программа mail list validator.
     
  5. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Универсально - пока что нет. А так, можно под каждый почтовый домен попробовать сделать кастомные парсеры.
     
  6. fri-lancer

    fri-lancer A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 апр 2014
    Сообщения:
    89
    Симпатии:
    7
    а можно пример допустим под mail.ru?
     
  7. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Это не так просто)
    Нужно проанализировать разные способы... Например, проверка имени при регистрации. И если так сработает - делать пресет с такой проверкой.
     
  8. fri-lancer

    fri-lancer A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 апр 2014
    Сообщения:
    89
    Симпатии:
    7
    понятно
     
  9. vadim4uk

    vadim4uk A-Parser Pro License
    A-Parser Pro

    Регистрация:
    12 май 2017
    Сообщения:
    32
    Симпатии:
    4
    А если мне нужно собрать ссылки с определенным ключём в тайтле, я могу как ключевое слово использовать "фитнес клуб+контакты"?
     
  10. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Да, можете. Также можно воспользоваться поисковыми операторами Гугла, например intitle:
     
    vadim4uk нравится это.
  11. vadim4uk

    vadim4uk A-Parser Pro License
    A-Parser Pro

    Регистрация:
    12 май 2017
    Сообщения:
    32
    Симпатии:
    4
    Отлично спасибо!
     
    Support нравится это.
  12. vadim4uk

    vadim4uk A-Parser Pro License
    A-Parser Pro

    Регистрация:
    12 май 2017
    Сообщения:
    32
    Симпатии:
    4
    А можно несколько поисковых запросов за раз использовать, типа, каждый с новой строчки?
     
  13. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Конечно, разве что-то мешает?
     
    vadim4uk нравится это.
  14. vadim4uk

    vadim4uk A-Parser Pro License
    A-Parser Pro

    Регистрация:
    12 май 2017
    Сообщения:
    32
    Симпатии:
    4
    Ясно , спасибо!
     
  15. WarGuss

    WarGuss A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 фев 2015
    Сообщения:
    5
    Симпатии:
    0
    Подскажите пожалуйста, может кто выложит пример как сделать сортировку собранных e-mail (mail, yandex, gmail ... и т.д )? заранее благодарен!
     
    #35 WarGuss, 16 ноя 2017
    Последнее редактирование: 16 ноя 2017
  16. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Как вариант, можно извлекать с помощью регулярного выражения домены из полученных мейлов и сохранять их вместе с самими мейлами в таблицу. А после окончания парсинга, отсортировать в Экселе.
     
  17. WarGuss

    WarGuss A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 фев 2015
    Сообщения:
    5
    Симпатии:
    0
    Спасибо за подсказку, уже нашел решение.
     
  18. Vvtex

    Vvtex A-Parser Pro License
    A-Parser Pro

    Регистрация:
    9 окт 2017
    Сообщения:
    124
    Симпатии:
    24
    https://www.job-mo.ru/vac3245371.html вот ссылка как в ней открыть "Показать электронную почту" и спарсить почту?
     
    #38 Vvtex, 8 июл 2018
    Последнее редактирование модератором: 9 июл 2018
  19. Support Денис

    Support Денис A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 июн 2017
    Сообщения:
    586
    Симпатии:
    185
    Здравствуйте. Вам нужно сэмулировать этот запрос.
    [​IMG]
    В ответе прийдет email. Сделать это можно либо с помощью Net::HTTP Net::HTTP, либо JS парсеров
     
  20. Vvtex

    Vvtex A-Parser Pro License
    A-Parser Pro

    Регистрация:
    9 окт 2017
    Сообщения:
    124
    Симпатии:
    24
    Понятно, покажите пример эмуляции запроса через Net::HTTP Net::HTTP.
     

Поделиться этой страницей