1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Подскажите как парсить e-mail

Тема в разделе "Техническая поддержка", создана пользователем vlad, 30 авг 2013.

  1. vlad

    vlad A-Parser Pro License
    A-Parser Pro

    Регистрация:
    16 июл 2013
    Сообщения:
    24
    Симпатии:
    0
    Подскажите как парсить e-mail адреса
     
  2. MuscleM

    MuscleM A-Parser Pro License
    A-Parser Pro

    Регистрация:
    5 май 2013
    Сообщения:
    13
    Симпатии:
    2
    Откуда именно парсить? Как бы конкретнее чтоли.
     
  3. vlad

    vlad A-Parser Pro License
    A-Parser Pro

    Регистрация:
    16 июл 2013
    Сообщения:
    24
    Симпатии:
    0
    есть файл с урлами, ранее прокачанный по гуглу и яндексу.

    надо с этого списка вытянуть все мыла
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
  5. vlad

    vlad A-Parser Pro License
    A-Parser Pro

    Регистрация:
    16 июл 2013
    Сообщения:
    24
    Симпатии:
    0
    спасибо, нащел

    \b([-a-z0-9._%+]+@[a-z0-9.-]+\.[a-z]{2,6})\b
    Флаги: ig


    через какой модуль подскажите пожалуйста и где указывать флаги??

    заранее извините за тупой вопрос
     
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
  7. vlad

    vlad A-Parser Pro License
    A-Parser Pro

    Регистрация:
    16 июл 2013
    Сообщения:
    24
    Симпатии:
    0
    спасибо огромное за оперативность и полный ответ)))

    еще вопрос как быть если емайл с защитой (java)

    Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

    пример

    http://www.budetvisa.com.ua/kontakti
     
  8. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    никак, апарсер не обрабатывает JavaScript
     
  9. vlad

    vlad A-Parser Pro License
    A-Parser Pro

    Регистрация:
    16 июл 2013
    Сообщения:
    24
    Симпатии:
    0
    при парсинге 100 тыс url прога вылетает раза 3-4, как можно это исправить?
     
  10. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    покажи целиком настройки Add task
     
  11. vlad

    vlad A-Parser Pro License
    A-Parser Pro

    Регистрация:
    16 июл 2013
    Сообщения:
    24
    Симпатии:
    0
  12. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    уникализация стоит?
     
  13. vlad

    vlad A-Parser Pro License
    A-Parser Pro

    Регистрация:
    16 июл 2013
    Сообщения:
    24
    Симпатии:
    0
  14. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    после падения не запускай парсер и покажи последние 10 строчек aparser.log и stderr
     
  15. vlad

    vlad A-Parser Pro License
    A-Parser Pro

    Регистрация:
    16 июл 2013
    Сообщения:
    24
    Симпатии:
    0
    Sep 8 22:30:27.60517 parser started
    Sep 8 22:37:23.70523 starting task 1
    Sep 8 22:37:25.84331 using new iterator
    Sep 8 22:37:27.72763 task 1 completed
    Sep 8 23:07:53.46381 starting task 2
    Sep 8 23:07:54.36176 using new iterator
    Sep 8 23:10:09.53501 task 2 paused
    Sep 8 23:10:56.0113 starting task 3
    Sep 8 23:10:56.86953 using new iterator
    Sep 8 23:11:34.12181 task 3 paused
    Sep 8 23:12:19.63214 starting task 4
    Sep 8 23:12:20.58215 using new iterator
    Sep 8 23:20:35.59559 task 4 paused
    Sep 8 23:22:00.62524 force start task 4
    Sep 8 23:22:00.62667 starting task 4
    Sep 8 23:22:01.49386 using existing iterator
    Sep 8 23:32:07.63663 task 4 paused
    Sep 8 23:32:18.34592 force start task 4
    Sep 8 23:32:18.34717 starting task 4
    Sep 8 23:32:19.35884 using existing iterator
    Sep 8 23:32:34.86516 task 4 paused
    Sep 8 23:32:57.89758 force start task 4
    Sep 8 23:32:57.89874 starting task 4
    Sep 8 23:32:58.7464 using existing iterator
    Sep 8 23:36:06.94199 task 4 paused
    Sep 8 23:36:41.63748 force start task 4
    Sep 8 23:36:41.63873 starting task 4
    Sep 8 23:36:42.63396 using existing iterator
    Sep 8 23:37:19.23191 task 4 paused
    Sep 8 23:37:52.72533 force start task 4
    Sep 8 23:37:52.7264 starting task 4
    Sep 8 23:37:53.60407 using existing iterator
    Sep 8 23:38:08.07802 task 4 paused
    Sep 8 23:38:17.53157 force start task 4
    Sep 8 23:38:17.53276 starting task 4
    Sep 8 23:38:18.5066 using existing iterator
    Sep 8 23:38:35.50579 task 4 paused
    Sep 8 23:38:45.74378 force start task 4
    Sep 8 23:38:45.74499 starting task 4
    Sep 8 23:38:46.70664 using existing iterator
    Sep 8 23:39:31.07671 task 4 paused
    Sep 8 23:41:25.02655 force start task 4
    Sep 8 23:41:25.02767 starting task 4
    Sep 8 23:41:25.9344 using existing iterator
    Sep 9 05:10:57.35723 long parsing(0.13433313369751): Net::HTTP::0, query: http://46.4.96.253/sitemap
    Out of memory!
    Sep 9 05:18:50.64125 end called


    stderr - не нащел, где он лежит?
     
  16. vlad

    vlad A-Parser Pro License
    A-Parser Pro

    Регистрация:
    16 июл 2013
    Сообщения:
    24
    Симпатии:
    0
    Вижу Out of memory! 16Gb RAM стоит на сервере
     
  17. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    Под windows парсер не может занят более 1.2-1.8гб памяти, под линуксом в зависимости от лимитов системы, обычно это 4гб

    В любом случае лучше обратиться ко мне и предоставить тимвьювер - посмотрим что не так
     
  18. vlad

    vlad A-Parser Pro License
    A-Parser Pro

    Регистрация:
    16 июл 2013
    Сообщения:
    24
    Симпатии:
    0
    ок когда в следующий раз упадет, отпишу
     
  19. Bran

    Bran A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    31 авг 2013
    Сообщения:
    32
    Симпатии:
    3
    Это можно будет исправить? Хотя-бы в перспективе?
     
  20. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    что именно?
     

Поделиться этой страницей