1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2200+ и мы растем!
    Скрыть объявление

Помогите с настройками

Тема в разделе "Техническая поддержка", создана пользователем Peat, 29 апр 2014.

  1. Peat

    Peat A-Parser Pro License
    A-Parser Pro

    Регистрация:
    23 ноя 2013
    Сообщения:
    6
    Симпатии:
    0
    Задача: парсинг вообще всех возможных доменов, без определенных параметров. Нужно спарсить все интернет домены :) Далее я уже там своим софтом работаю.

    Как делаю: беру словарик английских слов, и делаю быстрые таски по 3 слова из словарика. Все по порядку.

    Проблема: первые три дня все было супер, далее парсер мне выдает постоянные дубли. Уже недели три паршу а уникальных доменов только 20млн. Могу неделю парсить - потом вычищаю по доменам и получается уникальных только 1млн.

    Как быть? И можно как то это полностью автоматизировать? Вбить весь словарик и потом просто забирать раз в день файл с результатами?
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.305
    Симпатии:
    1.771
    конечно можно - просто добавить задание через Add task указав файл с запросами и выбрав уник по домену
     
  3. Peat

    Peat A-Parser Pro License
    A-Parser Pro

    Регистрация:
    23 ноя 2013
    Сообщения:
    6
    Симпатии:
    0
    Не совсем уверен что правильно указываю уник по домену. Запостите сюда пожалуйста картинку с настройками.
    И как он будет записывать файлы с результатами? Парсер берет один запрос из общего файла и пишет все результаты в отдельный файл?
    Второй запрос = второй файл?
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.305
    Симпатии:
    1.771
    все в один файл естественно, парсер может обрабатывать сотни миллионов запросов, не будет же он создавать столько же файлов :)
    хотя для определенных ситуаций это нужно, и это можно сделать указав нужный формат в Result file name

    скрин настроек уника:
    [​IMG]
     
  5. Peat

    Peat A-Parser Pro License
    A-Parser Pro

    Регистрация:
    23 ноя 2013
    Сообщения:
    6
    Симпатии:
    0
    Я извиняюсь, но не совсем понял как это настроить в Result file name.
    Нужно чтоб парсер работал ежедневно, без перерывов.
    Названия файлов - {date}.txt
    т.е. в месяц будет 31 файл (или 30, или 28:)

    Каждый день - новый файл и уникальными доменами.
    Спасибо.
     
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.305
    Симпатии:
    1.771
  7. Peat

    Peat A-Parser Pro License
    A-Parser Pro

    Регистрация:
    23 ноя 2013
    Сообщения:
    6
    Симпатии:
    0
    о господи. Хорошо, а как то проще можно сделать? Пофиг, пусть называется как угодно, просто
    чтоб не писал в один файл, а периодически создавал новые.. А то один же разрастется до неимоверных размеров.
     
  8. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.305
    Симпатии:
    1.771
    куда уж проще когда дают конкретный ответ на пожелание? :)
    скопируй да вставь)
     
  9. Peat

    Peat A-Parser Pro License
    A-Parser Pro

    Регистрация:
    23 ноя 2013
    Сообщения:
    6
    Симпатии:
    0
    "Куда уж проще" это видимо для тех кто хотя бы на паскале может вывести hello world, а я даже этого не могу :)))
     
  10. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.305
    Симпатии:
    1.771
    какой паскаль? о чем речь вообще? форматирование имени файла в зависимости от текущей даты - это сложный функционал, тем не менее он присутствует и даже позволяет очень гибко это делать, как в данном примере - только по дням
    был предоставлен полный формат который надо просто выделить, скопировать и вставить в нужное поле...
     
    #10 Forbidden, 3 май 2014
    Последнее редактирование: 3 май 2014
  11. coffee

    coffee A-Parser Pro License
    A-Parser Pro

    Регистрация:
    27 сен 2012
    Сообщения:
    33
    Симпатии:
    24
    вроде так надо тебе делать
    [​IMG]
    + те настроки которые выше , теперь если ты удалиш задание потом опять запустиш то дублей не будет
     
  12. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.305
    Симпатии:
    1.771
    Советую внимательно читать топик и не вводить людей в заблуждение
    Правильный ответ уже был дан
     
  13. Syrex

    Syrex A-Parser Pro License
    A-Parser Pro

    Регистрация:
    27 дек 2013
    Сообщения:
    51
    Симпатии:
    11
    По поводу сохранения файла..
    Как сделать, что бы он сохранял файл с таким же именем, как имя того файла с которого он брал запросы?

    С этим разобрался - ${queriesfile}
    Но шаблонизатор берет не просто имя файла, а и его путь. Соотственно сохраняет так же. Можно как то брать только имя файла?
     
    #13 Syrex, 16 май 2014
    Последнее редактирование: 16 май 2014
  14. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.305
    Симпатии:
    1.771
    Необходимо воспользоваться возможностями шаблонизатора:
    [​IMG]

    Разделяем путь через разделитель / и выводим последнюю часть(имя файла)
     
    Syrex нравится это.

Поделиться этой страницей