1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

А-Парсер и Пандора!

Тема в разделе "Трёп", создана пользователем Topper, 23 апр 2015.

Статус темы:
Закрыта.
Страница 15 из 22
  1. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Значит небольшая проблемка образовалась.. Миграция все же нужна получается.. Как минимум для bigve
     
    #281 Topper, 21 апр 2016
  2. Антон

    Антон A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 июл 2013
    Сообщения:
    31
    Симпатии:
    9
    Миграция была бы предпочтительнее.
     
    #282 Антон, 21 апр 2016
  3. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    LinkAParser v2.5:

    Изменено хранение текста, добавлена утилита миграции данных
    Добавлена возможность указать минимальную длину статьи
    Добавлены макросы {APIMAGE}, {APLIMAGE} - вывод картинки если существует
    Добавлен макрос [APSNIPMIX-3] - взять 3 случайных снипета
    Фиксы и доработки

    Для перехода:
    1. Сделать миграцию(закладка Инструменты) или почистить папку текстов
    2. Обновить макросы

    Скачать
     
    #283 Topper, 22 апр 2016
    Последнее редактирование: 23 апр 2016
    Spider, btr, Sobesednic и 2 другим нравится это.
  4. Force68

    Force68 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 фев 2013
    Сообщения:
    175
    Симпатии:
    49
    Topper, сенкс, счас затестим, а "минимальная длинна блока текста" - это как и в чем считается?
     
    #284 Force68, 22 апр 2016
  5. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Каждый сайт дает статью, вот длина статьи с сайта после чистки.
    Чтобы не было очень коротких статей. Считается в буквах с учетом пробелов и прочих символов.
     
    #285 Topper, 22 апр 2016
    List нравится это.
  6. Force68

    Force68 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 фев 2013
    Сообщения:
    175
    Симпатии:
    49
    ок, ясно.
     
    #286 Force68, 22 апр 2016
  7. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Кстати, друзья.

    Кто-то спрашивал как фильтрануть ссылки при парсинге.
    Чтобы некоторые домены исключить.

    Вот так:

    [​IMG]

    И таким макаром можно вписать много исключений, все они будут проверятся вместе.
    То есть только если урл не содержит первую строчку и вторую и еще сколько добавите, то урл пойдет потом на парсинг текста
     
    #287 Topper, 22 апр 2016
    kashim и Force68 нравится это.
  8. Alex

    Alex A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    29 апр 2014
    Сообщения:
    35
    Симпатии:
    9
    @Topper, а пресеты в апарсере не нужно заменять новыми?
     
    #288 Alex, 22 апр 2016
  9. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Нет, пресеты в этот раз не затронуты. Разве что вот как я выше написал можете подправить фильтрацию некоторых доменов.
     
    #289 Topper, 22 апр 2016
    btr и Alex нравится это.
  10. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    198
    Симпатии:
    116
    Кто уже опробовал, отпишитесь.
    А то у меня пакетка с перелинковкой длинная генерится, еще денек будет работать =(
     
    #290 btr, 23 апр 2016
  11. Force68

    Force68 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 фев 2013
    Сообщения:
    175
    Симпатии:
    49
    Вроде работает всё, единственное конвертацию не тестил. И да, иногда в файлах с текстовкой после чистки присутствуют пустые строки между блоками с текстом, незнаю насколько это критично и было ли так раньше, а так всё гут. Отдельное спасибо за новую фишку с возможностью указать минимальный размер текста.
     
    #291 Force68, 23 апр 2016
    Последнее редактирование: 23 апр 2016
  12. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    198
    Симпатии:
    116
    Force68 а по скорости как? лучше стало?
     
    #292 btr, 23 апр 2016
  13. Force68

    Force68 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 фев 2013
    Сообщения:
    175
    Симпатии:
    49
    22.04.16 22:17:50 - [TXT] Сохранено файлов: 751 -- начало чистки и сохранения блока текста из 3к ключей,
    ..........
    Конец работы:
    22.04.16 23:22:04 - [TXT] Тайтлов успешно сохранено: 2742
    22.04.16 23:22:05 - [TXT] Осталось ключей: 135, успешно сохранено: 2765
     
    #293 Force68, 23 апр 2016
  14. Антон

    Антон A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 июл 2013
    Сообщения:
    31
    Симпатии:
    9
    Я думаю, что разница в скорости должна быть при генерации. Особенно, когда контента закешировано до хрена.
     
    #294 Антон, 23 апр 2016
  15. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Это я пофисил и перезалил. Хотя это и не было критично.
    Кстати кнопку массовой чистки я cделал по заказу dslash, это он ее профинансировал.
     
    #295 Topper, 23 апр 2016
    Force68 нравится это.
  16. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Кстати, если создать в папке пандоры файл "LinkAParser.Restart.bat" с содержимым:
    Код:
    REM Поправить пути не забудьте )
taskkill /IM aparser.exe /F
start "" /D"c:\aparser" "c:\aparser\aparser.exe"
    То LAP будет запускать незапущенный апарсер или перезапускать зависший апарсер.
    Этот метод работает только на винде и только если апарсер стоит на том же компе, где и пандора
     
    #296 Topper, 23 апр 2016
    HoneyMoney, Alex, Sobesednic и ещё 1-му нравится это.
  17. Sobesednic

    Sobesednic A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 сен 2014
    Сообщения:
    44
    Симпатии:
    14
    "LinkAParser.Restart.bat" работает отлично, проверено :)
     
    #297 Sobesednic, 23 апр 2016
  18. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Еще небольшой момент по тайтлам.

    В версии 2.4 была такая доработка:
    Парсинг тайтлов доработан, работает в 2 раза быстрее за счет сокращения числа запросов

    При этом в той версии на закладке пресетов я обновил пример пресета, при этом поменялось его имя: GetTextsAndTitles
    То есть пресет на закладке Текст теперь умеет все делать сам за 1 запрос: и парсить текст и парсить тайтлы.

    После импорта этого обновленного пресета в апарсере появляется диалог для указания имени пресета. По дефолту он там: GetTextsAndTitles

    Далее можно(и нужно) сделать 1 вариант из 2х:
    1. Либо назвать его как как раньше "GetTexts" и перезаписать старый
    2. Либо не переименовывать, оставить GetTextsAndTitles , но тогда в LAP прописать его тут http://i.imgur.com/dhMTcRa.png
     
    #298 Topper, 23 апр 2016
  19. Alex

    Alex A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    29 апр 2014
    Сообщения:
    35
    Симпатии:
    9
    Отпишусь по скорости:
    Прошлая версия, дор 20к стр. парсинг текста и тайтлов: 131 мин.
    На текущей версии с теми же параметрами: 114 мин.
    Это без генерации, только работа лап.
    В итоге 17 минут прибавки - это гуд!
     
    #299 Alex, 23 апр 2016
    btr и Topper нравится это.
  20. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    LAP 2.5.1

    Настройка потоков вынесена в интерфейс LinkAParser - более простая настройка потоков.

    Ничего кроме .exe файла обновлять не нужно.

    Скачать

    Что поменялось:
    [​IMG]

    Если идея хорошая, то отлично. Если плохая по какой-то причине(по какой?), то могу вернуть как было (были названия конфигов потоков).

    Жду комментариев.
     
    #300 Topper, 23 апр 2016
    Последнее редактирование: 23 апр 2016
    Антон нравится это.
Страница 15 из 22
Статус темы:
Закрыта.

Поделиться этой страницей