1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

А-Парсер и Пандора!

Тема в разделе "Трёп", создана пользователем Topper, 23 апр 2015.

Статус темы:
Закрыта.
Страница 7 из 22
  1. Apalon

    Apalon A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    31 июл 2015
    Сообщения:
    20
    Симпатии:
    2
    NU esli Dlea DOROV CMS ne printipialna to mojna i DLE no Lutse WP tamnoga Seo plaginov Uje
     
    #121 Apalon, 19 окт 2015
  2. Force68

    Force68 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 фев 2013
    Сообщения:
    175
    Симпатии:
    49
    а ты думаешь что эти сэо плагины каким то чудесным образом будут работать на шаблоне после конвертации? :)
     
    #122 Force68, 19 окт 2015
    Topper нравится это.
  3. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Хорошо, я подумаю над тем как реализовать такой конвертер.
    Не хотите пандору купить для начала?
     
    #123 Topper, 19 окт 2015
  4. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    ап LinkAParser 1.9
    Реализован обмен файлами с парсером через sftp. Пример : sftp://user:п[email protected]/aparser/
    В этом режиме кроме того что обмен идет по sftp еще выполняется удаленная упаковка файлов на стороне сервера, что повышает время скачивания в несколько раз.
    На каждый тип парсинга выделен отдельный конект к ftp/sftp - конект стабильнее
    В лог информация пишется более детально, добавлен вывод прогресса скачивания
    Прочие багофиксы и оптимизация
    п.с. если не знаете есть ли у вас sftp, то посмотрите инфу от хостера. Если там есть SSH то и sftp будет.
     
    #124 Topper, 30 окт 2015
    Последнее редактирование: 30 окт 2015
    Force68 и List нравится это.
  5. List

    List A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    1 май 2015
    Сообщения:
    11
    Симпатии:
    6
    Topper, спасибо большое за обнову !
    Вопросик немного не по теме. Можно ли в MultiLoader добавить заливку по sftp ? как правило на своих серверах ftp не использую.
     
    #125 List, 30 окт 2015
    btr нравится это.
  6. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    Перечитал тему так и не понял чем закончился разговор по поводу картинок. Может последняя версия скачивать картинки локально или только ссылки на другие сайты ставит?
     
    #126 sergeda, 18 дек 2015
  7. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Закончилось тем что я сделал новый макрос APLIMAGE
    который делает ссылки локальными не выкачивая их через mod_rewrite
    Урлы на картинки будут вида
    <img src="pic-img12.nnm.me/0/0/3/f/1/db8a28216862e9a2a6550441efb.jpg" />
    То есть и картинки локальные и выкачивать их не надо
     
    #127 Topper, 18 дек 2015
    zbest нравится это.
  8. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    А что нужно чтоб они работали? Надо будет какой-то php скрипт на каждом доре размещать?
     
    #128 sergeda, 18 дек 2015
  9. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Все скрипты есть в комплекте.
    Чтобы сделать внешние картинки локальными(проксировать) нужно два файла .htaccess и pic.php добавить в папку шаблона,
    а в шаблоне применяем не [APIMAGE] а [APLIMAGE]
     
    #129 Topper, 18 дек 2015
    zbest и sergeda нравится это.
  10. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    Спасибо, будем брать :)
     
    #130 sergeda, 18 дек 2015
  11. kashim

    kashim A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    23 апр 2015
    Сообщения:
    36
    Симпатии:
    12
    @Topper хочется небольшое расширение макроса [APVIDEO]. Я заметил, что тайтлы роликов сохраняются, то почему бы не использовать их, например сделать
    {APVIDEO} <h3>Смотрите ролик: [APVIDEOTITLE]</h3> [APVIDEO] {/APVIDEO}
     
    #131 kashim, 19 дек 2015
    btr нравится это.
  12. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Скачайте обновленную версию модуля. Версия 1.10.
    Там реализовано разделение больших заданий на пачки
    Программа переведена на английский язык
    На ssh команду удаленной архивации установлен таймаут (чтобы не подвисал насмерть на архивации 25гб файлов)
     
    #132 Topper, 19 дек 2015
    btr и Force68 нравится это.
  13. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Держи: http://pastebin.com/auHaB8CZ :)
     
    #133 Topper, 19 дек 2015
    kashim и btr нравится это.
  14. Spider

    Spider A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    8 ноя 2015
    Сообщения:
    4
    Симпатии:
    1
    Ни у кого не возникает проблем когда количество кеев в базе подбирается к 2 лямам? у меня вылетает "запрошенная операция не может быть завершена из-за ограничения файловой системы" жалко удалять то что напарсил уже
     
    #134 Spider, 20 дек 2015
  15. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    #135 Topper, 20 дек 2015
  16. Spider

    Spider A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    8 ноя 2015
    Сообщения:
    4
    Симпатии:
    1
    Спасибо, я тоже гуглил много, но так и не нашел решения. Система w7 x64 с последними обновлениями, а фикс выпускался ещё во времена висты. Сжатие не использую.
    Может есть возможность сделать разбивку папки text на несколько? При достижении скажем 500к вложеных папок в "text" сохранять в "text2"
     
    #136 Spider, 20 дек 2015
  17. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Ну так лимит то не на размер папки, а на диск целиком, не так ли?
    Хотя я ранее о таком не слышал, попробуйте сделать дефрагментацию как там советуют.
     
    #137 Topper, 20 дек 2015
  18. Spider

    Spider A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    8 ноя 2015
    Сообщения:
    4
    Симпатии:
    1
    У ntfs лимит на диск целиком идет и он огромный, а тут другое. Если сохранять в другую папку то всё нормально. Сделаю дефрагментацию
     
    #138 Spider, 20 дек 2015
  19. kashim

    kashim A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    23 апр 2015
    Сообщения:
    36
    Симпатии:
    12
    В строке 35 небольшая ошибка.

    String title = parts[2];
    Заменить на
    String title = parts[1];
     
    #139 kashim, 20 дек 2015
  20. Антон

    Антон A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 июл 2013
    Сообщения:
    31
    Симпатии:
    9
    Очень нужен макрос вставки статьи (статей) целиком!!!
    (с настраиваемым ограничением мин и макс символов. Мало - не генерить по данному ключу, много - обрезать.)
    И альтернативная настройка для пункта 3 - если не удалось спарсить , то не создавать страницу по ключу.
     
    #140 Антон, 28 дек 2015
    EceninPars, List, btr и ещё 1-му нравится это.
Страница 7 из 22
Статус темы:
Закрыта.

Поделиться этой страницей