Улучшение Rank::Bukvarix::Domain падает на больших сайтах при выгрузке 1 млн строк

  • Автор темы Автор темы wildaks
  • Дата начала Дата начала

wildaks

A-Parser Enterprise License
A-Parser Enterprise
Недавно делалась задача по модификации данного парсера https://a-parser.com/threads/18539/ . Сейчас парсеру можно подать на вход 1 000 000 строк на выгрузку, но он падает даже при работе в 1 поток.

Примеры сайтов на которых падал:
wildberries.ru
ozon.ru
lamoda.ru

В логах ошибка:
Apr 17 14:47:08.87763 [master] A-Parser v1.2.3304-windows-x64 started, tasks: 0 / 0, memory total: 51198 MB, available: 43123 MB
Use of uninitialized value in string eq at build/core.to_build.pl line 8040.
Apr 17 14:48:54.66616 [master] starting task #1238 threads: 1
IO error: config/unique/1238/000003.log Append: cannot write at build/core.to_build.pl line 8232.
 
Назад
Верх