1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2200+ и мы растем!
    Скрыть объявление

Парсер Парсер Cloudflare Radar 1.1

Парсинг категорий сайтов с radar.cloudflare.com

  1. Support Vlad

    Support Vlad Moderator
    Команда форума A-Parser Enterprise

    Регистрация:
    6 апр 2020
    Сообщения:
    132
    Симпатии:
    34
    Пользователь Support Vlad разместил новый ресурс:

    Парсер Cloudflare Radar - Парсинг категорий сайтов с radar.cloudflare.com

    Узнать больше об этом ресурсе...
     
  2. Jevgenij

    Jevgenij A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    2 янв 2019
    Сообщения:
    10
    Симпатии:
    0
    почему может быть ошибка ?

    Error: Start: JS::Cloudflare::Radar Error: Cannot init Parser: Error: Access to child_process.spawn with arguments /root/aparser/files/node_modules/puppeteer/.local-chromium/linux-818858/chrome-linux/chrome, --disable-background-networking,--enable-features=NetworkService,NetworkServiceInProcess,--disable-background-timer-throttling,--disable-backgrounding-occluded-windows,--disable-breakpad,--disable-client-side-phishing-detection,--disable-component-extensions-with-background-pages,--disable-default-apps,--disable-dev-shm-usage,--disable-extensions,--disable-features=TranslateUI,--disable-hang-monitor,--disable-ipc-flooding-protection,--disable-popup-blocking,--disable-prompt-on-repost,--disable-renderer-backgrounding,--disable-sync,--force-color-profile=srgb,--metrics-recording-only,--no-first-run,--enable-automation,--password-store=basic,--use-mock-keychain,--enable-blink-features=IdleDetection,--headless,--hide-scrollbars,--mute-audio,about:blank,--remote-debugging-port=0,--user-data-dir=/tmp/puppeteer_dev_chrome_profile-rmfp7E, [object Object] is restricted at Object. (evalmachine.:1:5202) at BrowserRunner.start (/root/aparser/files/node_modules/puppeteer/lib/cjs/puppeteer/node/BrowserRunner.js:79:34) at ChromeLauncher.launch (/root/aparser/files/node_modules/puppeteer/lib/cjs/puppeteer/node/Launcher.js:84:16) at async JS_Cloudflare_Radar.init (files/parsers/Cloudflare-Radar/Cloudflare-Radar.js:32:19) at async JS_Cloudflare_Radar.__callParserInit (evalmachine.:1:4438)
     
    #2 Jevgenij, 6 янв 2021
    Последнее редактирование модератором: 6 янв 2021
  3. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.531
    Симпатии:
    1.880
  4. Jevgenij

    Jevgenij A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    2 янв 2019
    Сообщения:
    10
    Симпатии:
    0
    а как это подличить ?)
    Error: Start: JS::Cloudflare::Radar Error: Cannot init Parser: Error: Failed to launch the browser process! [0106/053704.533184:ERROR:zygote_host_impl_linux.cc(90)] Running as root without --no-sandbox is not supported. See https://crbug.com/638180. TROUBLESHOOTING: https://github.com/puppeteer/puppeteer/blob/main/docs/troubleshooting.md at onClose (/root/aparser/files/node_modules/puppeteer/lib/cjs/puppeteer/node/BrowserRunner.js:193:20) at Interface. (/root/aparser/files/node_modules/puppeteer/lib/cjs/puppeteer/node/BrowserRunner.js:183:68) at Interface.emit (events.js:327:22) at Interface.close (readline.js:424:8) at Socket.onend (readline.js:202:10) at Socket.emit (events.js:327:22) at endReadableNT (_stream_readable.js:1327:12) at processTicksAndRejections (internal/process/task_queues.js:99:21)
     
    #4 Jevgenij, 6 янв 2021
    Последнее редактирование модератором: 6 янв 2021
  5. Support Vlad

    Support Vlad Moderator
    Команда форума A-Parser Enterprise

    Регистрация:
    6 апр 2020
    Сообщения:
    132
    Симпатии:
    34
    Запускайте А-Парсер не под рутом.
     
    #5 Support Vlad, 6 янв 2021
    Последнее редактирование модератором: 6 янв 2021
    stive84 нравится это.
  6. Jevgenij

    Jevgenij A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    2 янв 2019
    Сообщения:
    10
    Симпатии:
    0
    теперь такое )

    Error: Start: JS::Cloudflare::Radar Error: Cannot init Parser: Error: Failed to launch the browser process! [0106/061633.610680:FATAL:zygote_host_impl_linux.cc(117)] No usable sandbox! Update your kernel or see https://chromium.googlesource.com/chromium/src/+/master/docs/linux/suid_sandbox_development.md for more information on developing with the SUID sandbox. If you want to live dangerously and need an immediate workaround, you can try using --no-sandbox. #0 0x562d002feb39 base::debug::CollectStackTrace() #1 0x562d002714c3 base::debug::StackTrace::StackTrace() #2 0x562d00281c80 logging::LogMessage::~LogMessage() #3 0x562cfed13f5e content::ZygoteHostImpl::Init() #4 0x562d0021bcf8 content::ContentMainRunnerImpl::Initialize() #5 0x562d00219e0b content::RunContentProcess() #6 0x562d00219f5c content::ContentMain() #7 0x562d0026b3d2 headless::(anonymous namespace)::RunContentMain() #8 0x562d0026b0bc headless::HeadlessShellMain() #9 0x562cfd86ca03 ChromeMain #10 0x7f86adb9d2e1 __libc_start_main #11 0x562cfd86c82a _start Received signal 6 #0 0x562d002feb39 base::debug::CollectStackTrace() #1 0x562d002714c3 base::debug::StackTrace::StackTrace() #2 0x562d002fe6db base::debug::(anonymous namespace)::StackDumpSignalHandler() #3 0x7f86b35490e0 (/lib/x86_64-linux-gnu/libpthread-2.24.so+0x110df) #4 0x7f86adbaffff gsignal #5 0x7f86adbb142a abort #6 0x562d002fd665 base::debug::BreakDebugger() #7 0x562d002820f2 logging::LogMessage::~LogMessage() #8 0x562cfed13f5e content::ZygoteHostImpl::Init() #9 0x562d0021bcf8 content::ContentMainRunnerImpl::Initialize() #10 0x562d00219e0b content::RunContentProcess() #11 0x562d00219f5c content::ContentMain() #12 0x562d0026b3d2 headless::(anonymous namespace)::RunContentMain() #13 0x562d0026b0bc headless::HeadlessShellMain() #14 0x562cfd86ca03 ChromeMain #15 0x7f86adb9d2e1 __libc_start_main #16 0x562cfd86c82a _start r8: 0000000000000000 r9: 00007fffaf359860 r10: 0000000000000008 r11: 0000000000000246 r12: 00007fffaf35ab60 r13: aaaaaaaaaaaaaaaa r14: 00007fffaf35ab70 r15: 00007fffaf35a2f0 di: 0000000000000002 si: 00007fffaf359860 bp: 00007fffaf359aa0 bx: 0000000000000006 dx: 0000000000000000 ax: 0000000000000000 cx: 00007f86adbaffff sp: 00007fffaf3598d8 ip: 00007f86adbaffff efl: 0000000000000246 cgf: 002b000000000033 erf: 0000000000000000 trp: 0000000000000000 msk: 0000000000000000 cr2: 0000000000000000 [end of stack trace] Calling _exit(1). Core file will not be generated. TROUBLESHOOTING: https://github.com/puppeteer/puppeteer/blob/main/docs/troubleshooting.md at onClose (/home/aparserrun/aparser/files/node_modules/puppeteer/lib/cjs/puppeteer/node/BrowserRunner.js:193:20) at Interface. (/home/aparserrun/aparser/files/node_modules/puppeteer/lib/cjs/puppeteer/node/BrowserRunner.js:183:68) at
     
  7. Support Vlad

    Support Vlad Moderator
    Команда форума A-Parser Enterprise

    Регистрация:
    6 апр 2020
    Сообщения:
    132
    Симпатии:
    34
    Выполните из-под рута команду:
    Код:
    sysctl -w kernel.unprivileged_userns_clone=1
     
  8. Ins1d3-n3t

    Ins1d3-n3t A-Parser Pro License
    A-Parser Pro

    Регистрация:
    24 мар 2020
    Сообщения:
    15
    Симпатии:
    2
    Хотел поинтересоваться, а как сделать правильно фильтрацию по категории ? к примеру нужно чтобы в результате были только домены с отфильтрованной определённой категорией, но почему-то корректно фильтр не работает, всё равно выводит домены, но уже без категории name & description.
     
  9. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.531
    Симпатии:
    1.880
    Т.к. список категорий - это массив, то сначала нужно отфильтровать массив на наличие нужной категории, а потом отфильтровать результат по размеру этого массива. Т.е. если в массиве остались нужные категории, то выводим результат.
    [​IMG]

    Подробнее о принципе работы фильтров: https://a-parser.com/wiki/filter/#Особенности-работы
     
  10. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    263
    Симпатии:
    59
    А как прокси менять, чтобы пупитер с разными проксями запросы делал?
     
  11. Support Vlad

    Support Vlad Moderator
    Команда форума A-Parser Enterprise

    Регистрация:
    6 апр 2020
    Сообщения:
    132
    Симпатии:
    34
    Здесь puppeteer используется только для получения необходимых куки в начале парсинга и он работает в принципе без прокси.
    Далее парсер работает с обычными запросами и меняет прокси.
     
  12. Ins1d3-n3t

    Ins1d3-n3t A-Parser Pro License
    A-Parser Pro

    Регистрация:
    24 мар 2020
    Сообщения:
    15
    Симпатии:
    2
    Перестал парсить категории, не выдаёт результат. дальше Getting cookies ничего не происходит
     
    #12 Ins1d3-n3t, 29 апр 2021
    Последнее редактирование: 29 апр 2021
  13. Support Ilia

    Support Ilia Moderator
    Команда форума A-Parser Enterprise

    Регистрация:
    6 апр 2020
    Сообщения:
    131
    Симпатии:
    26
  14. Ins1d3-n3t

    Ins1d3-n3t A-Parser Pro License
    A-Parser Pro

    Регистрация:
    24 мар 2020
    Сообщения:
    15
    Симпатии:
    2
    wuu нравится это.
  15. ozand

    ozand A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    23 ноя 2019
    Сообщения:
    28
    Симпатии:
    8
    надо юзер агент поменять, к примеру на
    Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.99 Safari/537.36

    и будет работать
     

Поделиться этой страницей