1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2200+ и мы растем!
    Скрыть объявление

Улучшение Web archive

Тема в разделе "Закрытые без версии", создана пользователем Advice, 19 авг 2015.

  1. Advice

    Advice A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 май 2015
    Сообщения:
    11
    Симпатии:
    0
    Приветствую, прошу поправить парсер веб архива, вылазит много ошибок, писал в поддержку, ответили что скорее всего это из-за того, что сайты в веб архиве отсутствуют. В чекере алексы такой проблемы нету, а тут получается ложные срабатывания.
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.296
    Симпатии:
    1.764
    можно пример?
     
  3. Advice

    Advice A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 май 2015
    Сообщения:
    11
    Симпатии:
    0
    Чего конкретно?Отработанного задания или же доменов, у которых бьет ошибки?
    Если же доменов, могу скинуть тестовый список, ошибок там будет под 50%.
     
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.568
    Симпатии:
    1.890
    Advice имеет в виду, что те сайты, которых нету в Вебархиве, при парсинге попадают в неудачные. А лучше было бы, если бы они выводились в результат с пометкой типа not found.
     
  5. Advice

    Advice A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 май 2015
    Сообщения:
    11
    Симпатии:
    0
    Да-да, именно. Только поправка, я чекаю в вебархиве данные $times, было бы неплохо, если бы сайты, которые отсутствуют в веб архиве просто имели значение $times равное нулю.
     
  6. Amigos

    Amigos A-Parser Pro License
    A-Parser Pro

    Регистрация:
    30 июл 2015
    Сообщения:
    1
    Симпатии:
    0
    ТС непротив спрошу здесь же, по теме.. тоже занимаюсь с вебархивом, задумал поступить так: сначала прочекать ссылки на ответ сервера(если 404 - то гуд), после по вебархиву прогуляться... запарка на записи результата для "если 404 - то гуд", в настройках выбрал всё что нужно, а вот результат составить не выходит... как необходимо составить result format, чтобы в итоговом списке были только урлы с 404-ой? Спасибо за помощь
     
  7. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.568
    Симпатии:
    1.890
    В Каталоге примеров есть ответ.
    Вот он. Только 200 на 404 замените.
     
  8. Advice

    Advice A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 май 2015
    Сообщения:
    11
    Симпатии:
    0
    Вот скрин работающего задания на чек веб архива:
    [​IMG]
    Это в 50 потоков, прокси ваши.
    Повторюсь, алексу чекаю, ошибок нету даже без прокси, несмотря на то, что алексу из нескольких тысяч доменов имеют только пару сотен.
    Вот домены, которые попали в неудачные:
    cgrxmedics.ru
    cglfmedics.ru
    cgnomedics.ru
    cgrfmedics.ru
    cgmimedics.ru
    cs-monster.ru
    companyarm.ru
    cglymedics.ru
    cgoqmedics.ru
    carwash163.ru
    cgpymedics.ru
    cgoimedics.ru
    cgkwmedics.ru
    comp-kurci.ru
    cafeostrov.ru
    context007.ru
    card2sharp.ru
    cgqomedics.ru
    cgngmedics.ru
    doka-color.ru
    cgsqmedics.ru
    creew-auto.ru
    cgnymedics.ru
    capital-gr.ru
    case4nexus.ru
    collectyou.ru
    detbigshop.ru
    diz-kurses.ru
    cubeworldi.ru
    cargearapp.ru
    designkurc.ru
    domologika.ru
    doktorauto.ru
    devchata24.ru
    cgqwmedics.ru
    egibmedics.ru
    creative63.ru
    egjpmedics.ru
    cgqgmedics.ru
    egkxmedics.ru
    colibri075.ru
    cit-proekt.ru
    cafe-muine.ru
    ecoplast72.ru
    elisavetta.ru
    eglvmedics.ru
    cgpbmedics.ru
    egiymedics.ru
    dendy-shop.ru
    ekologia-c.ru
    emeleyanov.ru
    domzdravia.ru
    cars-japan.ru
    cgromedics.ru
    creditkaru.ru
    forumblog1.ru
    centerdiod.ru
    fentastika.ru
    floringold.ru
    female-mag.ru
    fssprus045.ru
    egjhmedics.ru
    fssprus034.ru
    fairoption.ru
    fire-black.ru
    cglpmedics.ru
    effectnano.ru
    heikkinen.ru
    fssprus023.ru
    evanescent.ru
    foryoukids.ru
    cgpmmedics.ru
    egljmedics.ru
    gyry-kino.ru
    happy-ice.ru
    head-hunt.ru
    fbyxsjqjnq.ru
    egjxmedics.ru
    iconoteka.ru
    endorfin74.ru
    h-islands.ru
    hdwpapers.ru
    cgmxmedics.ru
    hp-scitex.ru
    egkjmedics.ru
    image4men.ru
    iddastyle.ru
    k-kapital.ru
    driver-lab.ru
    hydro-eng.ru
    gshop4you.ru
    jumptag-5.ru
    fssprus027.ru
    i-watches.ru
    infobiz82.ru
    dostavka63.ru
    kabenergo.ru
    khomutovo.ru
    jkhregion.ru
    kamin-eco.ru
    inlight-m.ru
    jwerli-3d.ru
    kingdoner.ru
    gritstone.ru
    iwan-chai.ru
    kanceller.ru
    kvazarnsk.ru
    italkamin.ru
    driver-pak.ru
    koduspexa.ru
    karinskiy.ru
    kupi-good.ru
    langcount.ru
    hampi-art.ru
    koptyaevo.ru
    kolokolok.ru
    la-lamore.ru
    licoyouth.ru
    cube3world.ru
    kulina-ru.ru
    kenigtour.ru
    lumus-opt.ru
    kolycheva.ru
    lottobank.ru
    candynailz.ru
    kupi-mind.ru
    lediforum.ru
    jbi3zavod.ru
    just-duet.ru
    lush-shop.ru
    lu-design.ru
    medicbxrr.ru
    m-website.ru
    loadgifts.ru
    medicafbi.ru
    market134.ru
    deconsilio.ru
    medicckjk.ru
    medicatxi.ru
    mctracker.ru
    mediccifv.ru
    medicelyk.ru
    medicamet.ru
    mediccqpv.ru
    mediccxif.ru
    medicekzj.ru
    medicibxb.ru
    medicdpsn.ru
    medicdmui.ru
    medicfodb.ru
    medicdzor.ru
    medicdskn.ru
    medichelt.ru
    medicelpc.ru
    ecatalogue.ru
    limithits.ru
    medicfjke.ru
    medicablp.ru
    evloevalex.ru
    medichrvn.ru
    medichztt.ru
    eventorika.ru
    medicgutm.ru
    medicgsyy.ru
    medicbigu.ru
    medicgrky.ru
    shev-povar.ru
    sezaruseco.ru
    smartfonit.ru
    medicfalb.ru
    shock-ware.ru
    sokkia-b40.ru
    small-mart.ru
    mediceenj.ru
    medicfpnm.ru
    studio-vii.ru
    sizeplusxl.ru
    stillkuhni.ru
    simplyshop.ru
    skbodycare.ru
    starbuzz59.ru
    spps-yamal.ru
    sulet-more.ru
    steam-accs.ru
    star-sales.ru
    lust-chat.ru
    stalin-wow.ru
    svpartner3.ru
    sibremont5.ru
    info-part.ru
    siennaplay.ru
    kovka-lip.ru
    shopnewspb.ru
    tandemgold.ru
    shope-hose.ru
    sxgoroskop.ru
    sportarhiv.ru
    sp0rt-life.ru
    shkolamoda.ru
    steamkey24.ru
    techno-dog.ru
    terpogosov.ru
    south-beat.ru
    sspcallapi.ru
    ufa-estate.ru
    tkrazvitie.ru
    thisplease.ru
    info-mind.ru
    uchastokmo.ru
    studio-108.ru
    sushilasty.ru
    trenikhina.ru
    skygravity.ru
    tothepoint.ru
    ventis-spb.ru
    usajournal.ru
    vip-lambre.ru
    ussurtaiga.ru
    vektorstan.ru
    sprintbank.ru
    umionelove.ru
    vtecgarage.ru
    lifevnete.ru
    ypsmoeqpql.ru
    manyhouse.ru
    w-traveler.ru
    wedding-iv.ru
    your-linux.ru
    wdsexpress.ru
    valgus-lux.ru
    woollencat.ru
    uralklimat.ru
    xxxhotline.ru
    yur-profit.ru
    vip-avto45.ru
    10aromatov.ru
    32-bryansk.ru
    wellaoptom.ru
    medicbwpr.ru
    wohler-vis.ru
    abcwebmedia.ru
    yarpersona.ru
    1prostobiz.ru
    wheelroads.ru
    zhkhregion.ru
    24zdorovie.ru
    zhizni-rad.ru
    aircom-gree.ru
    tpp-invest.ru
    artmarket28.ru
    asstroibrig.ru
    atlan-mebel.ru
    annastepany.ru
    aquatech-co.ru
    applebazaar.ru
    astrasender.ru
    arendasibir.ru
    umnyj-blog.ru
    artpractika.ru
    antimebel56.ru
    avtoshina61.ru
    apricotplay.ru
    audioshutki.ru
    blokpost-74.ru
    sistemprof.ru
    bet1company.ru
    bananabikes.ru
    tlight-spb.ru
    anonim-shop.ru
    bastroyserv.ru
    awesomebust.ru
    vertikal63.ru
    alfreyschik.ru
    bigfinances.ru
    autokirov43.ru
    spain-kurs.ru
    box-telefon.ru
    bizneskurci.ru
    bananacraft.ru
    big-monitor.ru
    centrsem-ya.ru
    belarusavto.ru
    buick-parts.ru
    charliehome.ru
    alexvoronov.ru
    anglichanin.ru
    centrdevita.ru
    centrshitya.ru
    carouselhit.ru
    cioccobello.ru
    doktorlinza.ru
    talkcoffee.ru
    design4nail.ru
    downloadscs.ru
    enter-web-1.ru
    computation.ru
    dharmamarga.ru
    times2come.ru
    enter-web-5.ru
    adaxawerata.ru
    enter-web-4.ru
    enter-web-7.ru
    e-electrics.ru
    4u-vivasan.ru
    enter-web-3.ru
    elektrokidz.ru
    csdownloads.ru
    bloodthrone.ru
    cardan-avto.ru
    enter-web-9.ru
    enter-web-6.ru
    1strannnik.ru
    water-skis.ru
    coogi.ru
    completepro.ru
    statusblog.ru
    1goldline1.ru
    creative-nn.ru
    dumes.ru
    ds100.ru
    yug-rabota.ru
    dsshk.ru
    comp-kurses.ru
    energykines.ru
    europrodzel.ru
    cps-v.ru
    cubeworld-x.ru
    g-pub.ru
    ecsec.ru
    dm-interior.ru
    dirsi.ru
    e-edu.ru
    flatterland.ru
    context-007.ru
    dvb29.ru
    curs1.ru
    ee-tv.ru
    edbox.ru
    ftglb.ru
    eunis.ru
    duwul.ru
    ffoff.ru
    gora2.ru
    iq700.ru
    iarts.ru
    funii.ru
    gabun.ru
    iixpo.ru
    gokco.ru
    el-el.ru
    ithku.ru
    fab74.ru
    iulen.ru
    jukas.ru
    duknv.ru
    l0add.ru
    i-nox.ru
    gurun.ru
    janit.ru
    km-ss.ru
    ishit.ru
    layed.ru
    duknn.ru
    nppfs.ru
    keyfa.ru
    macin.ru
    chiptronika.ru
    mjk-4.ru
    lesoz.ru
    mokso.ru
    enter-web-8.ru
    nisrf.ru
    malvi.ru
    mjn64.ru
    mokoo.ru
    mb-up.ru
    ggtyu.ru
    mts18.ru
    odump.ru
    ds198.ru
    dveri-teplo.ru
    demyanovich.ru
    orimy.ru
    osehb.ru
    royle.ru
    pu-93.ru
    mocat.ru
    samyj.ru
    pbc47.ru
    magistrparty.ru
    medicalforce.ru
    siori.ru
    miraclestyle.ru
    ori73.ru
    rus15.ru
    consult2biz.ru
    mkpch.ru
    poxes.ru
    brestmetall.ru
    rcppe.ru
    montag-doors.ru
    megamir-expo.ru
    bolt-trofey.ru
    scx10.ru
    cityminibus.ru
    managerkursi.ru
    master-mayki.ru
    qtcar.ru
    ddk43.ru
    master-kurci.ru
    designkurci.ru
    oorvb.ru
    saekb.ru
    lsi48.ru
    molodostsale.ru
    kidii.ru
    kub36.ru
    ria-s.ru
    phyma.ru
    girma.ru
    megascripter.ru
    imsda.ru
    masterkurses.ru
    ruvin.ru
    managerkurci.ru
    nofia.ru
    nelidovo-sat.ru
    myfurby-boom.ru
    mitrecompany.ru
    odejda-shmot.ru
    promindhouse.ru

    Если руками прочекать, то можно увидеть, что их просто нету в веб архиве, поэтому они и летят в неудачные запросы.
     
  9. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.296
    Симпатии:
    1.764
    судя по всему ошибка была исправлена в одной из предыдущих версий
     

Поделиться этой страницей