Приветствую, прошу поправить парсер веб архива, вылазит много ошибок, писал в поддержку, ответили что скорее всего это из-за того, что сайты в веб архиве отсутствуют. В чекере алексы такой проблемы нету, а тут получается ложные срабатывания.
Чего конкретно?Отработанного задания или же доменов, у которых бьет ошибки? Если же доменов, могу скинуть тестовый список, ошибок там будет под 50%.
Advice имеет в виду, что те сайты, которых нету в Вебархиве, при парсинге попадают в неудачные. А лучше было бы, если бы они выводились в результат с пометкой типа not found.
Да-да, именно. Только поправка, я чекаю в вебархиве данные $times, было бы неплохо, если бы сайты, которые отсутствуют в веб архиве просто имели значение $times равное нулю.
ТС непротив спрошу здесь же, по теме.. тоже занимаюсь с вебархивом, задумал поступить так: сначала прочекать ссылки на ответ сервера(если 404 - то гуд), после по вебархиву прогуляться... запарка на записи результата для "если 404 - то гуд", в настройках выбрал всё что нужно, а вот результат составить не выходит... как необходимо составить result format, чтобы в итоговом списке были только урлы с 404-ой? Спасибо за помощь
Вот скрин работающего задания на чек веб архива: Это в 50 потоков, прокси ваши. Повторюсь, алексу чекаю, ошибок нету даже без прокси, несмотря на то, что алексу из нескольких тысяч доменов имеют только пару сотен. Вот домены, которые попали в неудачные: Спойлер cgrxmedics.ru cglfmedics.ru cgnomedics.ru cgrfmedics.ru cgmimedics.ru cs-monster.ru companyarm.ru cglymedics.ru cgoqmedics.ru carwash163.ru cgpymedics.ru cgoimedics.ru cgkwmedics.ru comp-kurci.ru cafeostrov.ru context007.ru card2sharp.ru cgqomedics.ru cgngmedics.ru doka-color.ru cgsqmedics.ru creew-auto.ru cgnymedics.ru capital-gr.ru case4nexus.ru collectyou.ru detbigshop.ru diz-kurses.ru cubeworldi.ru cargearapp.ru designkurc.ru domologika.ru doktorauto.ru devchata24.ru cgqwmedics.ru egibmedics.ru creative63.ru egjpmedics.ru cgqgmedics.ru egkxmedics.ru colibri075.ru cit-proekt.ru cafe-muine.ru ecoplast72.ru elisavetta.ru eglvmedics.ru cgpbmedics.ru egiymedics.ru dendy-shop.ru ekologia-c.ru emeleyanov.ru domzdravia.ru cars-japan.ru cgromedics.ru creditkaru.ru forumblog1.ru centerdiod.ru fentastika.ru floringold.ru female-mag.ru fssprus045.ru egjhmedics.ru fssprus034.ru fairoption.ru fire-black.ru cglpmedics.ru effectnano.ru heikkinen.ru fssprus023.ru evanescent.ru foryoukids.ru cgpmmedics.ru egljmedics.ru gyry-kino.ru happy-ice.ru head-hunt.ru fbyxsjqjnq.ru egjxmedics.ru iconoteka.ru endorfin74.ru h-islands.ru hdwpapers.ru cgmxmedics.ru hp-scitex.ru egkjmedics.ru image4men.ru iddastyle.ru k-kapital.ru driver-lab.ru hydro-eng.ru gshop4you.ru jumptag-5.ru fssprus027.ru i-watches.ru infobiz82.ru dostavka63.ru kabenergo.ru khomutovo.ru jkhregion.ru kamin-eco.ru inlight-m.ru jwerli-3d.ru kingdoner.ru gritstone.ru iwan-chai.ru kanceller.ru kvazarnsk.ru italkamin.ru driver-pak.ru koduspexa.ru karinskiy.ru kupi-good.ru langcount.ru hampi-art.ru koptyaevo.ru kolokolok.ru la-lamore.ru licoyouth.ru cube3world.ru kulina-ru.ru kenigtour.ru lumus-opt.ru kolycheva.ru lottobank.ru candynailz.ru kupi-mind.ru lediforum.ru jbi3zavod.ru just-duet.ru lush-shop.ru lu-design.ru medicbxrr.ru m-website.ru loadgifts.ru medicafbi.ru market134.ru deconsilio.ru medicckjk.ru medicatxi.ru mctracker.ru mediccifv.ru medicelyk.ru medicamet.ru mediccqpv.ru mediccxif.ru medicekzj.ru medicibxb.ru medicdpsn.ru medicdmui.ru medicfodb.ru medicdzor.ru medicdskn.ru medichelt.ru medicelpc.ru ecatalogue.ru limithits.ru medicfjke.ru medicablp.ru evloevalex.ru medichrvn.ru medichztt.ru eventorika.ru medicgutm.ru medicgsyy.ru medicbigu.ru medicgrky.ru shev-povar.ru sezaruseco.ru smartfonit.ru medicfalb.ru shock-ware.ru sokkia-b40.ru small-mart.ru mediceenj.ru medicfpnm.ru studio-vii.ru sizeplusxl.ru stillkuhni.ru simplyshop.ru skbodycare.ru starbuzz59.ru spps-yamal.ru sulet-more.ru steam-accs.ru star-sales.ru lust-chat.ru stalin-wow.ru svpartner3.ru sibremont5.ru info-part.ru siennaplay.ru kovka-lip.ru shopnewspb.ru tandemgold.ru shope-hose.ru sxgoroskop.ru sportarhiv.ru sp0rt-life.ru shkolamoda.ru steamkey24.ru techno-dog.ru terpogosov.ru south-beat.ru sspcallapi.ru ufa-estate.ru tkrazvitie.ru thisplease.ru info-mind.ru uchastokmo.ru studio-108.ru sushilasty.ru trenikhina.ru skygravity.ru tothepoint.ru ventis-spb.ru usajournal.ru vip-lambre.ru ussurtaiga.ru vektorstan.ru sprintbank.ru umionelove.ru vtecgarage.ru lifevnete.ru ypsmoeqpql.ru manyhouse.ru w-traveler.ru wedding-iv.ru your-linux.ru wdsexpress.ru valgus-lux.ru woollencat.ru uralklimat.ru xxxhotline.ru yur-profit.ru vip-avto45.ru 10aromatov.ru 32-bryansk.ru wellaoptom.ru medicbwpr.ru wohler-vis.ru abcwebmedia.ru yarpersona.ru 1prostobiz.ru wheelroads.ru zhkhregion.ru 24zdorovie.ru zhizni-rad.ru aircom-gree.ru tpp-invest.ru artmarket28.ru asstroibrig.ru atlan-mebel.ru annastepany.ru aquatech-co.ru applebazaar.ru astrasender.ru arendasibir.ru umnyj-blog.ru artpractika.ru antimebel56.ru avtoshina61.ru apricotplay.ru audioshutki.ru blokpost-74.ru sistemprof.ru bet1company.ru bananabikes.ru tlight-spb.ru anonim-shop.ru bastroyserv.ru awesomebust.ru vertikal63.ru alfreyschik.ru bigfinances.ru autokirov43.ru spain-kurs.ru box-telefon.ru bizneskurci.ru bananacraft.ru big-monitor.ru centrsem-ya.ru belarusavto.ru buick-parts.ru charliehome.ru alexvoronov.ru anglichanin.ru centrdevita.ru centrshitya.ru carouselhit.ru cioccobello.ru doktorlinza.ru talkcoffee.ru design4nail.ru downloadscs.ru enter-web-1.ru computation.ru dharmamarga.ru times2come.ru enter-web-5.ru adaxawerata.ru enter-web-4.ru enter-web-7.ru e-electrics.ru 4u-vivasan.ru enter-web-3.ru elektrokidz.ru csdownloads.ru bloodthrone.ru cardan-avto.ru enter-web-9.ru enter-web-6.ru 1strannnik.ru water-skis.ru coogi.ru completepro.ru statusblog.ru 1goldline1.ru creative-nn.ru dumes.ru ds100.ru yug-rabota.ru dsshk.ru comp-kurses.ru energykines.ru europrodzel.ru cps-v.ru cubeworld-x.ru g-pub.ru ecsec.ru dm-interior.ru dirsi.ru e-edu.ru flatterland.ru context-007.ru dvb29.ru curs1.ru ee-tv.ru edbox.ru ftglb.ru eunis.ru duwul.ru ffoff.ru gora2.ru iq700.ru iarts.ru funii.ru gabun.ru iixpo.ru gokco.ru el-el.ru ithku.ru fab74.ru iulen.ru jukas.ru duknv.ru l0add.ru i-nox.ru gurun.ru janit.ru km-ss.ru ishit.ru layed.ru duknn.ru nppfs.ru keyfa.ru macin.ru chiptronika.ru mjk-4.ru lesoz.ru mokso.ru enter-web-8.ru nisrf.ru malvi.ru mjn64.ru mokoo.ru mb-up.ru ggtyu.ru mts18.ru odump.ru ds198.ru dveri-teplo.ru demyanovich.ru orimy.ru osehb.ru royle.ru pu-93.ru mocat.ru samyj.ru pbc47.ru magistrparty.ru medicalforce.ru siori.ru miraclestyle.ru ori73.ru rus15.ru consult2biz.ru mkpch.ru poxes.ru brestmetall.ru rcppe.ru montag-doors.ru megamir-expo.ru bolt-trofey.ru scx10.ru cityminibus.ru managerkursi.ru master-mayki.ru qtcar.ru ddk43.ru master-kurci.ru designkurci.ru oorvb.ru saekb.ru lsi48.ru molodostsale.ru kidii.ru kub36.ru ria-s.ru phyma.ru girma.ru megascripter.ru imsda.ru masterkurses.ru ruvin.ru managerkurci.ru nofia.ru nelidovo-sat.ru myfurby-boom.ru mitrecompany.ru odejda-shmot.ru promindhouse.ru Если руками прочекать, то можно увидеть, что их просто нету в веб архиве, поэтому они и летят в неудачные запросы.
