Улучшение Web archive

[Advice]

Приветствую, прошу поправить парсер веб архива, вылазит много ошибок, писал в поддержку, ответили что скорее всего это из-за того, что сайты в веб архиве отсутствуют. В чекере алексы такой проблемы нету, а тут получается ложные срабатывания.

 

[Forbidden]

можно пример?

 

[Advice]

можно пример?

Чего конкретно?Отработанного задания или же доменов, у которых бьет ошибки?
Если же доменов, могу скинуть тестовый список, ошибок там будет под 50%.

 

[Support]

Advice имеет в виду, что те сайты, которых нету в Вебархиве, при парсинге попадают в неудачные. А лучше было бы, если бы они выводились в результат с пометкой типа not found.

 

[Advice]

Да-да, именно. Только поправка, я чекаю в вебархиве данные $times, было бы неплохо, если бы сайты, которые отсутствуют в веб архиве просто имели значение $times равное нулю.

 

[Amigos]

ТС непротив спрошу здесь же, по теме.. тоже занимаюсь с вебархивом, задумал поступить так: сначала прочекать ссылки на ответ сервера(если 404 - то гуд), после по вебархиву прогуляться... запарка на записи результата для "если 404 - то гуд", в настройках выбрал всё что нужно, а вот результат составить не выходит... как необходимо составить result format, чтобы в итоговом списке были только урлы с 404-ой? Спасибо за помощь

 

[Support]

как необходимо составить result format, чтобы в итоговом списке были только урлы с 404-ой?

В Каталоге примеров есть ответ.
Вот он. Только 200 на 404 замените.

 

[Advice]

Вот скрин работающего задания на чек веб архива:

Это в 50 потоков, прокси ваши.
Повторюсь, алексу чекаю, ошибок нету даже без прокси, несмотря на то, что алексу из нескольких тысяч доменов имеют только пару сотен.
Вот домены, которые попали в неудачные:

Спойлер

cgrxmedics.ru
cglfmedics.ru
cgnomedics.ru
cgrfmedics.ru
cgmimedics.ru
cs-monster.ru
companyarm.ru
cglymedics.ru
cgoqmedics.ru
carwash163.ru
cgpymedics.ru
cgoimedics.ru
cgkwmedics.ru
comp-kurci.ru
cafeostrov.ru
context007.ru
card2sharp.ru
cgqomedics.ru
cgngmedics.ru
doka-color.ru
cgsqmedics.ru
creew-auto.ru
cgnymedics.ru
capital-gr.ru
case4nexus.ru
collectyou.ru
detbigshop.ru
diz-kurses.ru
cubeworldi.ru
cargearapp.ru
designkurc.ru
domologika.ru
doktorauto.ru
devchata24.ru
cgqwmedics.ru
egibmedics.ru
creative63.ru
egjpmedics.ru
cgqgmedics.ru
egkxmedics.ru
colibri075.ru
cit-proekt.ru
cafe-muine.ru
ecoplast72.ru
elisavetta.ru
eglvmedics.ru
cgpbmedics.ru
egiymedics.ru
dendy-shop.ru
ekologia-c.ru
emeleyanov.ru
domzdravia.ru
cars-japan.ru
cgromedics.ru
creditkaru.ru
forumblog1.ru
centerdiod.ru
fentastika.ru
floringold.ru
female-mag.ru
fssprus045.ru
egjhmedics.ru
fssprus034.ru
fairoption.ru
fire-black.ru
cglpmedics.ru
effectnano.ru
heikkinen.ru
fssprus023.ru
evanescent.ru
foryoukids.ru
cgpmmedics.ru
egljmedics.ru
gyry-kino.ru
happy-ice.ru
head-hunt.ru
fbyxsjqjnq.ru
egjxmedics.ru
iconoteka.ru
endorfin74.ru
h-islands.ru
hdwpapers.ru
cgmxmedics.ru
hp-scitex.ru
egkjmedics.ru
image4men.ru
iddastyle.ru
k-kapital.ru
driver-lab.ru
hydro-eng.ru
gshop4you.ru
jumptag-5.ru
fssprus027.ru
i-watches.ru
infobiz82.ru
dostavka63.ru
kabenergo.ru
khomutovo.ru
jkhregion.ru
kamin-eco.ru
inlight-m.ru
jwerli-3d.ru
kingdoner.ru
gritstone.ru
iwan-chai.ru
kanceller.ru
kvazarnsk.ru
italkamin.ru
driver-pak.ru
koduspexa.ru
karinskiy.ru
kupi-good.ru
langcount.ru
hampi-art.ru
koptyaevo.ru
kolokolok.ru
la-lamore.ru
licoyouth.ru
cube3world.ru
kulina-ru.ru
kenigtour.ru
lumus-opt.ru
kolycheva.ru
lottobank.ru
candynailz.ru
kupi-mind.ru
lediforum.ru
jbi3zavod.ru
just-duet.ru
lush-shop.ru
lu-design.ru
medicbxrr.ru
m-website.ru
loadgifts.ru
medicafbi.ru
market134.ru
deconsilio.ru
medicckjk.ru
medicatxi.ru
mctracker.ru
mediccifv.ru
medicelyk.ru
medicamet.ru
mediccqpv.ru
mediccxif.ru
medicekzj.ru
medicibxb.ru
medicdpsn.ru
medicdmui.ru
medicfodb.ru
medicdzor.ru
medicdskn.ru
medichelt.ru
medicelpc.ru
ecatalogue.ru
limithits.ru
medicfjke.ru
medicablp.ru
evloevalex.ru
medichrvn.ru
medichztt.ru
eventorika.ru
medicgutm.ru
medicgsyy.ru
medicbigu.ru
medicgrky.ru
shev-povar.ru
sezaruseco.ru
smartfonit.ru
medicfalb.ru
shock-ware.ru
sokkia-b40.ru
small-mart.ru
mediceenj.ru
medicfpnm.ru
studio-vii.ru
sizeplusxl.ru
stillkuhni.ru
simplyshop.ru
skbodycare.ru
starbuzz59.ru
spps-yamal.ru
sulet-more.ru
steam-accs.ru
star-sales.ru
lust-chat.ru
stalin-wow.ru
svpartner3.ru
sibremont5.ru
info-part.ru
siennaplay.ru
kovka-lip.ru
shopnewspb.ru
tandemgold.ru
shope-hose.ru
sxgoroskop.ru
sportarhiv.ru
sp0rt-life.ru
shkolamoda.ru
steamkey24.ru
techno-dog.ru
terpogosov.ru
south-beat.ru
sspcallapi.ru
ufa-estate.ru
tkrazvitie.ru
thisplease.ru
info-mind.ru
uchastokmo.ru
studio-108.ru
sushilasty.ru
trenikhina.ru
skygravity.ru
tothepoint.ru
ventis-spb.ru
usajournal.ru
vip-lambre.ru
ussurtaiga.ru
vektorstan.ru
sprintbank.ru
umionelove.ru
vtecgarage.ru
lifevnete.ru
ypsmoeqpql.ru
manyhouse.ru
w-traveler.ru
wedding-iv.ru
your-linux.ru
wdsexpress.ru
valgus-lux.ru
woollencat.ru
uralklimat.ru
xxxhotline.ru
yur-profit.ru
vip-avto45.ru
10aromatov.ru
32-bryansk.ru
wellaoptom.ru
medicbwpr.ru
wohler-vis.ru
abcwebmedia.ru
yarpersona.ru
1prostobiz.ru
wheelroads.ru
zhkhregion.ru
24zdorovie.ru
zhizni-rad.ru
aircom-gree.ru
tpp-invest.ru
artmarket28.ru
asstroibrig.ru
atlan-mebel.ru
annastepany.ru
aquatech-co.ru
applebazaar.ru
astrasender.ru
arendasibir.ru
umnyj-blog.ru
artpractika.ru
antimebel56.ru
avtoshina61.ru
apricotplay.ru
audioshutki.ru
blokpost-74.ru
sistemprof.ru
bet1company.ru
bananabikes.ru
tlight-spb.ru
anonim-shop.ru
bastroyserv.ru
awesomebust.ru
vertikal63.ru
alfreyschik.ru
bigfinances.ru
autokirov43.ru
spain-kurs.ru
box-telefon.ru
bizneskurci.ru
bananacraft.ru
big-monitor.ru
centrsem-ya.ru
belarusavto.ru
buick-parts.ru
charliehome.ru
alexvoronov.ru
anglichanin.ru
centrdevita.ru
centrshitya.ru
carouselhit.ru
cioccobello.ru
doktorlinza.ru
talkcoffee.ru
design4nail.ru
downloadscs.ru
enter-web-1.ru
computation.ru
dharmamarga.ru
times2come.ru
enter-web-5.ru
adaxawerata.ru
enter-web-4.ru
enter-web-7.ru
e-electrics.ru
4u-vivasan.ru
enter-web-3.ru
elektrokidz.ru
csdownloads.ru
bloodthrone.ru
cardan-avto.ru
enter-web-9.ru
enter-web-6.ru
1strannnik.ru
water-skis.ru
coogi.ru
completepro.ru
statusblog.ru
1goldline1.ru
creative-nn.ru
dumes.ru
ds100.ru
yug-rabota.ru
dsshk.ru
comp-kurses.ru
energykines.ru
europrodzel.ru
cps-v.ru
cubeworld-x.ru
g-pub.ru
ecsec.ru
dm-interior.ru
dirsi.ru
e-edu.ru
flatterland.ru
context-007.ru
dvb29.ru
curs1.ru
ee-tv.ru
edbox.ru
ftglb.ru
eunis.ru
duwul.ru
ffoff.ru
gora2.ru
iq700.ru
iarts.ru
funii.ru
gabun.ru
iixpo.ru
gokco.ru
el-el.ru
ithku.ru
fab74.ru
iulen.ru
jukas.ru
duknv.ru
l0add.ru
i-nox.ru
gurun.ru
janit.ru
km-ss.ru
ishit.ru
layed.ru
duknn.ru
nppfs.ru
keyfa.ru
macin.ru
chiptronika.ru
mjk-4.ru
lesoz.ru
mokso.ru
enter-web-8.ru
nisrf.ru
malvi.ru
mjn64.ru
mokoo.ru
mb-up.ru
ggtyu.ru
mts18.ru
odump.ru
ds198.ru
dveri-teplo.ru
demyanovich.ru
orimy.ru
osehb.ru
royle.ru
pu-93.ru
mocat.ru
samyj.ru
pbc47.ru
magistrparty.ru
medicalforce.ru
siori.ru
miraclestyle.ru
ori73.ru
rus15.ru
consult2biz.ru
mkpch.ru
poxes.ru
brestmetall.ru
rcppe.ru
montag-doors.ru
megamir-expo.ru
bolt-trofey.ru
scx10.ru
cityminibus.ru
managerkursi.ru
master-mayki.ru
qtcar.ru
ddk43.ru
master-kurci.ru
designkurci.ru
oorvb.ru
saekb.ru
lsi48.ru
molodostsale.ru
kidii.ru
kub36.ru
ria-s.ru
phyma.ru
girma.ru
megascripter.ru
imsda.ru
masterkurses.ru
ruvin.ru
managerkurci.ru
nofia.ru
nelidovo-sat.ru
myfurby-boom.ru
mitrecompany.ru
odejda-shmot.ru
promindhouse.ru

Если руками прочекать, то можно увидеть, что их просто нету в веб архиве, поэтому они и летят в неудачные запросы.

 

[Forbidden]

судя по всему ошибка была исправлена в одной из предыдущих версий