Ошибка парсинг по второму, третьему и т.д. кругу

[DeLaKroiX]

где-то была на форуме тема, что иногда парсинг превышает 100% и идёт дальше. искал - не нашёл. вобщем мне удалось со 100% вероятностью воспроизвести ошибку при парсинге 11 поисковиков в 1 задании. при паузе и продолжении парсинг идёт дальше ста процентов.

Спойлер: пресет задания

eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs
InBhcnNlcnMiOltbIlNFOjpBc2siLCJtYXgiXSxbIlNFOjpCYWlkdSIsIm1heCJd
LFsiU0U6OkJpbmciLCJwcm94eSJdLFsiU0U6OkNvbWNhc3QiLCJtYXgiXSxbIlNF
OjpEb2dwaWxlIiwibm9wcm94eSJdLFsiU0U6OkR1Y2tEdWNrR28iLCJtYXgiXSxb
IlNFOjpNYWlsUnUiLCJtYXgiXSxbIlNFOjpTZXpuYW0iLCJtYXgiXSxbIlNFOjpZ
YWhvbyIsIjEwMDAgTGlua3MgdXNlIFByb3h5Il0sWyJTRTo6WWFuZGV4IiwiMTAw
MCBMaW5rcyB1c2UgUHJveHkiXSxbIlNFOjpRSVAiLCJtYXgiXV0sInJlc3VsdHNG
b3JtYXQiOiIkcDEucHJlc2V0JHAyLnByZXNldCRwMy5wcmVzZXQkcDQucHJlc2V0
JHA1LnByZXNldCRwNi5wcmVzZXQkcDcucHJlc2V0JHA4LnByZXNldCRwOS5wcmVz
ZXQkcDEwLnByZXNldCRwMTEucHJlc2V0IiwicmVzdWx0c1NhdmVUbyI6ImZpbGUi
LCJyZXN1bHRzRmlsZU5hbWUiOiJwcm94eXVybHMudHh0IiwiYWRkaXRpb25hbEZv
cm1hdHMiOltdLCJyZXN1bHRzVW5pcXVlIjoic3RyaW5nIiwicXVlcmllc0Zyb20i
OiJmaWxlIiwicXVlcnlGb3JtYXQiOlsiJHF1ZXJ5Il0sInVuaXF1ZVF1ZXJpZXMi
OmZhbHNlLCJzYXZlRmFpbGVkUXVlcmllcyI6ZmFsc2UsIml0ZXJhdG9yT3B0aW9u
cyI6eyJvbkFsbExldmVscyI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNBZnRlckl0ZXJh
dG9yIjpmYWxzZSwicXVlcnlCdWlsZGVyc09uQWxsTGV2ZWxzIjpmYWxzZX0sInJl
c3VsdHNPcHRpb25zIjp7Im92ZXJ3cml0ZSI6ZmFsc2V9LCJkb0xvZyI6Im5vIiwi
a2VlcFVuaXF1ZSI6Ik5vIiwibW9yZU9wdGlvbnMiOmZhbHNlLCJyZXN1bHRzUHJl
cGVuZCI6IiIsInJlc3VsdHNBcHBlbmQiOiIiLCJxdWVyeUJ1aWxkZXJzIjpbXSwi
cmVzdWx0c0J1aWxkZXJzIjpbXSwiY29uZmlnT3ZlcnJpZGVzIjpbXSwicnVuVGFz
a09uQ29tcGxldGUiOm51bGwsInVzZVJlc3VsdHNGaWxlQXNRdWVyaWVzRmlsZSI6
ZmFsc2UsInJ1blRhc2tPbkNvbXBsZXRlQ29uZmlnIjoiZGVmYXVsdCIsInRvb2xz
SlMiOiIiLCJxdWVyaWVzRmlsZSI6WyJcdTA0MzdcdTA0MzBcdTA0M2ZcdTA0NDBc
dTA0M2VcdTA0NDFcdTA0NGIgXHUwNDNmXHUwNDQwXHUwNDNlXHUwNDNhXHUwNDQx
XHUwNDM4LnR4dCJdfSwicGFyc2Vyc0NvbmZQcmVzZXRzIjp7IlNFOjpBc2siOnsi
bWF4Ijp7InF1ZXJ5Zm9ybWF0IjoiJHF1ZXJ5IiwiZXh0cmFxdWVyeSI6IiIsInBh
Z2Vjb3VudCI6MjUsInByb3h5cmV0cmllcyI6IjEwMDAiLCJyZXF1ZXN0ZGVsYXki
OiIwIiwicHJveHliYW5uZWRjbGVhbnVwIjoiMzAwIiwiZG9fZ3ppcCI6dHJ1ZSwi
cmF3ZGF0YSI6ZmFsc2UsImZvcm1hdHJlc3VsdCI6IiRzZXJwLmZvcm1hdCgnJGxp
bmtcXG4nKSIsInRpbWVvdXQiOiI2MCIsInVzZXByb3h5Ijp0cnVlLCJtYXhfc2l6
ZSI6IjIwNDgwMCJ9fSwiU0U6OkJhaWR1Ijp7Im1heCI6eyJxdWVyeWZvcm1hdCI6
IiRxdWVyeSIsImV4dHJhcXVlcnkiOiIiLCJsaW5rc3BlcnBhZ2UiOjUwLCJwcm94
eXJldHJpZXMiOiIxMDAwIiwicGFnZWNvdW50IjoxMDAsInJlcXVlc3RkZWxheSI6
IjAiLCJwcm94eWJhbm5lZGNsZWFudXAiOiI2MDAwIiwiZG9fZ3ppcCI6dHJ1ZSwi
Zm9ybWF0cmVzdWx0IjoiJHNlcnAuZm9ybWF0KCckbGlua1xcbicpIiwicmF3ZGF0
YSI6ZmFsc2UsInRpbWVvdXQiOiI2MCIsInVzZXByb3h5Ijp0cnVlLCJtYXhfc2l6
ZSI6IjQwOTYwMCJ9fSwiU0U6OkJpbmciOnsicHJveHkiOnsicXVlcnlmb3JtYXQi
OiIkcXVlcnkiLCJleHRyYXF1ZXJ5IjoiIiwic2VycHRpbWUiOiIiLCJsaW5rc3Bl
cnBhZ2UiOjUwLCJzZXJwIjoiIiwicmVnaW9uIjoiIiwicHJveHlyZXRyaWVzIjoi
MTAwMCIsInBhZ2Vjb3VudCI6MjAsInJlcXVlc3RkZWxheSI6IjAiLCJwcm94eWJh
bm5lZGNsZWFudXAiOiIzMDAiLCJkb19nemlwIjp0cnVlLCJmb3JtYXRyZXN1bHQi
OiIkc2VycC5mb3JtYXQoJyRsaW5rXFxuJykiLCJyYXdkYXRhIjpmYWxzZSwidGlt
ZW91dCI6IjI1IiwidXNlcHJveHkiOnRydWUsIm1heF9zaXplIjoiMTA0ODU3NiJ9
fSwiU0U6OkNvbWNhc3QiOnsibWF4Ijp7InF1ZXJ5Zm9ybWF0IjoiJHF1ZXJ5Iiwi
ZXh0cmFxdWVyeSI6IiIsInByb3h5cmV0cmllcyI6IjEwMDAiLCJwYWdlY291bnQi
OjIwLCJyZXF1ZXN0ZGVsYXkiOiIwIiwicHJveHliYW5uZWRjbGVhbnVwIjoiMzAw
MCIsImRvX2d6aXAiOnRydWUsImZvcm1hdHJlc3VsdCI6IiRzZXJwLmZvcm1hdCgn
JGxpbmtcXG4nKSIsInJhd2RhdGEiOmZhbHNlLCJ0aW1lb3V0IjoiNjAiLCJ1c2Vw
cm94eSI6dHJ1ZSwibWF4X3NpemUiOiIyMDQ4MDAifX0sIlNFOjpEb2dwaWxlIjp7
Im5vcHJveHkiOnsicXVlcnlmb3JtYXQiOiIkcXVlcnkiLCJleHRyYXF1ZXJ5Ijoi
IiwicGFnZWNvdW50Ijo2NSwicHJveHlyZXRyaWVzIjoiMTAwMCIsInJlcXVlc3Rk
ZWxheSI6IjAiLCJwcm94eWJhbm5lZGNsZWFudXAiOiIzMDAiLCJkb19nemlwIjp0
cnVlLCJyYXdkYXRhIjpmYWxzZSwiZm9ybWF0cmVzdWx0IjoiJHNlcnAuZm9ybWF0
KCckbGlua1xcbicpIiwidGltZW91dCI6IjYwIiwidXNlcHJveHkiOmZhbHNlLCJt
YXhfc2l6ZSI6IjIwNDgwMCJ9fSwiU0U6OkR1Y2tEdWNrR28iOnsibWF4Ijp7InF1
ZXJ5Zm9ybWF0IjoiJHF1ZXJ5IiwiZXh0cmFxdWVyeSI6IiIsInBhZ2Vjb3VudCI6
MTAsInByb3h5cmV0cmllcyI6IjEwMDAiLCJyZXF1ZXN0ZGVsYXkiOiIwIiwicHJv
eHliYW5uZWRjbGVhbnVwIjoiMzAwIiwiZG9fZ3ppcCI6dHJ1ZSwicmF3ZGF0YSI6
ZmFsc2UsImZvcm1hdHJlc3VsdCI6IiRzZXJwLmZvcm1hdCgnJGxpbmtcXG4nKSIs
InRpbWVvdXQiOiI2MCIsInVzZXByb3h5Ijp0cnVlLCJtYXhfc2l6ZSI6IjIwNDgw
MCJ9fSwiU0U6Ok1haWxSdSI6eyJtYXgiOnsicXVlcnlmb3JtYXQiOiIkcXVlcnki
LCJleHRyYXF1ZXJ5IjoiIiwicHJveHlyZXRyaWVzIjoiMTAwMCIsInBhZ2Vjb3Vu
dCI6NjUsInJlcXVlc3RkZWxheSI6IjAiLCJwcm94eWJhbm5lZGNsZWFudXAiOiIz
MDAwIiwiZG9fZ3ppcCI6dHJ1ZSwiZm9ybWF0cmVzdWx0IjoiJHNlcnAuZm9ybWF0
KCckbGlua1xcbicpIiwicmF3ZGF0YSI6ZmFsc2UsInRpbWVvdXQiOiI2MCIsInVz
ZXByb3h5Ijp0cnVlLCJtYXhfc2l6ZSI6IjIwNDgwMCJ9fSwiU0U6OlNlem5hbSI6
eyJtYXgiOnsicXVlcnlmb3JtYXQiOiIkcXVlcnkiLCJleHRyYXF1ZXJ5IjoiIiwi
bGlua3NwZXJwYWdlIjoyMCwicGFnZWNvdW50IjoxMDAsInByb3h5cmV0cmllcyI6
IjEwMDAiLCJyZXF1ZXN0ZGVsYXkiOiIwIiwicHJveHliYW5uZWRjbGVhbnVwIjoi
NjAwIiwiZG9fZ3ppcCI6dHJ1ZSwicmF3ZGF0YSI6ZmFsc2UsImZvcm1hdHJlc3Vs
dCI6IiRzZXJwLmZvcm1hdCgnJGxpbmtcXG4nKSIsInRpbWVvdXQiOiI2MCIsInVz
ZXByb3h5Ijp0cnVlLCJtYXhfc2l6ZSI6IjEwNDg1NzYifX0sIlNFOjpZYWhvbyI6
eyIxMDAwIExpbmtzIHVzZSBQcm94eSI6eyJxdWVyeWZvcm1hdCI6IiRxdWVyeSIs
ImV4dHJhcXVlcnkiOiIiLCJzZXJwdGltZSI6IiIsImxpbmtzcGVycGFnZSI6MTAw
LCJwcm94eXJldHJpZXMiOiIxMDAwIiwicGFnZWNvdW50IjoxMCwicmVxdWVzdGRl
bGF5IjoiMCIsInByb3h5YmFubmVkY2xlYW51cCI6IjYwMDAiLCJkb19nemlwIjp0
cnVlLCJmb3JtYXRyZXN1bHQiOiIkc2VycC5mb3JtYXQoJyRsaW5rXFxuJykiLCJk
b21haW4iOiJzZWFyY2gueWFob28uY29tIiwicmF3ZGF0YSI6ZmFsc2UsInRpbWVv
dXQiOiI2MCIsInVzZXByb3h5Ijp0cnVlLCJtYXhfc2l6ZSI6IjIwNDgwMCJ9fSwi
U0U6OllhbmRleCI6eyIxMDAwIExpbmtzIHVzZSBQcm94eSI6eyJxdWVyeWZvcm1h
dCI6IiRxdWVyeSIsInBhcnNlbm90Zm91bmQiOnRydWUsIm5vdHBlcnNvbmFsaXpl
ZCI6dHJ1ZSwicGFnZWNvdW50IjoyMCwidXNlbG9naW5zIjpmYWxzZSwiZG9fZ3pp
cCI6dHJ1ZSwiZG9tYWluIjoieWFuZGV4LnJ1IiwidGltZW91dCI6IjYwIiwiZW11
bGF0ZSI6dHJ1ZSwidXNlcHJveHkiOnRydWUsImFudGlnYXRlcHJlc2V0IjoiZGVm
YXVsdCIsImV4dHJhcXVlcnkiOiIiLCJsaW5rc3BlcnBhZ2UiOjUwLCJob3ciOmZh
bHNlLCJwcm94eXJldHJpZXMiOiIxMDAwIiwidXNlYW50aWdhdGUiOmZhbHNlLCJy
ZXF1ZXN0ZGVsYXkiOiIwIiwicHJveHliYW5uZWRjbGVhbnVwIjoiNjAwIiwiZm9y
bWF0cmVzdWx0IjoiJHNlcnAuZm9ybWF0KCckbGlua1xcbicpIiwicmF3ZGF0YSI6
ZmFsc2UsImxyIjoiMjI1IiwibWF4X3NpemUiOiIyMDQ4MDAifX0sIlNFOjpRSVAi
OnsibWF4Ijp7InF1ZXJ5Zm9ybWF0IjoiJHF1ZXJ5IiwiZXh0cmFxdWVyeSI6IiIs
ImxpbmtzcGVycGFnZSI6NTAsInByb3h5cmV0cmllcyI6IjEwMDAiLCJwYWdlY291
bnQiOjEwMCwicmVxdWVzdGRlbGF5IjoiMCIsInByb3h5YmFubmVkY2xlYW51cCI6
IjYwMDAiLCJkb19nemlwIjp0cnVlLCJmb3JtYXRyZXN1bHQiOiIkc2VycC5mb3Jt
YXQoJyRsaW5rXFxuJykiLCJyYXdkYXRhIjpmYWxzZSwidGltZW91dCI6IjYwIiwi
dXNlcHJveHkiOnRydWUsIm1heF9zaXplIjoiNDA5NjAwIn19fX0=

 

[Forbidden]

попробуй 1.1.468

 

[DeLaKroiX]

неа

 

[Forbidden]

можешь скинуть настройки 1328 задания? как много раз нажималась пауза\старт? был ли перезапуск парсера? возможно ли что файл запросов был изменен(увеличилось число запросов от изначального)? проверь текущее количество строк в нем

 

[DeLaKroiX]

можешь скинуть настройки 1328 задания? как много раз нажималась пауза\старт? был ли перезапуск парсера? возможно ли что файл запросов был изменен(увеличилось число запросов от изначального)? проверь текущее количество строк в нем

Спойлер: пресет

eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs
InBhcnNlcnMiOltbIlNFOjpHb29nbGUiLCJQYWdlcyBDb3VudCB1c2UgUHJveHki
LHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJkb21haW4iLCJ2YWx1ZSI6Ind3dy5n
b29nbGUudXMifSx7InR5cGUiOiJvdmVycmlkZSIsImlkIjoiZ2wiLCJ2YWx1ZSI6
IlVTIn0seyJ0eXBlIjoiZmlsdGVyIiwicmVzdWx0IjoidG90YWxjb3VudCIsImZp
bHRlclR5cGUiOiI+IiwidmFsdWUiOiI1MDAiLCJvcHRpb24iOiJzZW5zIn1dLFsi
U0U6Okdvb2dsZSIsIlBhZ2VzIENvdW50IHVzZSBQcm94eSIseyJ0eXBlIjoib3Zl
cnJpZGUiLCJpZCI6ImRvbWFpbiIsInZhbHVlIjoid3d3Lmdvb2dsZS5jYSJ9LHsi
dHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJnbCIsInZhbHVlIjoiQ0EifSx7InR5cGUi
OiJmaWx0ZXIiLCJyZXN1bHQiOiJ0b3RhbGNvdW50IiwiZmlsdGVyVHlwZSI6Ij4i
LCJ2YWx1ZSI6IjUwMCIsIm9wdGlvbiI6InNlbnMifV0sWyJTRTo6R29vZ2xlIiwi
UGFnZXMgQ291bnQgdXNlIFByb3h5Iix7InR5cGUiOiJvdmVycmlkZSIsImlkIjoi
ZG9tYWluIiwidmFsdWUiOiJ3d3cuZ29vZ2xlLmNvLnVrIn0seyJ0eXBlIjoib3Zl
cnJpZGUiLCJpZCI6ImdsIiwidmFsdWUiOiJHQiJ9LHsidHlwZSI6ImZpbHRlciIs
InJlc3VsdCI6InRvdGFsY291bnQiLCJmaWx0ZXJUeXBlIjoiPiIsInZhbHVlIjoi
NTAwIiwib3B0aW9uIjoic2VucyJ9XV0sInJlc3VsdHNGb3JtYXQiOiIkcXVlcnku
b3JpZzogdXNhOiRwMS50b3RhbGNvdW50XFxuJHF1ZXJ5Lm9yaWc6IGNhOiRwMi50
b3RhbGNvdW50XFxuJHF1ZXJ5Lm9yaWc6IHVrOiRwMy50b3RhbGNvdW50XFxuIiwi
cmVzdWx0c1NhdmVUbyI6ImZpbGUiLCJyZXN1bHRzRmlsZU5hbWUiOiJjbXMvXHUw
NDNmXHUwNDQwXHUwNDNlXHUwNDMyXHUwNDM1XHUwNDQwXHUwNDNhXHUwNDMwIFx1
MDQzM1x1MDQ0M1x1MDQzM1x1MDQzYlx1MDQzZVx1MDQzYy9qb29tbGEudHh0Iiwi
YWRkaXRpb25hbEZvcm1hdHMiOltdLCJyZXN1bHRzVW5pcXVlIjoibm8iLCJxdWVy
eUZvcm1hdCI6WyJzaXRlOiRxdWVyeSJdLCJ1bmlxdWVRdWVyaWVzIjpmYWxzZSwi
c2F2ZUZhaWxlZFF1ZXJpZXMiOmZhbHNlLCJpdGVyYXRvck9wdGlvbnMiOnsib25B
bGxMZXZlbHMiOmZhbHNlLCJxdWVyeUJ1aWxkZXJzQWZ0ZXJJdGVyYXRvciI6ZmFs
c2UsInF1ZXJ5QnVpbGRlcnNPbkFsbExldmVscyI6ZmFsc2V9LCJyZXN1bHRzT3B0
aW9ucyI6eyJvdmVyd3JpdGUiOmZhbHNlfSwiZG9Mb2ciOiJubyIsImtlZXBVbmlx
dWUiOiJObyIsIm1vcmVPcHRpb25zIjpmYWxzZSwicmVzdWx0c1ByZXBlbmQiOiIi
LCJyZXN1bHRzQXBwZW5kIjoiIiwicXVlcnlCdWlsZGVycyI6W10sInJlc3VsdHNC
dWlsZGVycyI6W10sImNvbmZpZ092ZXJyaWRlcyI6W10sInJ1blRhc2tPbkNvbXBs
ZXRlIjpudWxsLCJ1c2VSZXN1bHRzRmlsZUFzUXVlcmllc0ZpbGUiOmZhbHNlLCJy
dW5UYXNrT25Db21wbGV0ZUNvbmZpZyI6ImRlZmF1bHQiLCJ0b29sc0pTIjoiIn0s
InBhcnNlcnNDb25mUHJlc2V0cyI6eyJTRTo6R29vZ2xlIjp7IlBhZ2VzIENvdW50
IHVzZSBQcm94eSI6eyJxdWVyeWZvcm1hdCI6IiRxdWVyeSIsInBhcnNlbm90Zm91
bmQiOnRydWUsInBhZ2Vjb3VudCI6IjEiLCJnbCI6IlVTIiwiZG9fZ3ppcCI6dHJ1
ZSwiZG9tYWluIjoid3d3Lmdvb2dsZS5jb20iLCJ0aW1lb3V0IjoiMTUiLCJ1c2Vw
cm94eSI6dHJ1ZSwiYW50aWdhdGVwcmVzZXQiOiJhbnRpZ2F0ZSIsImV4dHJhcXVl
cnkiOiIiLCJ1c2VzZXNzaW9ucyI6dHJ1ZSwibG9jYXRpb24iOiIiLCJzZXJwdGlt
ZSI6IiIsImxpbmtzcGVycGFnZSI6IjEwIiwiZmlsdGVyIjp0cnVlLCJzZXJwIjoi
IiwicHJveHlyZXRyaWVzIjoiMTAwMDAwMCIsInVzZWFudGlnYXRlIjp0cnVlLCJy
ZXF1ZXN0ZGVsYXkiOiIwIiwicHJveHliYW5uZWRjbGVhbnVwIjoiNzIwMCIsImZv
cm1hdHJlc3VsdCI6IiRxdWVyeTogJHRvdGFsY291bnRcXG4iLCJyYXdkYXRhIjpm
YWxzZSwibHIiOiJsYW5nX2VuIiwibWF4X3NpemUiOiIyMDQ4MDAifX19fQ==

в настройках вобщем-то ничего необычного.
пауза/старт нажималась пару раз, после этого понял, что что-то пошло не так.
перезапуск парсера пришлось сделать с запущенным заданием, т.к. размер скушанной оперативки достиг 2гб. мне кажется проблема проявляется именно при перезапуске апарсера с работающим заданием.
файл не изменялся.

 

[Forbidden]

проблема актуальна?

 

[DeLaKroiX]

скорее всего да, сейчас апарсер почему-то вообще не стартует задания и не обновляется. при старте заданий error, как будто не на ту айпишку привязан, а при попытке обновления Error: Unable to access update server: 596. версия апарсера 546-я.

 

[Forbidden]

сейчас апарсер почему-то вообще не стартует задания и не обновляется. при старте заданий error, как будто не на ту айпишку привязан, а при попытке обновления Error: Unable to access update server: 596. версия апарсера 546-я.

это никак не связано с проблемой, наш сервер был под атакой

 

[DeLaKroiX]

это никак не связано с проблемой, наш сервер был под атакой

ну всмысле я имел ввиду, что проверить не было возможности

 

[DeLaKroiX]

проблема актуальна?

похоже что нет, затестил на последней стабильной версии в 2 парсера в задании и файлом в 200 запросов - проблема не повторилась.