Улучшение использование гео в проксях/парсере Google

[DeLaKroiX]

у гугла выдача формируется согласно принадлежности айпишки к какой-либо стране (по крайней мере динамическая, та что по 10 результатов на страницу). просьба реализовать возможность определять геопринадлежность прокси и соответственно возможность использовать только прокси выбранных стран при парсинге гугла для достижения более точных результатов

 

[Forbidden]

у гугла выдача формируется согласно принадлежности айпишки к какой-либо стране

откуда такая информация?

 

[Forbidden]

Я провел эксперимент:

• Выполняем один и тот же запрос 1000 раз
• Выставляем язык и страну поиска
• Сохраняем топ10 ссылок в одну строку для каждого запроса
• При этом используются прокси микс без какого либо деления по странам

Спойлер: Код пресета

eyJwcmVzZXQiOiJUZXN0IEdvb2dsZSBEeW5hbWljIFNlcnAiLCJ2YWx1ZSI6eyJw
cmVzZXQiOiJUZXN0IEdvb2dsZSBEeW5hbWljIFNlcnAiLCJwYXJzZXJzIjpbWyJT
RTo6R29vZ2xlIiwiVE9QIDEwICsgQUciLHsidHlwZSI6Im92ZXJyaWRlIiwiaWQi
OiJsciIsInZhbHVlIjoibGFuZ19lbiJ9LHsidHlwZSI6Im92ZXJyaWRlIiwiaWQi
OiJnbCIsInZhbHVlIjoiVVMifSx7InR5cGUiOiJvdmVycmlkZSIsImlkIjoicXVl
cnlmb3JtYXQiLCJ2YWx1ZSI6ImJ1eSB2aWFncmEgb25saW5lIn1dXSwicmVzdWx0
c0Zvcm1hdCI6IiRwMS5zZXJwLmZvcm1hdCgnJGxpbms7JylcXG4iLCJyZXN1bHRz
U2F2ZVRvIjoiZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6Imdvb2dsZS1keW5hbWlj
LyRkYXRlZmlsZS5mb3JtYXQoKS50eHQiLCJhZGRpdGlvbmFsRm9ybWF0cyI6W10s
InJlc3VsdHNVbmlxdWUiOiJubyIsInF1ZXJpZXNGcm9tIjoidGV4dCIsInF1ZXJ5
Rm9ybWF0IjpbIiRxdWVyeSJdLCJ1bmlxdWVRdWVyaWVzIjpmYWxzZSwic2F2ZUZh
aWxlZFF1ZXJpZXMiOmZhbHNlLCJpdGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZl
bHMiOmZhbHNlLCJxdWVyeUJ1aWxkZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2UsInF1
ZXJ5QnVpbGRlcnNPbkFsbExldmVscyI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9ucyI6
eyJvdmVyd3JpdGUiOmZhbHNlfSwiZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUiOiJO
byIsIm1vcmVPcHRpb25zIjpmYWxzZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1
bHRzQXBwZW5kIjoiIiwicXVlcnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVy
cyI6W10sImNvbmZpZ092ZXJyaWRlcyI6W10sInJ1blRhc2tPbkNvbXBsZXRlIjoi
IiwidXNlUmVzdWx0c0ZpbGVBc1F1ZXJpZXNGaWxlIjpmYWxzZSwicXVlcmllcyI6
IntudW06MToxMDAwfSJ9LCJwYXJzZXJzQ29uZlByZXNldHMiOnsiU0U6Okdvb2ds
ZSI6eyJUT1AgMTAgKyBBRyI6eyJwcm94eXJldHJpZXMiOiIxMCIsInVzZXByb3h5
Ijp0cnVlLCJxdWVyeWZvcm1hdCI6IiRxdWVyeSIsImZvcm1hdHJlc3VsdCI6IiRz
ZXJwLmZvcm1hdCgnJGxpbmtcXG4nKSIsIm1heF9zaXplIjoiMjA0ODAwIiwicHJv
eHliYW5uZWRjbGVhbnVwIjoiMzAwIiwidGltZW91dCI6IjYwIiwicmVxdWVzdGRl
bGF5IjoiMCIsImxpbmtzcGVycGFnZSI6MTAsInBhZ2Vjb3VudCI6MSwiZG9tYWlu
Ijoid3d3Lmdvb2dsZS5jb20iLCJsciI6IiIsImdsIjoiIiwibG9jYXRpb24iOiIi
LCJmaWx0ZXIiOnRydWUsInNlcnB0aW1lIjoiIiwic2VycCI6IiIsInBhcnNlbm90
Zm91bmQiOnRydWUsInVzZWFudGlnYXRlIjp0cnVlLCJhbnRpZ2F0ZXByZXNldCI6
ImFudGlnYXRlLmNvbSIsInVzZXNlc3Npb25zIjp0cnVlLCJyYXdkYXRhIjpmYWxz
ZSwiZG9fZ3ppcCI6dHJ1ZSwiZXh0cmFxdWVyeSI6IiJ9fX19

В результате все 1000 запросов выдали одинаковый результат:

$ head -n 3 results/google-dynamic/Mar-21_04-43-20.txt 
https://www.canadadrugs.com/products/viagra;https://www.viagra.com/getting/how-to-get-a-prescription;https://viagrabestbuy.com/;http://www.pharmacyglobalrx.com/;http://www.ellettsvillechamber.org/index.php/en/the-chamber/contact-us;https://www.accessrx.com/viagra/;http://www.webmd.com/men/buying-ed-drugs-online;http://www.canadianpharmacy365.net/product/viagra/;http://www.forbes.com/sites/melaniehaiken/2013/09/12/buying-viagra-online-its-very-likely-fake-and-possibly-dangerous-new-data-say/;http://hotcanadianpharmacy.com/drugs/Viagra+Generic/;
https://www.canadadrugs.com/products/viagra;https://www.viagra.com/getting/how-to-get-a-prescription;https://viagrabestbuy.com/;http://www.pharmacyglobalrx.com/;http://www.ellettsvillechamber.org/index.php/en/the-chamber/contact-us;https://www.accessrx.com/viagra/;http://www.webmd.com/men/buying-ed-drugs-online;http://www.canadianpharmacy365.net/product/viagra/;http://www.forbes.com/sites/melaniehaiken/2013/09/12/buying-viagra-online-its-very-likely-fake-and-possibly-dangerous-new-data-say/;http://hotcanadianpharmacy.com/drugs/Viagra+Generic/;
https://www.canadadrugs.com/products/viagra;https://www.viagra.com/getting/how-to-get-a-prescription;https://viagrabestbuy.com/;http://www.pharmacyglobalrx.com/;http://www.ellettsvillechamber.org/index.php/en/the-chamber/contact-us;https://www.accessrx.com/viagra/;http://www.webmd.com/men/buying-ed-drugs-online;http://www.canadianpharmacy365.net/product/viagra/;http://www.forbes.com/sites/melaniehaiken/2013/09/12/buying-viagra-online-its-very-likely-fake-and-possibly-dangerous-new-data-say/;http://hotcanadianpharmacy.com/drugs/Viagra+Generic/;

$ cat results/google-dynamic/Mar-21_04-43-20.txt|wc -l
    1000

$ cat results/google-dynamic/Mar-21_04-43-20.txt|sort -u|wc -l
       1

 

[Support]

На таких настройках получилось 4 разных варианта выдачи:

http://hotline.ua/yp/2476/;https://www.facebook.com/rozetka.ua;https://uk.wikipedia.org/wiki/Rozetka;http://rozetka.com.ua/lg_32lf580v/p3488652/;http://hard.rozetka.com.ua/samsung_ls27d590cs_ci/p1691377/;http://rozetka.com.ua/lenovo_a3300_59408686/p1133675/;http://rozetka.com.ua/bumaga-ofisnaya/c2514882/;http://zn.ua/ECONOMICS/fond-yaresko-vykupil-dolyu-v-internet-magazine-rozetka-ua-182513_.html;http://picodi.com.ua/rozetka;http://www.epravda.com.ua/news/2015/07/14/550522/;
http://hotline.ua/yp/2476/;https://www.facebook.com/rozetka.ua;https://uk.wikipedia.org/wiki/Rozetka;http://hard.rozetka.com.ua/samsung_ls27d590cs_ci/p1691377/;http://rozetka.com.ua/lg_32lf580v/p3488652/;http://rozetka.com.ua/bumaga-ofisnaya/c2514882/;http://rozetka.com.ua/lenovo_a3300_59408686/p1133675/;http://picodi.com.ua/rozetka;http://zn.ua/ECONOMICS/fond-yaresko-vykupil-dolyu-v-internet-magazine-rozetka-ua-182513_.html;http://www.mastercard.com/ua/consumer/rozetka.html;
http://rozetka.com.ua/;http://hotline.ua/yp/2476/;https://uk.wikipedia.org/wiki/Rozetka;https://www.facebook.com/rozetka.ua;http://picodi.com.ua/rozetka;http://zn.ua/ECONOMICS/fond-yaresko-vykupil-dolyu-v-internet-magazine-rozetka-ua-182513_.html;http://www.epravda.com.ua/news/2015/07/14/550522/;http://www.mastercard.com/ua/consumer/rozetka.html;
http://rozetka.com.ua/;http://hotline.ua/yp/2476/;https://uk.wikipedia.org/wiki/Rozetka;https://www.facebook.com/rozetka.ua;http://picodi.com.ua/rozetka;http://zn.ua/ECONOMICS/fond-yaresko-vykupil-dolyu-v-internet-magazine-rozetka-ua-182513_.html;http://www.mastercard.com/ua/consumer/rozetka.html;http://www.epravda.com.ua/news/2015/07/14/550522/;

 

[Forbidden]

Вот более точный способ задать регион поиска, с ним будет одинаковый результат:

Полный список локаций находится по ссылке https://developers.google.com/adwords/api/docs/appendix/geotargeting?hl=fr&csw=1