Ga naar de hoofdinhoud

Query Builder

Query Builders (Query Builder) - maakt het mogelijk om de oorspronkelijke query in delen te splitsen en/of query's te transformeren volgens specifieke regels

Mogelijkheden​

  • Splitsen van de query in delen met behulp van een reguliere expressie of een willekeurig scheidingsteken
  • Vervangen van een substring in de query of vervanging door een reguliere expressie
  • Extraheren van het domein\hoofddomein uit een link
  • Toevoegen van het teken ! voor elk woord in de query (vereist voor de scraper SE::Yandex::WordStatSE::Yandex::WordStat)
  • De query omzetten naar hoofdletters\kleine letters
Query Builder

De verkregen nieuwe variabelen kunnen worden gebruikt in het Query-formaat bij het vormen van de query naar de scraper en in het Resultaat-formaat bij het vormen van het resultaat

Belangrijkste use cases​

  • Het extraheren van het domein uit de link voor daaropvolgende domeincontrole in Rank::AhrefsRank::Ahrefs en soortgelijke scrapers
  • Automatische invoeging van het symbool ! voor elk woord in de query voor SE::Yandex::WordStatSE::Yandex::WordStat

Alleen een deel van de oorspronkelijke regel in de query gebruiken​

Stel we hebben een bestand met query's:

keyword1;100000
keyword2;200000

We kunnen het keyword en de reeds aanwezige gegevens over de keyword-frequentie splitsen, het keyword controleren op concurrentie en het resultaat in een bestand opslaan in het formaat keyword;frequentie;concurrentie

Proxy gebruiken buiten de proxychecker om​

Als u de variabele $proxy aanmaakt, zal in de huidige query precies deze proxy worden gebruikt, waarbij de Proxychecker wordt omzeild. De proxy moet worden doorgegeven in het formaat http://ip:port of socks://ip:port

Voorbeeld van gebruik​

Controleren op Ahrefs rating van een domein en opslaan van extra informatie uit de query
Stel dat we een bestand hebben met query's in het formaat paginalink en na een spatie de beschrijving:

http://gofuckbiz.com/showthread.php?t=30454&page=11 Forum GoFuckBiz.com   
https://searchengines.guru/ru/forum/720568 Forum SearchEngines.guru

We moeten de Ahrefs-rating voor het domein controleren met behulp van de scraper Rank::AhrefsRank::Ahrefs en de oorspronkelijke link, het domein, de Ahrefs-rating en de oorspronkelijke beschrijving in het resultaat opslaan. De taak ziet er dan als volgt uit:

Voorbeeld van het gebruik van de Query Builder

Als resultaat krijgen we:

http://gofuckbiz.com/showthread.php?t=30454&page=11  Ahrefs rating of gofuckbiz.com: 51, Description: Forum GoFuckBiz.com
https://searchengines.guru/ru/forum/720568  Ahrefs rating of searchengines.guru: 77, Description: Forum SearchEngines.guru

Voorbeeld downloaden

Hoe een voorbeeld in A-Parser te importeren

eJyFVOtO2zAUfpXIQhNMVdpC2aZICJVLp02FMii/KENecpJ6dWzjS4FVffcdO2lS
2KZJlRufy3du3/GKWGoW5kqDAWtIcrciKnyThGSQU8ct6RBFtQHt1XfkmopFkgzn
GnKDqsZoReyLAnSTS9CaZYBKluH90YF+yaUuqYdaUu681U4Qx5ksKRNk/W/3W8v4
w9RpYfADHursWqChsCylyqZzStb39x2CBpiQGVURMZLqx1UwzsQiiqrUI00tE0Uk
86g1qLJJgqTSd6IzMKlmyjJZK2pTFM9mgjTxbugSphLj5ZhmKx7h7ZKWoeSMWvDa
uOrG7l5sn30pNMuYx6e8Sto3ui3kVrDHUKmQaOujMzAjLUsUWQgAIaVNwXd1bwlC
uOD7rfIhSU65gQ4xmOqIYiLZWw2zgHVLPQn1onxFpBhyPoYl8NYs4J84xjNkxTBH
py+1499NJn9grJvytkPh6J805tCghNvJ5KL1yuRYFptmcFYyi3dzKp3ws+6hcAGg
mp5derNSamjC1Mh1dCS+AuF51o5sqFrRqzLCehjpdAobXqNJzVsNBTwHEP+fkO+7
8fvjvQjPvZ2NeBpMheMc3aQfladk2CKTknu/BQ18ranRcc6apvasWpfKm2yWp+XK
VqYoTKXIWTGpF2rDKiemuPITcSpLxcE2CTkD1y1nh6bmhr+0XXvrfBpCvHosrJTc
fL2p+qc0w0wPfYIljnc7ag2ZUs5vr8fbGu9orFQTca71G04FtpK5tSrpdguZu3Tx
g/2KU1l2zVw+WVxumsVqro7t0UFvcDh4p2gBR/1+NHO9wf7Anwfgz0EvnAdBkkaf
5QixTiqsmfARDIYwQHU6B1EwASYunHZd/OECu7L7cb93+OHT/4BvAsL5FgLxVVso
JPIHZ+LnV7+wzTu8ev3OJqs1cv+nuarM/EyCEJ9BvCKxSdJf/waafQGO