SE::Yandex::WordCraft - Scraper WordCraft. Zoekwoordenonderzoek en marktanalyse

Overzicht van de scraper
Yandex WordCraft (Wordcraft) is een onderdeel van de Yandex Webmaster-service, waarmee u doelgerichte zoekopdrachten kunt selecteren voor promotie en advertenties, rekening houdend met populariteit en de concurrentieomgeving. Honderden miljoenen unieke zoekopdrachten zijn beschikbaar voor analyse. Vraag, weergaven, klikken en posities worden weergegeven als een maandelijks gemiddelde over het afgelopen jaar.
De scraper voor zoekopdrachten Yandex WordCraft ondersteunt automatische vermenigvuldiging van zoekopdrachten, zodat u er zeker van kunt zijn dat u het maximale aantal resultaten uit de zoekresultaten ontvangt.
De functionaliteit van A-Parser stelt u in staat om instellingen voor gegevensextractie op te slaan voor toekomstig gebruik (presets), schema's voor gegevensextractie in te stellen en nog veel meer. U kunt automatische vermenigvuldiging van zoekopdrachten gebruiken, subquery's uit bestanden invoegen, alfanumerieke combinaties en lijsten doorlopen om de maximaal mogelijke hoeveelheid resultaten te verkrijgen bij de gegevensextractie van Yandex Wordstat.
Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder TXT, JSON, SQL en CSV.
Accounts
Voor de werking van de scraper
SE::Yandex::WordCraft zijn Yandex-accounts vereist. Accounts kunnen worden geregistreerd met de scraper
SE::Yandex::Register of u kunt bestaande accounts toevoegen aan het bestand files/SE-Yandex/accounts.txt in het ondersteunde formaat.
U kunt ook accountregistratie "on-the-fly" inschakelen.
Om te werken met autorisatie via sessie, moet de gegevensregel in dit formaat zijn:
[email protected];MAQT78Z31Rinx4H;{"answer":"qmfhsxdcrk","proxy":"185.104.120.45:3128","session_id":"3:1748440908.5.0.1748440867459:ZXBxpg:47e4.1.2:1|2191075974.41.2.2:41.3:1748440908|3:10308131.797655.5pfkoRZWgLJGntKTlcUhYdysNfk"}
Verzamelde gegevens
- Gebruikersquery's (basis):
- Query, concurrentie, vraag, klikken
- Gebruikersquery's (aanvullend):
- Query, concurrentie, vraag, klikken
- Populaire sites in Yandex-zoekopdrachten (sites):
- Site, weergavefrequentie, gemiddelde positie
- Populaire sites in Yandex-zoekopdrachten (pagina's):
- URL, weergavefrequentie, gemiddelde positie, aantal query's, titel
Toepassingen
- Beoordeling van concurrentie per trefwoord (vraag, klikken)
- Zoeken naar nieuwe trefwoorden in een vergelijkbaar thema
- Verzamelen van grote databases met trefwoorden van verschillende thema's
- Alle andere opties die de gegevensextractie van Yandex Webmaster WordCraft in welke vorm dan ook inhouden
Query's
Als query's moeten trefwoorden worden opgegeven, op dezelfde manier alsof ze rechtstreeks in het zoekveld van WordCraft worden ingevoerd, bijvoorbeeld:
stofzuiger
seo
Opties voor resultaatweergave
A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een willekeurige vorm kunnen worden weergegeven, evenals in een gestructureerde vorm, zoals CSV of JSON
Standaard uitvoer
Voorbeeld van de weergave van een lijst met gebruikersquery's (basis). Resultaatformaat:
User queries general: $uqg.format('$query,$compet,$demand,$clicks\n')
In het resultaat de lijst:
stofzuiger,HIGH,33190,9248
stofzuiger,HIGH,31204,8768
stofzuiger,HIGH,14097,6082
...
stofzuiger,HIGH,791,656
Om resultaten weer te geven met het Algemeen resultaatformaat moet u het nummer van de scraper in de taak opgeven - $p1. (parser 1) of p1. als de sjabloon-engine Template Toolkit. wordt gebruikt. Bijvoorbeeld:
User queries general: $p1.uqg.format('$query,$compet,$demand,$clicks\n')
Zie voor meer informatie over het Algemeen resultaatformaat: Bewerken van het resultaatformaat
Uitvoer naar CSV-tabel
Voorbeeld van de weergave van een lijst met gebruikersquery's (basis) in een CSV-tabel. Resultaatformaat:
[%
FOREACH uqg;
tools.CSVline(query,compet,demand,clicks);
END;
%]
Voorbeeld van de weergave van een lijst met gebruikersquery's (aanvullend) in een CSV-tabel. Resultaatformaat:
[%
FOREACH uqa;
tools.CSVline(query,compet,demand,clicks);
END;
%]
Voorbeeld van de weergave van een lijst met populaire sites in Yandex-zoekopdrachten (sites) in een CSV-tabel. Resultaatformaat:
[%
FOREACH rs;
tools.CSVline(site,popul,position);
END;
%]
Voorbeeld van de weergave van een lijst met populaire sites in Yandex-zoekopdrachten (pagina's) in een CSV-tabel. Resultaatformaat:
[%
FOREACH rp;
tools.CSVline(url,popul,position,queries,title);
END
%]
Zie ook: Resultaatfilters
Opties
- Parse queries for Rivals pages - wanneer deze optie is ingeschakeld, worden populaire query's verzameld voor elk van de links in Rivals pages. De verzamelde gegevens worden opgeslagen als een JSON-object in de variabele
$rp.$i.queries_json. Het inschakelen van deze optie verhoogt de tijd voor gegevensextractie aanzienlijk, omdat de scraper veel extra subquery's uitvoert.
Mogelijke instellingen
| Parameter | Standaardwaarde | Beschrijving |
|---|---|---|
| AntiGate preset | default | De scraper Util::AntiGate moet vooraf worden geconfigureerd - geef uw toegangssleutel en andere parameters op, en selecteer vervolgens de gemaakte preset hier |
| AntiGate preset for Login | default | AntiGate preset voor login. De scraper Util::AntiGate moet vooraf worden geconfigureerd met parameters, en selecteer vervolgens de gemaakte preset hier |
| Accounts | Only from "accounts.txt" | Selectie van de methode voor het werken met accounts: Always auto register - altijd automatisch accounts "on-the-fly" registreren, een geconfigureerde preset in de parameter SE::Yandex::Register preset moet worden geselecteerd. Auto register if no more in "accounts.txt" - eerst worden bestaande accounts uit accounts.txt gebruikt, en als deze opraken, wordt automatische registratie "on-the-fly" gebruikt, waarvoor een geconfigureerde preset in de parameter SE::Yandex::Register preset moet worden geselecteerd. Only from "accounts.txt" - alleen bestaande accounts uit accounts.txt gebruiken, en als deze opraken - de opgegeven tijd wachten (parameter Wait new accounts in "accounts.txt") op nieuwe accounts. Only by session_id from "accounts.txt" - autorisatie via cookies. |
| Wait new accounts in "accounts.txt" | 0 | Wachttijd voor het verschijnen van nieuwe accounts in accounts.txt |
| Remove bad accounts | Always, except wrong login/password | Automatische verwijdering van "slechte" accounts: Always - altijd verwijderen. Always, except wrong login/password - altijd verwijderen, behalve wanneer Yandex meldt dat een onjuiste login/wachtwoord is opgegeven. Het feit is dat Yandex een dergelijk bericht kan geven bij een IP-ban voor een volledig werkend account, daarom kunnen dergelijke accounts optioneel worden bewaard voor hergebruik. Never - nooit verwijderen. Ongeacht de gekozen optie worden accounts niet verwijderd bij proxy-/browserfouten |
| SE::Yandex::Register preset | default | Selectie van instellingenpreset voor SE::Yandex::Register |
| Use sessions | ☑ | Gebruik van sessies |
| Do not reset session if authorization passed | ☑ | Sessie niet resetten bij fouten als de scraper al is geautoriseerd |
| SE::Yandex::Register preset | default | Selectie van instellingenpreset voor SE::Yandex::Register |
