Ga naar de hoofdinhoud

Check::BackLink - controleert de aanwezigheid van link(s) in een database van links

Overzicht van de scraper​

Overzicht van de scraper: werksnelheid

De scraper stelt u in staat om backlinks te controleren, specifiek de links op pagina's van websites die naar uw site verwijzen.

De functionaliteit van A-Parser maakt het mogelijk om instellingen voor gegevensextractie op te slaan voor toekomstig gebruik (presets), schema's voor gegevensextractie in te stellen en nog veel meer.

Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit, waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV.

Toepassingen van de scraper​

Verzamelde gegevens​

  • Totaal aantal externe en interne links op de pagina
  • Controleert de aanwezigheid van een link op de opgegeven pagina: 0 en 1
    • 0 - betekent dat er geen exacte overeenkomst van de backlink is
    • 1 - betekent dat er een exacte overeenkomst van de backlink is
  • Blokkering van de opgegeven pagina voor weergave via robots.txt - 0 en 1
  • Blokkering van indexering van de pagina via de robots metatag met het attribuut noindex, evenals het blokkeren van het volgen van de link via het attribuut nofollow
  • Blokkering van het volgen van de link via het attribuut rel=nofollow

Aanvullende gegevens die kunnen worden verkregen:

  • Aantal externe en interne links op de pagina
  • Lijst van alle externe en interne links op de pagina

Mogelijkheden​

  • Controleert de aanwezigheid van een link op de opgegeven pagina, met de mogelijkheid om een link te zoeken zonder schema op basis van tekstovereenkomst
  • Controleert of de pagina is uitgesloten van indexering via robots.txt
  • Controleert de robots metatag op de aanwezigheid van de attributen noindex en nofollow
  • Controleert op de aanwezigheid van rel=nofollow bij de gevonden link
  • Zoeken naar een link op basis van tekstovereenkomst
  • Mogelijkheid om een eigen User-Agent header op te geven

Gebruiksscenario's​

  • Controleren van de plaatsing van eigen links op opgegeven pagina's
  • Zoeken naar links die alleen zichtbaar zijn voor een specifieke User-Agent (bijvoorbeeld voor de Google-bot)

Query's​

Als query's moet u de pagina opgeven waarop naar de link moet worden gezocht, gevolgd door een spatie en de gezochte link:

https://fishki.net/ https://lenta.ru/news/2020/12/18/lavina/
https://en.wikipedia.org/wiki/Moscow https://lenta.ru/news/2005/12/23/city/
http://soccerjerseys.in.net/ https://lenta.ru/news/2012/03/12/homeless/
https://tjournal.ru/ https://lenta.ru/articles/2016/02/15/deathlab/

Query-substituties​

U kunt ingebouwde macro's gebruiken voor automatische substitutie van subquery's uit bestanden. Bijvoorbeeld, als we websites willen controleren op basis van een lijst met pagina's, geven we de lijst met pagina's op waar gezocht moet worden naar links:

https://fishki.net/
https://en.wikipedia.org/wiki/Moscow
http://soccerjerseys.in.net/
https://tjournal.ru/

In het query-formaat geven we de macro op voor het invoegen van extra query's uit het bestand backlinks.txt. Deze methode maakt het mogelijk om een database van sites te controleren op de aanwezigheid van een lijst met links uit een bestand:

$query {subs:backlinks}

Deze macro zal voor elke oorspronkelijke zoekopdracht evenveel extra query's aanmaken als er in het bestand staan, wat resulteert in: [aantal oorspronkelijke query's (paginalinks)] x [aantal query's in het bestand backlinks] = [totaal aantal query's] als resultaat van de macro.

U kunt ook een protocol opgeven in het query-formaat, zodat u alleen domeinen als query's kunt gebruiken:

http://$query

Dit formaat voegt http:// toe aan elke query.

Voorbeelden van resultaatuitvoer​

A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in elke gewenste vorm kunnen worden uitgevoerd, inclusief gestructureerd zoals CSV of JSON.

Standaarduitvoer​

Resultaatformaat:

$backlink - $checklink: $exists, blocked by robots.txt: $robots\n

Voorbeeld van een resultaat waarin de backlink, de link naar de pagina waar gezocht wordt, de aanwezigheid of afwezigheid van de backlink, en de controle op blokkering in robots.txt worden weergegeven:

http://soccerjerseys.in.net/ - https://lenta.ru/news/2012/03/12/homeless/: 1, blocked by robots.txt: 0
https://tjournal.ru/ - https://lenta.ru/articles/2016/02/15/deathlab/: 0, blocked by robots.txt: 0
https://en.wikipedia.org/wiki/Moscow - https://lenta.ru/news/2005/12/23/city/: 0, blocked by robots.txt: 0
https://fishki.net/ - https://lenta.ru/news/2020/12/18/lavina/: 0, blocked by robots.txt: 0

Uitvoer van backlink-aanwezigheid en extra parameters voor analyse naar een CSV-tabel​

De ingebouwde tool $tools.CSVLine maakt het mogelijk om correcte tabeldocumenten te maken, klaar voor import in Excel of Google Sheets.

Het resultaat van de variabele $actualchecklink is er alleen als de backlink op de pagina aanwezig is; als de backlink ontbreekt, is het resultaat van deze variabele none. $actualbacklink en $actualchecklink zijn de werkelijke links na eventuele redirects.

Resultaatformaat:

[% tools.CSVline(backlink, checklink, anchor, nofollow, noindex, redirect, exists, robots, actualbacklink, actualchecklink, intcount, extcount) %]

Bestandsnaam:

$datefile.format().csv

Koptekst:

Backlink,Checklink,Anchor,Nofollow,Noindex,Redirect,Exists,Robots,Actualbacklink,Actualchecklink,Intlinks count,Extlinks count

Voorbeeld van resultaat:

https://tjournal.ru/,https://lenta.ru/articles/2016/02/15/deathlab/,none,0,0,0,0,0,https://tjournal.ru/,none,112,37
https://fishki.net/,https://lenta.ru/news/2020/12/18/lavina/,none,0,0,0,0,0,https://fishki.net/,none,966,31
http://soccerjerseys.in.net/,https://lenta.ru/news/2012/03/12/homeless/,"get more information",0,0,0,1,0,http://soccerjerseys.in.net/,https://lenta.ru/news/2012/03/12/homeless/,89,20
https://en.wikipedia.org/wiki/Moscow,https://lenta.ru/news/2005/12/23/city/,none,0,0,0,0,0,https://en.wikipedia.org/wiki/Moscow,none,2733,598
...
Voorbeeld downloaden

Hoe een voorbeeld te importeren in A-Parser

eJx9VE1v4jAQ/SuR1UqtRGOg6mqVG6AidUWhS9u9UA5uMgE3jp21HaBC/Pcd5xPK
7t484zdvxjNvvCeWmcQ8aTBgDQkWe5IVZxKQ+x1LMwFeuIYw8d5ZmAguE+OxKPIy
plkKFrQhHYKGcadgsSAjBw6CIaIniMbbCGKWC0uWyw5BajyasdIpcykWlzeeVUoY
f/T8C9nhKuv5daaOh0aRvLGYDNdKF0epYiWE2lYGlxHsirOGiGsIbWHAjhtrSr96
V9WRhTZn4iRP6TrNxqUNVS5rptK49m4ul6R5yjPbwIvCp8RcQOseozXFDuHFRcQs
uFs/Lp59de3bnUUo9pFbriQTZT9cA9sevUr+O3fxUiEWj5qDGWuVostCQeCcn3Uv
F+SisAlS5EXszzKGBDETBjrEYKljhoVEX284DpJZpWeZqwf9e6LkQIgJbEC0sIJ/
mHMR4bQHMQY9VIF/h8zOOA7N845TbUBvNdbQsBTWcPbYRkVqolZ1MwRPuUXbjNxA
0NtFZwKQNT2bOliqNDRprM6hSY5yz0BGCBzWGhg1kx+UGpvW+ppW2prXurovNTUv
9TQ41dLgi44epC23plTS/e7YfJOtYgZZVRL50sUTVZw6QyVjvpph/zSPoEbm8gV3
eiZHyq2va6vMhUBVGJi36hyYSgXOaDp/FjwqUmBZ9Rp3SLGwP57LUjPNUf13rsAU
B3mctaIMmRCv88nxDWkVjcba2swElMbcrBPuS7DUq30CpGW+zqmEraH9br9Le33a
+04F23DJ6JuskSD9LU94hlNivtIr6iz6qEyotv+k6945uv4tDbn9rMgQZlQYgv7A
PsOnwW/g/zUhQ/fW8axVCgKMOarKfqhc44Y7+DkB05aHGOFIvtEuPuyORsDsWrB3
SlzrLKwU7jQO9rBsPtrmt96ffbfB/oDb8mGeSqSbrcOhD0VicBVI0Dv8AQ3PGZI=

tip

In het resultaatformaat wordt de sjabloon-engine Template Toolkit toegepast.

Wat is het resultaatformaat.

In de bestandsnaam van de resultaten hoeft u alleen de bestandsextensie te wijzigen naar csv.

Om de optie "Prepend text" beschikbaar te maken in de Task Editor, moet u "More options" activeren. In de "Prepend text" schrijven we de kolomnamen gescheiden door komma's en maken we de tweede regel leeg.

Dump van externe links van de backlink-pagina naar JSON​

Resultaatformaat:

[% data = {}; 
    data.query = query; data.links = []; 
    FOREACH item IN extlinks; 
        data.links.push(item.link); 
    END; 
    IF !firstString; 
        ",\n"; 
    ELSE; 
        firstString = 0;
    END; 
data.json %]

Koptekst:

[% firstString = 1 %][

Voettekst:

]

Voorbeeld van resultaat:

[{"query":"https://tjournal.ru/ https://lenta.ru/articles/2016/02/15/deathlab/","links":["https://vc.ru/job","https://vc.ru/job/new","https://vc.ru/job","https://twitter.com/aktroitsky","https://twitter.com/aktroitsky/statuses/1382294384931188748","https://twitter.com/aktroitsky/statuses/1382294384931188748","https://t.co/fD4AiCpbrV","https://twitter.com/aktroitsky/statuses/1382294384931188748"]}]

Verwerking van resultaten​

A-Parser maakt het mogelijk om resultaten direct tijdens de gegevensextractie te verwerken. In deze sectie hebben we de meest populaire scenario's voor de Check::BackLink scraper opgenomen.

Voeg een filter toe en kies in de vervolgkeuzelijst de variabele $exists - Link exists. Kies type: String equal. Voer vervolgens in het veld String de waarde in die gelijk is aan de aanwezigheid van een backlink: 1. Met dit filter kunt u alle resultaten met een aanwezige backlink uitvoeren.

Voeg een Result Builders (Resultatenbouwer) toe en kies in de vervolgkeuzelijst de bron: $p1.extlinks.$i.link - Link. Kies type: Extract Top Domain. Zo verkrijgen we de domeinen van de externe links.

Voorbeeld van het gebruik van een filter en de Resultatenbouwer
Voorbeeld downloaden

Hoe een voorbeeld te importeren in A-Parser

eJx9VNtuGjEQ/RVkIaWR6C4Qpar2jdAgpSIhJeSJ5MHZHcDBa29sLxch/r0z3hsp
bd88M2fO3H1gjtu1fTRgwVkWzQ8s828WsdsdTzMJrXgF8br1xuO1FGptW7AT1tnW
6G48u52yDsu4sWDIec6GhI2iGwSPEYzWBBY8l451DsztM0DehZAODJowEFkiVjCi
pjDNChx85FyicsNlTnIP3zpzQisULCjLjg2p3oAxIgHEiISCaJNyV0ZoONqwc76K
oAB8uWhXhbW+ttq+1Eoo68QXaV5e1MUlO76+VnnbkWcg0qwXlF2rjU98AzNdVAuN
eoTSA099Kgl3QNYqlcvA7YiBJ4mgKrksIlBnm6jPSnz4UpRGLD6NADsyOkWVA09A
yn2V3Zy1vcyQIve+vwofFi24tNBhFlMdcUwk+dMicBjcaTPxXUf9gWk1kHIMG5AN
zPPf5EImuAaDBTrdlY5/h0zOOI51eaehcKRbgznULF66mdw3Xoke62XVDClS4VC2
Q50rGkwXlWuArO7ZA8FSbaAO40wOdXA8gwwUrU8zsUHWqD5V8WkqJ8oDszo3MYab
dztzVi2czw8vghao3Fk0GR67mc5+6JQLRbM3hu8LU+XlaIu86xFdY60WYjkpt71K
IlczPOOJGmq6WOqYyqXEgVuYNos3sOWASaibeuY89CEwaH26mIOW9udT0YXMCEzp
mmpPcUanUUvKmEv5PB2fWlizrCisnMtsFIYLYVdrEShwYavSSVCOByYPFWxt2O/2
u2GvH/a+h5JvhOLhi6qQoIKtWIsMEsEDbZYhSeG9trHe/pOue010/aswFm5fkiHM
6jgG844jhL0NhPp/TsjQvSKelU5BgrUnWbl3HD8eL8HPCbhxIkYPIvkWdrGw6zAB
7laSv4WMWudgqfFccbA07/JzrT/ow9kXGx2OeAjv9rFA0mwJhzpcEut/y97xN4Qy
DUs=
tip

U kunt de Resultatenbouwer zo vaak toevoegen als u nodig heeft.

Zie ook:

Mogelijke instellingen​

opmerking

Algemene instellingen voor alle scrapers

Ondersteunt alle instellingen van de scraper HTML::LinkExtractorHTML::LinkExtractor, evenals extra:

Naam parameterStandaardwaardeBeschrijving
Check robots.txt☑Bepaalt of de blokkering van indexering via robots.txt moet worden gecontroleerd
Match link by substring☐Bepaalt of er gezocht moet worden naar de link op basis van tekstovereenkomst. Kan links controleren zonder schema, bijvoorbeeld op domein zonder http-protocol