Rank::MajesticSEO - Scraper liczby linków zwrotnych z serwisu majesticseo.com
Przegląd scrapera
Scraper Majestic to jeden z najbardziej pożądanych scraperów dla specjalistów SEO, ponieważ pozwala uzyskać tak ważne wskaźniki jak Trust Flow i Citation Flow. Za pomocą zautomatyzowanego, wielowątkowego scrapera Majestic możesz scrapować takie dane jak: liczba domen odsyłających, linków zwrotnych (backlinków), zaindeksowanych stron.
Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania do dalszego wykorzystania (presety), ustawiać harmonogram scrapowania i wiele więcej.
Dzięki wielowątkowej pracy A-Parser, prędkość przetwarzania zapytań może osiągać 100 zapytań na minutę przy użyciu zaledwie 50 wątków.
Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.
Zbierane dane
Dane są zbierane z serwisu www.majesticseo.com
- Liczba domen odsyłających
- Liczba linków zwrotnych (backlinków)
- Liczba zaindeksowanych stron
- Wskaźniki Trust Flow i Citation Flow
Warianty wykorzystania
- Uzyskiwanie zbiorczych informacji o domenie
- Ocena liczby linków zwrotnych
- Ocena ruchu w domenie
Zapytania
Jako zapytania należy podać listę domen, na przykład:
a-parser.com
yandex.ru
google.com
vk.com
facebook.com
youtube.com
Warianty wyprowadzania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w formie ustrukturyzowanej, na przykład CSV lub JSON
Eksport listy wyników
Format wyniku:
$query - domains: $domains, backlinks: $backlinks, trust: $trustflow, citation: $citationflow, indexed: $indexed\n
W wyniku wyświetlana jest domena, liczba linków zwrotnych, liczba odsyłających adresów IP, trust, cytowanie, zaindeksowane strony.
Przykład wyniku:
facebook.com - domains: 28384898, backlinks: 83357892873, trust: 99, citation: 99, indexed: 6743835203
a-parser.com - domains: 380, backlinks: 90219, trust: 12, citation: 38, indexed: 16121
yandex.ru - domains: 592182, backlinks: 1751277762, trust: 88, citation: 82, indexed: 92468056
google.com - domains: 21134537, backlinks: 32206959211, trust: 100, citation: 100, indexed: 3278520318
vk.com - domains: 1145676, backlinks: 3235015237, trust: 90, citation: 85, indexed: 372205938
...
Wyprowadzanie do tabeli CSV
Wbudowane narzędzie $tools.CSVLine pozwala tworzyć poprawne dokumenty tabelaryczne, gotowe do importu do Excela lub Google Sheets.
Format wyniku:
[% tools.CSVline(query.orig,domains,trustflow,citationflow,indexed) %]
Nazwa pliku:
$datefile.format().csv
Tekst początkowy:
Domena,Domeny odsyłające,Trust,Cytowanie,Indeksacja
Przykład wyniku:
Domena,Domeny odsyłające,Trust,Cytowanie,Indeksacja
a-parser.com,380,12,38,16121
yandex.ru,592182,88,82,92468056
vk.com,1145676,90,85,372205938
facebook.com,28384898,99,99,6743835203
google.com,21134537,100,100,3278520318
W Formacie wyników stosowany jest silnik szablonów Template Toolkit do wyprowadzania wyników.
W nazwie pliku wyników wystarczy zmienić rozszerzenie pliku na csv.
Aby opcja "Prepend text" była dostępna w Edytorze zadań, należy aktywować "More options". W "Prepend text" wpisujemy nazwy kolumn oddzielone przecinkami i drugą linię zostawiamy pustą.
Zapisywanie w formacie SQL
Format wyniku:
INSERT INTO serp VALUES('$query.orig', '$domains', '$backlinks', '$trustflow', '$citationflow', '$indexed')\n
Przykład wyniku:
INSERT INTO serp VALUES('google.com', '21134537', '32206959211', '100', '100', '3278520318')
INSERT INTO serp VALUES('vk.com', '1145676', '3235015237', '90', '85', '372205938')
INSERT INTO serp VALUES('yandex.ru', '592182', '1751277762', '88', '82', '92468056')
INSERT INTO serp VALUES('a-parser.com', '380', '90219', '12', '38', '16121')
INSERT INTO serp VALUES('facebook.com', '28384898', '83357892873', '99', '99', '6743835203')
Zrzut wyników do JSON
Ogólny format wyniku:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = p1.query.orig;
obj.indexed = p1.indexed;
obj.domains = p1.domains;
obj.citationflow = p1.citationflow;
obj.trustflow = p1.trustflow;
obj.backlinks = p1.backlinks;
obj.json %]
Tekst początkowy:
[
Tekst końcowy:
]
Przykład wyniku:
[
{"indexed":"372205938","domains":"1145676","citationflow":"85","query":"vk.com","trustflow":"90","backlinks":"3235015237"},
{"indexed":"92468056","domains":"592182","citationflow":"82","query":"yandex.ru","trustflow":"88","backlinks":"1751277762"},
{"indexed":"6743835203","domains":"28384898","citationflow":"99","query":"facebook.com","trustflow":"99","backlinks":"83357892873"},
{"indexed":"3278520318","domains":"21134537","citationflow":"100","query":"google.com","trustflow":"100","backlinks":"32206959211"},
{"indexed":"16121","domains":"380","citationflow":"38","query":"a-parser.com","trustflow":"12","backlinks":"90219"}
]
Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".
Przetwarzanie wyników
A-Parser pozwala przetwarzać wyniki bezpośrednio podczas scrapowania, w tej sekcji przedstawiliśmy najpopularniejsze przypadki dla scrapera Rank::MajesticSEO
Zapisywanie domen z odpowiednim trustem
Dodaj filtr i z listy rozwijanej wybierz zmienną wartości sprawdzenia $trustflow - Trust flow. Wybierz typ, na przykład: >. Następnie w polu Number (Liczba) wpisz wartość, której potrzebujesz 10. Dzięki takiemu filtrowi będziesz mógł usunąć wszystkie wyniki z wartością Trust flow mniejszą niż 10.
Pobierz przykład
Jak zaimportować przykład do A-Parsera
eJx9VFFP20AM/ivRCaRNggoe9lK0SQWt0iagDMpT24cjcbqjl3O4u5RWUf479iW9
tMD21Nr+7LM/f3EtvHQrd2fBgXdiOKtFGf6LobiXZjUc3shncF6lDz8nyWkyVtqD
TWAji1KDOBGltA4sZ84+JlA8g1xW2ouTWvhtCVQW12CtyjhZZWSXFjdbC94qcORb
S10x7PzsTDT/zgruHm0R/f/g6V+LxV6CtxXswfMwFoVpdu6W6tvK+VzjKznb6LSF
/jjokQwsvUJDlgPjRLNY7Kq4MdpCcrHZcZJJL5PvSd1cJMncsDV4qcBuyVeet38H
aNXyYhfNsJDKuDbeGTH4JNOVVmbVhaMZAbH9FhDNCEiVl9x3j9n3RJgyGWwgaxGd
wcHjxVGIPzs087mJzLkHuYYptpRC7ybdwK0smDROBI4O8sDPl68DvyGBCJllihuQ
uiWORdWT+WjUSyDdIGGZMNLLmLbKy4JQILC4I30mjoItqEQVcv+0OWKYS+3gRDhq
dSypkex9RNG6pUc7Caslfy3QjLS+hjXoHhbqX1ZKZ/QFjHJK+tUlfg6ZfKjRxPH2
nyLtvlrqIVYJ1uXkps/K8BqXNHn2RHNrVShPtrvCyrDeWJYrgDJydsucFWghPtNV
7l6n778Ewx9Kv7JR2bsOxjhYy6EzJfmo5aT7+HbIykzpyEzMFfLR4LlMpTWtxcF9
L4+R69bARt/g++Sr8ASPvrsswiNq9/uhbbW0iuT3jRssiMn9V7uSqdT68f56PyJ6
SZEhT9urNkixmJutZNkPbDU3S8Ql6Ta416v2N5cpPCF2luDyHpZIwqPhm0W8kPHE
1p/cyWHd0FKf3V2LZQYYST6i0oXzct68AXxQ/Fc=
Zobacz również: Filtry wyników
Możliwe ustawienia
| Nazwa parametru | Wartość domyślna | Opis |
|---|---|---|
| Check type | Root domain | Pozwala wybrać typ sprawdzenia: Root Domain / Subdomain / URL |
| Use Chrome (Slow) | ☐ | Wskazuje na użycie przeglądarki Chrome dla wszystkich zapytań |
| Use Headless mode for Chrome | ☑ | Użyj trybu Headless dla zapytań przez przeglądarkę |
| Use Stealth mode for Chrome | ☐ | Maskuj użycie przeglądarki przy zapytaniach przez przeglądarkę |
| Use HTTP2 for requests without Chrome | ☐ | Użyj HTTP/2 dla zapytań bez przeglądarki |
| Emulate browser headers for requests without Chrome | ☐ | Emuluj nagłówki przeglądarki przy zapytaniach bez przeglądarki |
| User-agent for requests without Chrome | [% tools.ua.random() %] | Nadpisanie User-Agent dla zapytań bez przeglądarki |
| Additional headers for requests without Chrome | Accept, Accept-Encoding, Accept-Language | Pozwala ustawić nagłówki dla zapytań bez przeglądarki. Działa analogicznie do Additional headers w  Net::HTTP. |