SE::Yandex::Direct - scraper reklam Yandex Direct direct.yandex.ru
Przegląd scrapera
SE::Yandex::Direct – scraper ogłoszeń Yandex Direct. Zautomatyzowane zbieranie wszystkich danych: liczba ogłoszeń dla konkretnego zapytania, title, tekst, domena, dodatkowe linki i ich kotwice, tagi.Możesz użyć automatycznego mnożenia zapytań, podstawiania podzapytań z plików, iteracji kombinacji alfanumerycznych i list, aby uzyskać maksymalną możliwą liczbę wyników. Korzystając z filtrowania wyników, możesz natychmiast wyczyścić wynik, usuwając wszystkie niepotrzebne śmieci (używając słów wykluczających).
Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera SE::Yandex::Direct do późniejszego wykorzystania (presety), ustawiać harmonogram scrapowania i wiele więcej.
Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala na stosowanie dodatkowej logiki do wyników i wyprowadzanie danych w różnych formatach, w tym JSON, SQL i CSV.
Gromadzone dane
- Liczba ogłoszeń dla konkretnego zapytania
- Title, tekst i domena
- Dodatkowe linki i ich kotwice (anchory)
- Tagi
- Czy wynik jest ogłoszeniem reklamowym
Możliwości
- Scrapuje maksymalną liczbę wyników podawaną przez Yandex Direct – 10 stron
- Obsługuje wybór regionu wyszukiwania
- Możliwość obejścia captcha za pomocą serwisu AntiCaptcha lub dowolnego innego obsługującego ich API (zaleca się włączenie parametru is_russian w ustawieniach antigate)
Warianty wykorzystania
- Zbieranie konkurentów reklamujących się na zadane zapytania
Zapytania
Jako zapytania należy podawać frazy wyszukiwania, na przykład:
Kupić latawiec
Photoshop
Okna w Warszawie
Remont mieszkań
Podstawianie zapytań
Możesz użyć wbudowanych makr do automatycznego podstawiania podzapytań z plików, na przykład chcemy do każdego zapytania dodać jakąś listę innych słów, wskażemy kilka głównych zapytań:
fantasy
tower defense
rpg
W formacie zapytań wskażemy makro podstawiania dodatkowych słów z pliku keywords.txt, ta metoda pozwala wielokrotnie zwiększyć wariatywność zapytań:
{subs:keywords} $query
To makro utworzy tyle samo dodatkowych zapytań, ile znajduje się w pliku dla każdego wyjściowego zapytania, co w sumie da [liczba zapytań wyjściowych] x [liczba zapytań w pliku Keywords] = [całkowita liczba zapytań] w wyniku działania makra.
Na przykład, jeśli plik keywords.txt będzie zawierał:
free
online
W rezultacie makro podstawień zamieni 3 główne zapytania w 6:
free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg
Warianty wyprowadzania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w formie ustrukturyzowanej, na przykład CSV lub JSON
Wyprowadzanie domyślne
Format wyniku:
$query - $totalcount\n$ads.format('$domain: $title - $text\n')
Przykład wyniku:
Photoshop - 5
www.syssoft.ru: Adobe Photoshop CS5 - Rabaty - Photoshop CS5 z rabatem od autoryzowanego partnera. Zamów teraz!
www.disted.ru: Naucz się fotografować! - Zaoczne szkolenie w języku rosyjskim w New York Institute of Photography.
www.softkey.ru: Licencjonowany Adobe Photoshop CS! - Najlepsze nowe funkcje pracy z obrazami od Adobe Photoshop.
www.softprof-it.ru: Licencja Photoshop od 23000 rubli - Niska cena Photoshop - od 23000 rubli. Zadzwoń. Sprawdź warunki zakupu.
photoshop.pro1904.ru: Wirtuozerska praca w Photoshop! - Unikalny kurs "Photoshop od zera". Zostań Mistrzem Photoshopa.
Kupić latawiec - 0
Okna w Warszawie - 33
www.imperia51.com: Okna w Murmańsku! Niskie ceny! - Bardzo niskie ceny! Gwarancja! Jakościowy montaż! To wszystko «Imperia Okien»!
mirperegorodok-kms.ru: Firma «Świat Przegród» - Systemy aluminiowe: przegrody biurowe, grupy wejściowe, drzwi...
inkar-avto.ru: Moskwa-Piter-Moskwa autobusem - Pon,wt,śr,czw - 1000 rub, pt,sob,nd - 1300.
Wyprowadzanie do tabeli CSV
Ogólny format wyniku:
[% FOREACH i IN p1.ads;
tools.CSVline(i.domain, i.title, i.text);
END %]
Nazwa pliku:
$datefile.format().csv
Tekst początkowy:
Domena,Nagłówek,Tekst
W Ogólnym formacie wyników stosowany jest silnik szablonów Template Toolkit do wyprowadzania elementów tablicy $ads w pętli FOREACH.
W nazwie pliku wyników wystarczy zmienić rozszerzenie pliku na csv.
Aby opcja "Prepend text" była dostępna w Edytorze zadań, należy aktywować "More options". W "Prepend text" wpisujemy nazwy kolumn oddzielone przecinkami i drugą linię pozostawiamy pustą.
Zapisywanie w formacie SQL
Format wyniku:
[% FOREACH ads;
"INSERT INTO ads VALUES('" _ domain _ "', '" _ title _ "', '" _ text _ "')\n";
END %]
Przykład wyniku:
INSERT INTO ads VALUES('oknamr.ru', 'Plastikowe <b>okna</b> tanio <b>w</b> <b>Moskwie</b>: kup w niskich...', 'Firma «<b>OKNA</b> <b>MOSKWY</b>» wykonuje montaż plastikowych <b>okien</b>, drzwi i przegród, a także oszklenie balkonów <b>w</b> <b>Moskwie</b> i pod Moskwą.')
INSERT INTO ads VALUES('gor-okna.ru', 'Kupić <b>okna</b> PCV tanio | <b>Okna</b> PCV <b>w</b> <b>Moskwie</b> w cenach...', 'Zamówić wysokiej jakości <b>okna</b> PCV <b>w</b> <b>Moskwie</b> z dostawą i montażem. ... <b>Moskwa</b>. od 9:00 do 21:00 codziennie.')
INSERT INTO ads VALUES('balcon-msk.ru', 'Oszklenie balkonów i loggii <b>w</b> <b>Moskwie</b>.', 'Firma «Balkony <b>Moskwy</b>» wykonuje profesjonalne oszklenie balkonów i loggii ... W cenę wliczono: <b>Okna</b> aluminiowe 3,2x0,7m h-1,5m, okap, montaż...')
INSERT INTO ads VALUES('oknaмаркет33.рф', 'Wiosna! Czas kupić nowe <b>okna</b> PCV! Prezent – Moskitiery…', '<b>Okno</b> 1.3x1.4 za 9900 pod klucz w bloku z wielkiej płyty! <b>Okno</b> 2.0x1.4 za 13500 pod klucz!')
INSERT INTO ads VALUES('topokno72.ru', 'Plastikowe <b>okna</b>. Drzwi, balkony', 'Plastikowe <b>okna</b> i dowolne konstrukcje z PCV WinTech, Exprof, Proplex, Rehau, KBE')
INSERT INTO ads VALUES('okna-moskvy1.ru', '<b>Okna</b> <b>Moskwy</b>. Oficjalna strona', 'Tylko do końca miesiąca. <b>Okna</b> REHAU z rabatem do 60%. Multiszkło w prezencie. Klikaj!')
INSERT INTO ads VALUES('russia.superjob.ru', 'Plastikowe i aluminiowe <b>okna</b>', 'Nowi koledzy już na Ciebie czekają! Wygodne wyszukiwanie, darmowe rekomendacje, szybki import. · 20 lat na rynku. Rekomendacje. Wygodne wyszukiwanie. Wsparcie online')
INSERT INTO ads VALUES('gorokna-11.ru', 'Plastikowe <b>okna</b> <b>w</b> Workucie. <b>Okna</b>,loggie,balkony', '<b>Okna</b> PCV z rabatem w Workucie')
INSERT INTO ads VALUES('shop.oknagorizont.ru', 'Sklep internetowy <b>okien</b>, tanie plastikowe <b>okna</b>...', 'Sklep internetowy <b>okien</b> bez montażu, tanie plastikowe <b>okna</b> już dziś, niskie ceny na <b>okna</b>. Dużo na stanie i na zamówienie, szybka produkcja...')
INSERT INTO ads VALUES('msk-oknaidveri.ru', 'Plastikowe <b>okna</b> PCV i wejściowe drzwi metalowe...', 'Klasyczne PCV-<b>okna</b> - to <b>okna</b>, wykonane z plastiku, certyfikowane w Ministerstwie Budownictwa Rosji i zgodne ze SNiP i innymi...')
INSERT INTO ads VALUES('oknamag.pro', 'Plastikowe <b>okna</b> na działkę kup w Oknamag Pro', 'Wymiary plastikowego <b>okna</b>: 600 wysokość, 600 szerokość. Dostępne warianty wyk.. Szybki podgląd. Kod towaru: opd0606.')
INSERT INTO ads VALUES('фурнитура-okien.рф', 'Okucia do plastikowych <b>okien</b> - Części zamienne...', 'Okucia do <b>okien</b> <b>w</b> sprzedaży detalicznej i hurtowej. Pomożemy dokonać właściwego wyboru komponentów i części zamiennych do Państwa plastikowych <b>okien</b>.')
INSERT INTO ads VALUES('OknaGarant.ru', 'Gotowe plastikowe <b>okna</b> <b>w</b> <b>Moskwie</b>, kup nowe...', '<b>Okna</b> już czekają na Państwa w naszym magazynie! Magazyn znajduje się <b>w</b> <b>Moskwie</b> w granicach MKAD. Oszczędność, koszt znacznie niższy (w porównaniu z <b>oknami</b> na zamówienie).')
INSERT INTO ads VALUES('domaster.ru', 'Akcesoria okienne i okucia kupić <b>w</b> <b>Moskwie</b>...', 'Do <b>okien</b> i drzwi. Sklep internetowy Brass — miejsce, gdzie kupisz akcesoria do pielęgnacji <b>okien</b> i okucia różnych firm z dostawą w całej Rosji.')
INSERT INTO ads VALUES('sms-m.ru', 'Plastikowe <b>okna</b> produkcja <b>w</b> <b>Moskwie</b>', 'Gdy pojawiła się kwestia minimalizacji kosztów przy produkcji budynków modułowych, firma StroyMontazhServis-M podjęła decyzję o uruchomieniu własnej...')
INSERT INTO ads VALUES('rosband.ru', 'Kupić plastikowe <b>okna</b> <b>w</b> <b>Moskwie</b>', 'Plastikowe <b>okna</b> posiadają doskonałe właściwości termoizolacyjne i nie ma potrzeby wydawać więcej ... m. <b>Moskwa</b>, 1-y Dobryninski pereulok, 19 str. 6.')
INSERT INTO ads VALUES('moskva.miltor.ru', 'Kupić plastikowe <b>okna</b> <b>w</b> <b>Moskwie</b>: 185 ofert', 'Kupić plastikowe <b>okna</b> <b>w</b> <b>Moskwie</b> mogą Państwo, korzystając z ogłoszeń na naszej stronie. Tutaj dowiedzą się Państwo o kosztach plastikowych <b>okien</b>, warunkach zamówienia i adresie...')
INSERT INTO ads VALUES('city-jaluzi.ru', 'Żaluzje na <b>okna</b> kupić tanio <b>w</b> <b>Moskwie</b> - opinie, zdjęcia...', 'Produkujemy żaluzje na <b>okna</b>, szyjemy zasłony, montujemy karnisze i rolety zewnętrzne na zamówienie od 2006 roku Ceny od 495 do 5 900 ₽ za 1 mkw, Bezpłatnie mierzymy i...')
Zrzut wyników do JSON
Ogólny format wyniku:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.ads = [];
FOREACH item IN p1.ads;
obj.ads.push({
domain = item.domain
title = item.title
text = item.text
});
END;
obj.json %]
Tekst początkowy:
[
Tekst końcowy:
]
Przykład wyniku:
[{"ads": [{"domain":"oknamr.ru","text":"Firma «<b>OKNA</b> <b>MOSKWY</b>» wykonuje montaż plastikowych <b>okien</b>, drzwi i przegród, a także oszklenie balkonów <b>w</b> <b>Moskwie</b> i pod Moskwą.","title":"Plastikowe <b>okna</b> tanio <b>w</b> <b>Moskwie</b>: kupuj po niskich..."},{"domain":"gor-okna.ru","text":"Zamówić wysokiej jakości <b>okna</b> PCV <b>w</b> <b>Moskwie</b> z dostawą i montażem. ... <b>Moskwa</b>. od 9:00 do 21:00 codziennie.","title":"Kupić <b>okna</b> PCV tanio | <b>Okna</b> PCV <b>w</b> <b>Moskwie</b> w cenach..."},{"domain":"balcon-msk.ru","text":"Firma «Balkony <b>Moskwy</b>» wykonuje profesjonalne oszklenie balkonów i loggii ... W cenę wliczono: <b>Okna</b> aluminiowe 3,2x0,7m h-1,5m, okap, montaż...","title":"Oszklenie balkonów i loggii <b>w</b> <b>Moskwie</b>."},{"domain":"окнамаркет33.рф","text":"<b>Okno</b> 1.3x1.4 za 9900 pod klucz w bloku z wielkiej płyty! <b>Okno</b> 2.0x1.4 za 13500 pod klucz!","title":"Wiosna! Czas kupić nowe <b>okna</b> PCV! Prezent – Moskitiery…"},{"domain":"okna-moskvy1.ru","text":"Tylko do końca miesiąca. <b>Okna</b> REHAU z rabatem do 60%. Multiszkło w prezencie. Klikaj!","title":"<b>Okna</b> <b>Moskwy</b>. Oficjalna strona"},{"domain":"окно61.рф","text":"Plastikowe <b>okna</b> w niskich cenach! Jakościowy montaż. Szybka dostawa. Gwarancja.","title":"<b>Okna</b> <b>w</b> Batajsku! Sezonowe rabaty"},{"domain":"gorokna-11.ru","text":"<b>Okna</b> PCV z rabatem w Workucie","title":"Plastikowe <b>okna</b> <b>w</b> Workucie. <b>Okna</b>,loggie,balkony"}]}]
Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".
Możliwe ustawienia
| Parametr | Wartość domyślna | Opis |
|---|---|---|
| Pages count | 10 | Liczba stron do scrapowania |
| Region of serp (lr=) | Moskwa | Wybór regionu wyszukiwania (parametr lr=) |
| AntiGate preset | default | Korzystanie z serwisu rozwiązywania captcha. Należy wcześniej skonfigurować scraper  Util::AntiGate - podać swój klucz dostępu i inne parametry, a następnie wybrać utworzony preset tutaj |