SE::AOL::Suggest - Scraper podpowiedzi wyszukiwania AOL
Przegląd scrapera
Scraper podpowiedzi wyszukiwania według słów kluczowych w AOL. Dzięki scraperowi SE::AOL::Suggest będziesz mógł automatycznie zbierać bazy słów kluczowych z podpowiedzi wyszukiwarki AOL na zapytanie. Używając scrapera SE::AOL::Suggest można łatwo i szybko scrapować podpowiedzi AOL na zapytanie.
Dzięki wielowątkowej pracy A-Parser, prędkość przetwarzania zapytań może osiągać 4700 zapytań na minutę, co średnio pozwala uzyskiwać do 13500-14500 wyników na minutę.
Możesz używać automatycznego rozmnażania zapytań, podstawiania podzapytań z plików, iteracji kombinacji alfanumerycznych i list w celu uzyskania maksymalnej możliwej liczby wyników. Używając filtrowania wyników możesz od razu wyczyścić wynik, usuwając wszystkie niepotrzebne śmieci (używając słów wykluczających).
Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera SE::AOL::Suggest do dalszego wykorzystania (presety), zadawać harmonogram scrapowania i wiele więcej.
Zapisywanie wyników jest możliwe w takiej formie i strukturze, jakiej potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.
Zbierane dane
- Liczba wyników dla zapytania
- Podpowiedzi do zapytania
Możliwości
- Wsparcie dla wszystkich operatorów wyszukiwania AOL (site: itp.)
- Scrapuje maksymalną oddawaną przez AOL liczbę wyników - 100 stron po 20 elementów w wynikach
Zastosowania
- Zbieranie baz słów kluczowych
Zapytania
Jako zapytania należy podawać frazy wyszukiwania, na przykład:
write essay
Football
Speak in english
forex
cheap essay
Podstawianie zapytań
Możesz użyć wbudowanych makr do automatycznego podstawiania podzapytań z plików, na przykład chcemy do każdego zapytania dodać jakąś listę innych słów, wskażemy kilka głównych zapytań:
essay
article
thesis
W formacie zapytań wskażemy makro podstawiania dodatkowych słów z pliku Keywords.txt, ta metoda pozwala wielokrotnie zwiększyć wariantowość zapytań:
{subs:Keywords} $query
To makro utworzy tyle samo dodatkowych zapytań, ile znajduje się w pliku dla każdego wyjściowego zapytania wyszukiwania, co w sumie da [liczba wyjściowych zapytań(domeny)] x [liczba zapytań w pliku Keywords] = [całkowita liczba zapytań] w wyniku działania makra.
Na przykład, jeśli plik Keywords.txt będzie zawierać:
buy
cheap
W rezultacie makro podstawień zamieni 3 główne zapytania w 6:
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
Warianty wyprowadzania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w ustrukturyzowanej, np. CSV lub JSON
Eksport listy podpowiedzi
Analogicznie jak w SE::Google::Suggest.
Wyprowadzanie do tabeli CSV
Analogicznie jak w SE::Google::Suggest.
Zapisywanie w formacie SQL
Format wyniku:
[% FOREACH results;
"INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "')\n";
END %]
Przykład wyniku:
INSERT INTO serp VALUES('write essay', 'write essay for me')
INSERT INTO serp VALUES('write essay', 'write essay')
INSERT INTO serp VALUES('write essay', 'write essay online')
INSERT INTO serp VALUES('write essay', 'write essay for you')
INSERT INTO serp VALUES('write essay', 'write essay free')
INSERT INTO serp VALUES('write essay', 'write essay conclusion')
INSERT INTO serp VALUES('write essay', 'write essay today')
INSERT INTO serp VALUES('write essay', 'write essays for money')
...
Dump wyników do JSON
Analogicznie jak w SE::Google::Suggest.
Przetwarzanie wyników
A-Parser pozwala przetwarzać wyniki bezpośrednio podczas scrapowania, w tej sekcji przedstawiliśmy najpopularniejsze przypadki dla scrapera SE::AOL::Suggest
Opcja Scrapuj do poziomu (Parse to level)
Analogicznie jak w SE::Google::Suggest.
Filtrowanie wyników (użycie słów wykluczających)
Analogicznie jak w SE::Google::Suggest.