SE::Quora - scraper wyników wyszukiwania Quora
Przegląd scrapera
SE::Quora - scraper wyników wyszukiwania Quora.Zbiera wyniki z serwisu o tej samej nazwie.
Możesz korzystać z automatycznego mnożenia zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych oraz list, aby uzyskać maksymalną możliwą liczbę wyników.
Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera SE::Quora do dalszego wykorzystania (presety), ustalać harmonogram scrapowania i wiele więcej.
Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.
Zbierane dane
W Quora istnieje 6 typów wyników: Questions, Answers, Posts, Profiles, Topics i Spaces. Dla każdego typu zestaw danych się różni, dlatego w scraperze każdy typ jest zapisywany do osobnej tablicy. W zależności od typu zbierane są:
- Link do pytania, treść pytania, liczba odpowiedzi i data
- Autor odpowiedzi, treść odpowiedzi, linki do mediów w odpowiedzi, data i godzina odpowiedzi, liczba głosów, wyświetleń oraz ile razy udostępniono odpowiedź
- Link do posta, tytuł posta, treść posta, linki do mediów w poście, nazwa i link do profilu autora, data i godzina publikacji, liczba głosów, wyświetleń oraz ile razy udostępniono
- i inne dane zależne od typu wyniku
Możliwości
- Wybór konkretnego typu wyniku lub scrapowanie wszystkich naraz
- Wybór zakresu czasowego wyników
Warianty użycia
- Dowolne scenariusze, w których wymagane jest pozyskiwanie danych z Quora
Zapytania
Jako zapytania należy podawać słowa kluczowe, na przykład:
test
Warianty wyświetlania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu na wyprowadzanie wyników w dowolnej formie, a także w formie strukturalnej, np. CSV lub JSON
Wynik domyślny
Format wyniku:
$questions.format('$question\n')
Przykład wyniku:
What is the best free online IQ test?
What is software testing?
How reliable is the DNA testing offered by sites like Ancestry.com or 23andMe?
How can I pass a urine drug test for meth?
How do you know if you're really smart without taking an IQ test?
Which is the best test series for CAT?
How reliable are online IQ tests?
Is software testing a good career choice?
What is the best test series for the GATE examination?
What is the best way to get my IQ checked online?
...
Pobieranie ciasteczek (cookies)
Uzyskanie obowiązkowej opcji do autoryzacji
Spoiler: jak znaleźć cookie?
- Przejdź na quora.com, zaloguj się
- Otwórz Narzędzia deweloperskie (F12) i odśwież stronę
- Przejdź do zakładki Network, znajdź zapytanie do quora.com
- Skopiuj cały ciąg cookies
Według naszych testów konta nie są banowane (może to ulec zmianie w przyszłości), ale przy scrapowaniu w więcej niż 10 wątkach Quora zaczyna zwracać błędy i komunikaty o zbyt dużej liczbie zapytań. Dlatego zaleca się scrapowanie w małej liczbie wątków lub używanie ciasteczek z kilku kont.
Możliwe ustawienia
| Parametr | Wartość domyślna | Opis |
|---|---|---|
| Pages count | 5 | Liczba stron wyników |
| Results type | Questions | Typ wyników |
| Results time | All time | Czas wyników |
| Cookie | Pole do podania ciasteczek z autoryzowanych kont. Można podać ciasteczka z wielu kont, scraper będzie losowo wybierał spośród nich dla każdej próby. |