Przejdź do treści głównej

Rank::Curlie - sprawdzanie obecności strony w katalogu Curlie (odpowiednik DMOZ)

img

Przegląd scrapera

Curlie jest największym i najbardziej kompletnym katalogiem w sieci, redagowanym przez ludzi. Jest tworzony i utrzymywany przez liczną społeczność dobrowolnych redaktorów ze wszystkich zakątków świata. Wcześniej znany jako DMOZ i Open Directory Project (ODP).

Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala na stosowanie dodatkowej logiki do wyników i wyświetlanie danych w różnych formatach, w tym JSON, SQL i CSV.

Zbierane dane

Dane są zbierane z serwisu curlie.org

  • Obecność strony w katalogu Curlie (odpowiednik DMOZ)

Zastosowania

  • Sprawdzanie obecności strony w katalogu curlie.org

Zapytania

Jako zapytania należy podać listę domen, na przykład:

bing.com  
learn.javascript.ru
trello.com
ellistalks.com
megastom.ru

Warianty wyświetlania wyników

A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu na wyświetlanie wyników w dowolnej formie, a także w formie ustrukturyzowanej, na przykład CSV lub JSON

Wynik domyślny

Format wyniku:

$query: $exists\n

W wyniku wyświetlona jest domena oraz jej obecność (1) lub brak (0) w katalogu curlie.org:

bing.com: 1
trello.com: 1
megastom.ru: 0
ellistalks.com: 1
learn.javascript.ru: 1

Wynik w tabeli CSV

Format wyniku:

[% tools.CSVline(query, exists) %]

Przykład wyniku:

"trello.com",1
"bing.com",1
"ellistalks.com",1
"learn.javascript.ru",1
"megastom.ru",0

Możliwe ustawienia