メインコンテンツへスキップ

概要と活用方法

A-Parserに組み込まれているすべての既存のスクレイパーのテーマ別リストです。説明と各ページへのリンクが含まれています。

検索エンジンスクレイパー​

スクレイパー名説明
SE::GoogleSE::GoogleGoogle検索結果からの全データスクレイピング：リンク、アンカー、スニペット、関連キーワード、広告ブロックのスクレイピング。マルチスレッド、ReCaptcha回避対応
SE::YandexSE::YandexYandex検索結果からの全データスクレイピング：リンク、アンカー、スニペット、関連キーワード、広告ブロックのスクレイピング。最大深度スクレイピング
SE::AOLSE::AOLAOL検索結果からの全データスクレイピング：リンク、アンカー、スニペット
SE::BingSE::BingBing検索結果からの全データスクレイピング：リンク、アンカー、スニペット、関連キーワード。最大深度スクレイピング
SE::BaiduSE::BaiduBaidu検索結果からの全データスクレイピング：リンク、アンカー、スニペット、関連キーワード
SE::BaiduSE::BaiduBaidu検索結果からの全データスクレイピング：リンク、アンカー、スニペット、関連キーワード
SE::DogpileSE::DogpileDogpile検索結果からの全データスクレイピング：リンク、アンカー、スニペット、関連キーワード
SE::DuckDuckGoSE::DuckDuckGoDuckDuckGo検索結果からの全データスクレイピング：リンク、アンカー、スニペット
SE::SeznamSE::Seznamチェコの検索エンジン seznam.cz スクレイパー：リンク、アンカー、スニペット、関連キーワード
SE::YahooSE::YahooYahoo検索結果からの全データスクレイピング：リンク、アンカー、スニペット、関連キーワード。最大深度スクレイピング
SE::YoutubeSE::YoutubeYoutube検索結果からのデータスクレイピング：リンク、タイトル、説明、ユーザー名、プレビュー画像リンク、視聴回数、動画の長さ
SE::AskSE::AskAsk.com経由でのGoogle米国検索結果スクレイパー：リンク、アンカー、スニペット、関連キーワード
SE::RamblerSE::RamblerRambler検索結果からの全データスクレイピング：リンク、アンカー、スニペット
SE::StartpageSE::StartpageStartpage検索結果からの全データスクレイピング：リンク、アンカー、スニペット

ユースケース​

検索エンジン順位スクレイパー​

スクレイパー名説明
SE::Google::PositionSE::Google::PositionGoogleでのキーワード別サイト順位チェック：リンク、全順位リスト
SE::Yandex::PositionSE::Yandex::PositionYandexでのキーワード別サイト順位チェック：リンク、全順位リスト
SE::Bing::PositionSE::Bing::PositionBingでのキーワード別サイト順位チェック：リンク、全順位リスト

ユースケース​

検索サジェストスクレイパー​

スクレイパー名説明
SE::Google::SuggestSE::Google::SuggestGoogleサジェストスクレイパー：クエリごとの結果数、検索サジェスト、クエリタイプ
SE::Yandex::SuggestSE::Yandex::SuggestYandexサジェストスクレイパー：クエリごとの結果数、検索サジェスト
SE::Bing::SuggestSE::Bing::SuggestBingサジェストスクレイパー：クエリごとの結果数、検索サジェスト
SE::Aol::SuggestSE::Aol::SuggestAolサジェストスクレイパー：クエリごとの結果数、検索サジェスト
SE::Yahoo::SuggestSE::Yahoo::SuggestYahooサジェストスクレイパー：クエリごとの結果数、検索サジェスト
SE::Youtube::SuggestSE::Youtube::SuggestYoutubeサジェストスクレイパー：検索サジェスト

ユースケース​

キーワードスクレイパー​

スクレイパー名説明
SE::Google::TrendsSE::Google::TrendsGoogleによるトレンドキーワードスクレイパー
SE::Yandex::WordCraftSE::Yandex::WordCraftYandex Webmaster WordCraftを使用したYandex検索のユーザークエリおよび人気サイトスクレイパー
SE::Yandex::WordstatSE::Yandex::Wordstatwordstat.yandex.ruサービスからのキーワードおよび表示統計スクレイパー
SE::Yandex::Wordstat::ByDateSE::Yandex::Wordstat::ByDate月別または週別のYandex WordStat表示統計、キーワード統計スクレイパー
Rank::Bukvarix::DomainRank::Bukvarix::DomainBukvarixからのドメイン別キーワード収集：キーワード、頻度、順位
Rank::Bukvarix::KeywordRank::Bukvarix::KeywordBukvarixからのキーワード別キーワード収集：キーワード、頻度、順位
Rank::Ahrefs::KeywordDifficultyRank::Ahrefs::KeywordDifficultyキーワードの難易度、キーワード、キーワード数
Rank::Ahrefs::KeywordGeneratorRank::Ahrefs::KeywordGeneratorAhrefsキーワード収集：キーワードアイデア、キーワードを含む質問
SE::Google::KeywordPlannerSE::Google::KeywordPlannerサジェスト、キーワード、競合、最小・最大入札額の収集
SE::Yandex::DirectSE::Yandex::Direct特定のクエリに対する広告数、タイトル、テキストとドメイン、リンク、アンカー、タグ

ユースケース​

アカウント登録​

スクレイパー名説明
SE::Yandex::RegisterSE::Yandex::RegisterYandexでのアカウント登録

ユースケース​

サイト・ドメインパラメータースクレイパー​

スクレイパー名説明
SE::Google::TrustCheckSE::Google::TrustCheckサイトの信頼性（trust）チェック
SE::Google::CompromisedSE::Google::Compromised「This site may be hacked」という表示の有無を確認
SE::Google::SafeBrowsingSE::Google::SafeBrowsingGoogleブラックリスト内のドメインチェック
SE::Yandex::SafeBrowsingSE::Yandex::SafeBrowsingYandexブラックリスト内のドメインチェック
SE::Yandex::SQISE::Yandex::SQIYandexにおけるサイト品質指数（SQI）のチェック
Net::WhoisNet::Whoisドメインが登録済みかどうかの判定、作成日、および登録期限日の取得
Net::DnsNet::DnsドメインをIPアドレスに解決するスクレイパー
Rank::CmsRank::Cmsすべての人気フォーラム、ブログ、CMS、ゲストブック、Wiki、その他多くのエンジンタイプを特定
Rank::ArchiveRank::Archiveウェブアーカイブにおけるサイトの初回および最終キャッシュ日のスクレイパー
Rank::MajesticSEORank::MajesticSEOmajesticseo.comサービスからのバックリンク数スクレイパー
Rank::MustatRank::Mustatサイトのトラフィック評価、およびドメインの価値と評価
Rank::Social::SignalRank::Social::Signalソーシャルシグナルスクレイパー
Rank::CurlieRank::CurlieCurlieディレクトリ（DMOZの後継）へのサイト掲載確認
Rank::AhrefsRank::Ahrefsahrefs.comスクレイパー
Rank::KeysSoRank::KeysSokeys.soスクレイパー
Rank::MOZRank::MOZMOZスクレイパー
SecurityTrails::IpSecurityTrails::IpIPからドメインを収集
SecurityTrails::DomainSecurityTrails::DomainSecurityTrailsスクレイパー

ユースケース​

各種サービススクレイパー​

スクレイパー名説明
SE::Yandex::RegisterSE::Yandex::RegisterYandexでのアカウント登録を可能にします
SE::Bing::TranslatorSE::Bing::Translatorwww.bing.com/translator/ サービスによる翻訳
SE::Google::TranslateSE::Google::TranslateGoogle翻訳
SE::Yandex::TranslateSE::Yandex::TranslateYandex翻訳
SE::Bing::ImagesSE::Bing::ImagesBing検索エンジンからの画像スクレイパー
SE::Google::ImagesSE::Google::ImagesGoogleキーワード別画像スクレイパー
SE::Google::ByImageSE::Google::ByImageリンクによる画像検索
SE::Yandex::ImagesSE::Yandex::ImagesYandexキーワード別画像スクレイパー
SE::Yandex::ByImageSE::Yandex::ByImageYandexからのリンクによる画像スクレイパー
SE::DuckDuckGo::ImagesSE::DuckDuckGo::ImagesDuckDuckGoからの画像スクレイパー
SE::Dogpile::ImagesSE::Dogpile::ImagesDogpileからの画像スクレイパー
Util::AntiGateUtil::AntiGateAntiGateサービスによるCAPTCHA認識
Util::YandexRecognizeUtil::YandexRecognizeYandexのCAPTCHA認識
Util::ReCaptcha2Util::ReCaptcha2Anti-captcha.com, Rucaptcha.com, Capmonster, Capmonster.cloud, Xevil, 2captcha, R.I.P.captchaリソースによるReCaptcha認識
SEO::PingSEO::PingWeblog APIをサポートするサービス（Google Blog Search, Feed Burner, Ping-o-Maticなど）へのPingリクエストの一括送信
Check::RosKomNadzorCheck::RosKomNadzorロシア通信監督局（Roskomnadzor）データベースでのサイト確認
SE::Yandex::SpellerSE::Yandex::SpellerYandex.Spellerによるページ内のテキストエラーチェック
GooglePlay::AppsGooglePlay::AppsGoogle Playアプリスクレイパー
Social::Instagram::PostSocial::Instagram::PostInstagramの投稿データスクレイパー
Social::Instagram::ProfileSocial::Instagram::ProfileInstagramのプロフィールデータスクレイパー
Social::Instagram::TagSocial::Instagram::TagInstagramのタグ別投稿スクレイパー
Social::Instagram::GeoSocial::Instagram::GeoInstagramの指定した場所の投稿スクレイパー
Telegram::GroupScraperTelegram::GroupScraperTelegram公開グループのデータスクレイパー
API::Server::RedisAPI::Server::RedisRedisを介したA-Parserの操作
SE::Google::CacheSE::Google::CacheGoogleキャッシュ内のページ存在確認
Social::Instagram::GeoSocial::Instagram::GeoInstagramの指定した場所の投稿スクレイパー
DeepL::TranslatorDeepL::Translatorwww.deepl.com サービスによるテキスト翻訳
CoinMarketCap::LastPriceCoinMarketCap::LastPriceCoinMarketCapショップスクレイパー：トークン名、現在のUSD価格

ユースケース​

ショップスクレイパー​

スクレイパー名説明
Shop::AmazonShop::Amazonamazon.com検索結果スクレイパー
Shop::Yandex::MarketShop::Yandex::MarketYandex.Marketスクレイパー
Shop::AliExpressShop::AliExpressShop::AliExpress検索結果スクレイパー
Shop::eBayShop::eBayEbay検索結果スクレイパー
Shop::Wildberries::ProductsListShop::Wildberries::ProductsListWildberries商品リストスクレイパー
Shop::Wildberries::ProductInfoShop::Wildberries::ProductInfoWildberries商品ページスクレイパー
Shop::Wildberries::SuggestShop::Wildberries::SuggestWildberries検索サジェストスクレイパー
Shop::Yandex::MarketShop::Yandex::MarketYANDEX.MARKETからの商品スクレイパー

ユースケース​

地図スクレイパー​

スクレイパー名説明
Maps::GoogleMaps::GoogleGoogleマップスクレイパー：組織名、住所と座標、評価、レビュー数と価格帯、ウェブサイト、電話番号、写真
Maps::YandexMaps::YandexYandexマップスクレイパー：組織名、住所と座標、評価、レビュー数と価格帯、ウェブサイト、電話番号、写真、SNS

ユースケース​

コンテンツスクレイパー​

スクレイパー名説明
Check::BackLinkCheck::BackLinkリンクデータベースに基づいて、あなたのリンクの存在を確認します
HTML::LinkExtractorHTML::LinkExtractor指定したサイトからの外部リンクおよび内部リンクスクレイパー。選択したレベルまで内部リンクを辿ることが可能
HTML::ArticleExtractorHTML::ArticleExtractor記事スクレイパー
HTML::TextExtractorHTML::TextExtractorテキストブロックスクレイパー
HTML::TextExtractor::LangDetectHTML::TextExtractor::LangDetect外部サービスを使用しないページ言語の判定
HTML::EmailExtractorHTML::EmailExtractorサイトページからのメールアドレススクレイピング
Net::HTTPNet::HTTP指定したページをダウンロード。マルチページスクレイピングをサポート

ユースケース​