一般情報
A-Parser - プロフェッショナルのためのスクレイパー
A-Parser は、検索エンジン、サイト評価サービス、キーワード、コンテンツ（テキスト、リンク、任意のデータ）、およびその他の様々なサービス（YouTube、画像、翻訳など）に対応したマルチスレッドスクレイパーです。A-Parserには 110以上の組み込みスクレイパー が含まれています。
A-Parser の主な特徴は、Windows/Linux プラットフォームのサポート、リモートアクセス可能なウェブインターフェース、コードを書かずに独自のスクレイパーを作成できる機能、そして JavaScript / TypeScript を使用して NodeJSモジュール をサポートした複雑なロジックのスクレイパーを作成できる機能です。
パフォーマンス、プロキシ対応、CloudFlare 保護の回避、高速なHTTPエンジン、puppeteer による Chrome 制御のサポート、API によるスクレイパー管理など、多くの機能が A-Parser をユニークなソリューションにしています。このドキュメントでは、A-Parserのすべての利点と使用方法を明らかにしていきます。
ユースケース
A-Parserは多くの課題を解決できます。便宜上、適用分野ごとにカテゴリ分けしました。詳細は以下のリンクからご確認ください。
AI統合
SEO担当者とスタジオ
ビジネスとフリーランス向け
開発者向け
マーケターとアナリスト向け
EC・通販とマーケットプレイス
アフィリエイトマーケター向け
機能と利点
このセクションでは、A-Parser の主な利点を簡潔にリストアップしました。詳細な情報は以下のリンクから確認できます。
すべての機能の概要
⏩ A-Parserウェビナー：概要とQ&A
マルチスレッドとパフォーマンス
- A-Parser は最新バージョンの NodeJS と JavaScript エンジン V8 に基づいて動作します
- AsyncHTTPX - HTTP/1.1およびHTTP/2、HTTPS/TLSをサポートし、オプションの認証付きHTTP/SOCKS4/SOCKS5プロキシをサポートする独自のHTTPエンジン実装です
- スクレイパーは、コンピュータの構成や解決するタスクに応じて、ほぼ無制限の同時スレッドでHTTPリクエストを実行できます
- 各タスク（クエリのセット）は、指定されたスレッド数でスクレイピングされます
- 1つのタスクで複数のスクレイパーを使用する場合、異なるスクレイパーへの各リクエストは異なるスレッドで同時に実行されます
- スクレイパーは複数のタスクを並行して実行できます
- ソースからのプロキシのチェックとロードもマルチスレッドモードで行われます
カスタムスクレイパー開発
- コードを書かずにスクレイパーを作成可能
- 正規表現の使用
- マルチページスクレイピングのサポート
- コンテンツの確認と次ページの有無のチェック
- ユーザーエージェントの置換と、リクエストごとのランダム変更機能
- ネストされたスクレイピング - 取得した結果をクエリに代入する機能
- 本格的な JSONの操作: 解析と生成
- 独自のJS関数を追加して使用することで、スクレイパー内で直接結果を処理可能
JavaScriptによるスクレイパー作成
- async/awaitに基づいた豊富な 組み込みAPI
- TypeScript のサポート
- 任意のNodeJSモジュールの接続が可能
- puppeteerによるChrome/Chromiumの制御（各タブごとの個別プロキシ対応）
クエリと結果を形成するための強力なツール
- クエリビルダー と 結果ビルダー - データの加工（検索と置換、リンクからのドメイン抽出、正規表現による変換、XPathなど）が可能
- クエリの代入 - ファイルから、単語・文字・数字の反復（指定ステップ対応）
- 結果のフィルタリング - 部分一致、一致、より大きい/より小さい
- 結果重複排除 - 行ごと、ドメインごと、メインドメインごと（A-Parser は co.uk や msk.ru を含むすべてのトップレベルドメインを認識します）
- Template Toolkit に基づく強力な結果テンプレートエンジン - 任意の形式（テキスト、csv、html、xml、カスタム形式）で結果を出力可能
- スクレイパーにはプリセットシステムが採用されており、各スクレイパーに対して様々な状況に合わせた多数の事前設定を作成できます
- すべてをカスタマイズ可能 - 枠組みや制限はありません
- 設定の エクスポート と インポート により、他のユーザーと簡単に経験を共有できます