メインコンテンツへスキップ

用語集

スクレイパー

スクレイパーとは、指定されたクエリに基づいて指定されたウェブリソースからデータを収集し、それらを処理して、デフォルトまたは指定された形式で結果を出力するスクリプトのことです。

組み込みスクレイパー

組み込みスクレイパーとは、最初から利用可能なプリインストールされたスクレイパーであり、その動作は継続的にメンテナンスされています。

カスタムJSスクレイパー

カスタムJSスクレイパーとは、JavaScriptで書かれたオープンソースのスクレイパーであり、JSスクレイパーエディタで利用可能です。これらはタスクと一緒にエクスポートやインポートができます。これらのスクレイパーの例は、スクレイパーとプリセットのカタログで見つけることができます。

プリセット

プリセットとは、タスクエディタでスクレイパー、設定、オプションを組み合わせて作成される保存済みタスクと、個別のスクレイパー設定(設定プリセット)の両方を指します。

スクレイパー設定

スクレイパー設定とは、標準とは異なる結果を得るために、スクレイパーの動作アルゴリズムを編集または変更(オーバーライド)できるオプションのことです。

保存済みタスク

保存済みタスクとは、保存され、繰り返し再利用できるプリセットのことです。

スレッド設定

スレッド設定とは、名前を付けて保存し、異なるプリセットで再利用できるスレッド設定の集合体です。

スレッド

スレッドとは、スクレイピングのために同時に実行される複数のコンテキストのことで、スクレイパーはこれらの中で並列にクエリを実行し、スレッド設定で指定された特定の戦略に従ってプロキシを切り替え、各クエリのスクレイピング実行プロセスをログに記録します。

プロキシチェッカー

プロキシチェッカーは、プロキシチェッカーの設定セットを使用して、プロキシの読み込みと確認を担当するコントローラーです。

プロキシ

プロキシとは、特定の形式の文字列/文字列配列(または文字列/文字列配列へのリンク)であり、スクレイピングでリクエストを送信し、中間プロキシサーバーを介してサーバーからクライアントへデータパケットを転送することで、実際のIPアドレスを隠すことを可能にします。

結果テンプレート

結果テンプレートとは、直接指定するか、組み込みのテンプレートエンジン Template Toolkit を使用して、結果の形式と収集するデータを定義するテンプレートです。