メインコンテンツへスキップ

タスクのデバッグ

テンプレートのテスト

テンプレートのテストについての詳細

タスクテスト

タスクテスターでは、複数のスクレイパーやコンストラクターを含むプリセット全体を完全にテストできます。各スレッドのログ表示と結果の確認により、全プロセスを制御可能です。すべてのデータはリアルタイムで更新されます。

タスクエディタでのタスクテスト

タスクテスターのインターフェースでは、以下の情報が利用可能です:

  • クエリ 完了/合計
    • クエリに関する情報、完了数、総クエリ数
    • 最大スレッド数 - 5
    • 最大クエリ数 - 10
  • 現在のクエリ
  • 失敗したクエリの数
  • クエリ制限の選択
  • 5つの各スレッドのログ。クエリやエラーに関する完全な情報を確認できます
  • スクレイピング結果フィールド
    • 複数の結果ファイルが使用されている場合、各ファイルの内容が表示されます
タスクテスター

テストスクレイピング

Parser Test (テストスクレイピング)タブでは、独自のプリセットを作成およびデバッグするためのテストスクレイピングが可能です。 タスクエディタとは異なり、ここではクエリや結果のコンストラクターの使用、複数のスクレイパーの使用はできず、マクロもサポートされていません。また、マルチレベルスクレイピングなど、タスクエディタでサポートされている他の機能も利用できません。

このセクションは、個別のスクレイパーをテストできるユニットテストの原則に基づいて作成されています。全プロセスがログ形式で出力されるため、クエリの送信から結果の取得まで、スクレイパー(プリセット)の動作に関する詳細な情報を得ることができます:

テストスクレイピングの実行結果

「テストスクレイピング」には、オートスクロールの無効化とデバッグモードの有効化を行うクイック設定エリアがあります。

デフォルトでは「オートスクロール」が有効になっています。これは、ログに情報が出力されるにつれて、自動的に下に移動することを意味します。


「オートスクロール」が無効になるとアイコンの形が変わり、ログに情報が出力されてもその場に留まり、自動的な下方移動は行われません。


デフォルトではデバッグモードは無効です。これは、ログにスクレイピングに関する一般的な情報が出力されることを意味します。


デバッグモードを有効にするとアイコンの形が変わり、ログにスクレイピングに関する詳細な情報が出力されるようになります。

デバッグモードを有効にしたログウィンドウでは、スクレイピングに関する詳細な情報を確認できます:

デバッグモードでのテストスクレイピング

リクエスト部分では以下を確認できます:

  • リクエスト名
  • サーバーに送信されるリクエスト文字列
  • リクエストと一緒に送信されるパラメータのリスト(ヘッダー、エンコーディング、フィルターなど)

サーバーから受け取るレスポンス部分では、以下の情報を確認できます:

  • See in debug window - リクエストの結果として取得されたページが表示されるウィンドウへのリンク

    See in debug window
  • See full data - リクエストの結果として取得されたソースコードが表示されるウィンドウへのリンク

    See full data
  • Go to Regex Builder - リクエストの結果として取得されたソースコードを含む正規表現コンストラクターへのリンク

「オートスクロール」モードが主に閲覧の利便性のために作成されているのに対し、「デバッグ」モードは独自のスクレイパーやプリセットをデバッグするための不可欠なツールです。デバッグモードのログから得られる情報を分析することで、タスクの実行中にどの段階で何が起こっているか、リクエストがどのように形成され、スクレイパーがレスポンスとして何を受け取っているかを確認できます。