SE::Quora - Quora検索結果スクレイパー
スクレイパーの概要
SE::Quora - Quoraの検索結果スクレイパー。同名のサービスから結果を収集します。
可能な限り多くの結果を取得するために、クエリの自動増殖、ファイルからのサブクエリの置換、英数字の組み合わせやリストの反復を使用できます。
A-Parserの機能により、SE::Quoraスクレイパーのスクレイピング設定を将来の使用のために保存（プリセット）したり、スクレイピングのスケジュールを設定したりすることが可能です。
内蔵された強力なテンプレートエンジン Template Toolkit により、結果に追加のロジックを適用し、JSON、SQL、CSVを含む様々なフォーマットでデータを出力できるため、必要な形式と構造で結果を保存できます。
収集データ
Quoraには、Questions、Answers、Posts、Profiles、Topics、Spacesの6種類のタイプの結果が存在します。タイプごとにデータセットが異なるため、スクレイパーでは各タイプが独自の配列に記録されます。タイプに応じて以下が収集されます：
- 質問へのリンク、質問文、回答数、日付
- 回答の著者、回答文、回答内のメディアへのリンク、回答の日時、投票数、閲覧数、シェア数
- 投稿へのリンク、投稿のタイトル、投稿文、投稿内のメディアへのリンク、著者の名前とプロフィールへのリンク、公開日時、投票数、閲覧数、シェア数
- および、結果のタイプに応じたその他のデータ
機能
- 必要な結果タイプの選択、またはすべての同時スクレイピング
- 結果の期間選択
ユースケース
- Quoraからデータを取得する必要があるあらゆるシナリオ
クエリ
クエリとしてキーワードを指定する必要があります。例：
test
結果の出力例
A-Parserは、内蔵されたテンプレートエンジン Template Toolkit により柔軟な結果のフォーマットをサポートしており、任意の形式や、CSVやJSONなどの構造化された形式で結果を出力できます。
デフォルト出力
結果のフォーマット：
$questions.format('$question\n')
結果の例：
What is the best free online IQ test?
What is software testing?
How reliable is the DNA testing offered by sites like Ancestry.com or 23andMe?
How can I pass a urine drug test for meth?
How do you know if you're really smart without taking an IQ test?
Which is the best test series for CAT?
How reliable are online IQ tests?
Is software testing a good career choice?
What is the best test series for the GATE examination?
What is the best way to get my IQ checked online?
...
クッキーの取得
認証に必要な必須オプションの取得
スポイラー: クッキーを見つける方法は？
- quora.comにアクセスし、ログインする
- 開発者ツール（F12）を開き、ページを更新する
- Networkタブに移動し、quora.comへのリクエストを探す
- クッキーの文字列全体をコピーする
情報
弊社のテストではアカウントはBANされませんが（将来的に変更される可能性があります）、10スレッド以上でスクレイピングを行うと、Quoraはエラーやリクエスト過多のメッセージを出し始めます。そのため、少数のスレッドでスクレイピングするか、複数のアカウントのクッキーを使用することをお勧めします。
可能な設定
| パラメータ | デフォルト値 | 説明 |
|---|---|---|
| Pages count | 5 | 検索結果のページ数 |
| Results type | Questions | 結果のタイプ |
| Results time | All time | 結果の期間 |
| Cookie | 認証済みアカウントのクッキーを指定するフィールド。複数のアカウントのクッキーを指定でき、スクレイパーは試行ごとにランダムに選択します。 |