JS スクレイパー: 例
注記
ここでは、主要な機能を示すJavaScriptスクレイパーの使用例をいくつか紹介します。さらに多くの例がスクレイパーカタログに掲載されています。
🔗 JS::TitleParser
任意のページのHTML titleタグのスクレイピング
🔗 JS::TextFromSE
複数の組み込みスクレイパーを1つに統合
🔗 ファイルのダウンロード
あらゆるサイズのファイルをディスクに直接保存する例
🔗 CAPTCHAの処理
CAPTCHAを処理するためのJSスクレイパーの例
🔗 ReCaptcha2の処理
リキャプチャを処理するためのJSスクレイパーの例
🔗 既存のスクレイパーの利用
JSスクレイパー内で既存のスクレイパーから結果を取得する例
🔗 SQLiteデータベースの操作
テーブル作成、データ挿入、および選択の例
🔗 MySQLデータベースの操作
mysql2モジュールの使用例。このスクレイパーはGoogleの検索結果からリンクを収集し、DBに書き込みます
🔗 ページネーションの巡回
クエリに基づいてサイトをスクレイピングし、ページを遷移する例
🔗 複数条件によるフィルタリング
多数の条件でページをフィルタリングする例。条件ファイルの読み込みにfsを使用します
🔗 画像内容によるフィルタリング
画像の内容を特定するためにGoogle Visionを使用する例
🔗 Wordpressブログへの投稿
xmlrpcテクノロジーを使用したWordpressブログへのメッセージ投稿
🔗 メールの送信
nodemailerの使用例（JSスクレイパーからのメール送信）。Yandex SMTPを使用します。
🔗 ページのスクリーンショット作成
サイトのスクリーンショット作成を例としたpuppeteer(Chrome)の操作デモ
🔗 Telegram通知
ドメイン登録期限の終了についてTelegramで通知を受け取る