SE::Bing::Images - Bing検索エンジン画像スクレイパー

スクレイパーの概要

Bing画像検索結果のスクレイパーです。SE::Bing::Imagesスクレイパーを使用することで、画像リンクのデータベースや、その後の利用にすぐに使える画像を取得できます。Bingの検索バーに入力するのと同様のクエリを使用できます。

A-Parserの機能により、Bingスクレイパーのスクレイピング設定を保存して後で再利用したり（プリセット）、スクレイピングのスケジュールを設定したりすることが可能です。自動クエリ拡張、ファイルからのサブクエリの挿入、英数字の組み合わせやリストの総当たりを使用して、可能な限り多くの結果を取得できます。

組み込みの強力なテンプレートエンジン Template Toolkit により、結果を必要な形式や構造で保存できます。これにより、結果に追加のロジックを適用したり、JSON、SQL、CSVを含むさまざまなフォーマットでデータを出力したりできます。

オンラインデモへA-Parser Proを購入 ($299)

スクレイパーの使用例

リンクによる画像のダウンロード

A-Parserではジョブチェーンを使用できます。最初のジョブが完了すると2番目のジョブが開始され、最初のジョブで得られたリンクを2番目のジョブのクエリとして使用します。

サンプルをダウンロード

A-Parserにサンプルをインポートする方法

eJyNVUtT2zAQ/iuMhkNoQ2IOvfjCBNpM6VBCIZxCOqPGa1cgS0aSA4zJf++ubPwI
JvQmrfa9334qmOP23l4asOAsCxcFy/yZhexEqGTvLOUJ7H3Vj0pqHoFhQ5ZxY8GQ
8oJdfwtD0gtDr2jxOYKY59Kx5XLI0BUe7VSblJPL/exoVPmvH6/5GuYaH2MhoRFP
8XbBUyCriDug11HsHQ0ORu6JPPAoEk5oxWUZgXJqot4o8ZCTvXUGU0R9vBoBdmp0
imIH3gkJn18zXLB9f2foJvf2v0obFsZcWhgyi+lOOSYTbb8IB4Y7bWYZ5YTygmk1
kfIc1iAbNe//JBcSu2knMRqdVYb9KrM3PjZ1ie1QazCPBnOovfjbyexnYxXpc51g
5dEfrFuKVDi821OdKxpOgMJ7gKzu24VGSaoN1GGcyaEOjqDJQEWo2ExtkjWiThWd
yXSFK61ikcwwfyMieNXM1RyROVOnOs0kUFmshFgXjLmFqwYwE1sNhS51utuuTn1A
6kMF1SFzWkv747pMPDMC8fiF0k2xre0cqtauuJQ3V+ed7Bp8kWedwEoLxUjXQaIR
UljXZlh01ucCXBh+n88vW3uDKgYSeEIv2BkHyh265wzC0adjQQ0YDzKVvNxlcJy8
JCI+8M1H/TkqoY2gvTCGP1fLQ8WVL6vcOp2W3aonhvK/wP0wXkWVo1jy1pbSatC+
+BLWXHqAKK2g8Y8b6vxMtIcLLR4o245ULlypV0VR2sFDziXbtPmi2X1fsh2XWzlS
eXq4X1RnVNiMiFFKtz2IUbmU7wC9D8O99PA/6NkJwqDZO6U/JK1tNnwHaW1Q9dMs
cibvWcKCWZ2bFbkpiY6wT8OldrLlsMbeeLD4PV5+Pri9HQ2Owy7k9nswV4GgNN8s
h80/0re2PXSxRbdBHxnVm9nDwkF7/7ZXusNiwTtEtP1v+HF9xOrBbkbffu6webDp
45hgx5/Uz5W7PoOg/RFQQD8D7PmRH1JJRvX/X7z90cMCjRqiwive7+xlaUkYr3Qw
pvV7f7T5B3ZQ48A=

収集データ

• 画像へのリンク
• 画像の幅と高さ
• 画像フォーマット
• 画像掲載ページへのリンク
• アンカー
• 画像のプレビュー

機能

• ページ数の指定
• 検索言語と国の選択
• セーフサーチオプションの選択

ユースケース

• ブログやサイトのコンテンツ用画像収集
• アバターデータベースの収集

クエリ

クエリとして検索フレーズを指定する必要があります。例:

dogecoin
Football  
Waterfall  
Speak in english
Cats and dogs  
cars

クエリの置換

クエリを増殖させるために組み込みマクロを使用できます。例えば、非常に大規模なフォーラムのデータベースを取得したい場合、異なる言語でいくつかのメインクエリを指定します:

forum
フォーラム
foro
论坛

クエリ形式で a から zzzz までの文字の組み合わせを指定します。この方法により、検索結果を最大限にローテーションさせ、多くの新しいユニークな結果を得ることができます:

$query {az:a:zzzz}

このマクロは、元の検索クエリごとに 475254 個の追加クエリを作成し、合計で 4 x 475254 = 1901016 個の検索クエリになります。驚異的な数字ですが、A-Parserにとっては全く問題ありません。毎分 2000 クエリの速度であれば、このタスクは約 16 時間で処理されます。

結果の出力例

A-Parserは、組み込みのテンプレートエンジン Template Toolkit により柔軟な結果フォーマットをサポートしており、任意の形式や、CSVやJSONなどの構造化された形式で結果を出力できます。

デフォルト出力

結果フォーマット:

$serp.format('$link\n')

結果の例:

https://image.cnbcfm.com/api/v1/image/104930399-6ED2-REQ-010517-Dogecoin.jpg?v=1529477162
https://i0.wp.com/promoterdigital.com/wp-content/uploads/2017/12/Como-Comprar-Dogecoin.png?ssl=1
https://www.shdon.com/blog/images/2014/03/dogecoin-meme.png
https://www.thecoinrepublic.com/wp-content/uploads/2019/05/dogecoin.jpg
https://static.india.com/wp-content/uploads/2021/01/dogecoin.jpg
https://i0.wp.com/criptotendencia.com/wp-content/uploads/2020/07/Dogecoin-Vuelve-el-efecto-TikTok.jpg?fit=1200%2C800&ssl=1
https://www.cryptonewsz.com/wp-content/uploads/2019/01/Dogecoin-DOGE-Price-Analysis-Jan.11.jpg
https://www.mebere.com/sites/default/files/inline-images/Invest in Dogecoin.jpg
https://www.thecoinrepublic.com/wp-content/uploads/2020/04/Dogecoin-Doge-logo2.png
https://assets.coingecko.com/coins/images/7670/large/DogeCoin-Private-logo.png?1549240189
https://thelibertarianrepublic.com/wp-content/uploads/2019/05/Screen-Shot-2019-05-17-at-2.01.29-PM.jpg
https://i.teknolojioku.com/storage/files/images/2021/01/29/dogecoin-1-b1lB_cover.jpg

CSVテーブルへの出力

結果フォーマット:

[% FOREACH item IN serp;
     tools.CSVline(query, item.link, item.width, item.height, item.type, item.pagelink, item.thumb, item.anchor);
END %]

結果の例:

dogecoin,https://interanalyst.us/wp-content/uploads/2018/01/dogecoin-logo.png,900,900,png,https://interanalyst.us/markets/cryptocurrency-trading-signals/dogecoin-doge/,https://tse1.mm.bing.net/th?id=OIP.MG983TODjELbLg7pfna_8AHaHa&pid=15.1,"Dogecoin | DOGE | Investment Charts with Algorithmic Trading Signals ..."
dogecoin,http://vkool.com/wp-content/uploads/2018/03/Dogecoin-1.jpg,1200,800,jpeg,https://vkool.com/dogecoin-doge-token-review/,https://tse1.mm.bing.net/th?id=OIP.Az4VhLecunYQo3ztj_waTgHaE8&pid=15.1,"Dogecoin (DOGE) Token Review (UPDATED 2018): What is It? | VKOOL"
dogecoin,https://www.cryptonewsz.com/wp-content/uploads/2019/02/Dogecoin.jpg,2048,1304,jpeg,https://www.cryptonewsz.com/price-analysis-of-dogecoin-doge/9113/,https://tse4.mm.bing.net/th?id=OIP.5B3vzuHUWNMGotGqJGWRCQHaEt&pid=15.1,"Price Analysis of Dogecoin (DOGE) - CryptoNewsZ"
dogecoin,https://digitalmoneytimes.com/wp-content/uploads/2018/09/dogecoin-petition.jpg,1000,750,jpeg,https://digitalmoneytimes.com/dogecoin-price-1-million-doge-nearly-equals-the-value-of-1-bitcoin/,https://tse3.mm.bing.net/th?id=OIP.-1QNz1XY_Ox2_MHmb2XqJAHaFj&pid=15.1,"Dogecoin Price: 1 Million Doge Nearly Equals the Value of 1 Bitcoin ..."
dogecoin,https://www.cryptonewsz.com/wp-content/uploads/2019/01/Dogecoin-DOGE-Price-Analysis-Jan.-22.jpg,1920,1200,jpeg,https://www.cryptonewsz.com/dogecoin-doge-price-analysis-jan-22/6798/,https://tse1.mm.bing.net/th?id=OIP.-CoV662aYK1YAz8SEo3KDwHaEo&pid=15.1,"Dogecoin (DOGE): Price Analysis, Jan. 22 - CryptoNewsZ"

SQL形式での保存

結果フォーマット:

[% FOREACH serp;
    "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  anchor _ "', '";    pagelink _ "', '";  thumb _ "')\n"; 
END %]

結果の例:

INSERT INTO serp VALUES('dogecoin', 'https: //www.cryptonewsz.com/wp-content/uploads/2019/02/Dogecoin.jpg', 'Price Analysis of Dogecoin (DOGE) - CryptoNewsZ', 'https://www.cryptonewsz.com/price-analysis-of-dogecoin-doge/9113/', 'https://tse4.mm.bing.net/th?id=OIP.5B3vzuHUWNMGotGqJGWRCQHaEt&pid=15.1')
INSERT INTO serp VALUES('dogecoin', 'https: //interanalyst.us/wp-content/uploads/2018/01/dogecoin-logo.png', 'Dogecoin | DOGE | Investment Charts with Algorithmic ...', 'https://interanalyst.us/markets/cryptocurrency-trading-signals/dogecoin-doge/', 'https://tse1.mm.bing.net/th?id=OIP.MG983TODjELbLg7pfna_8AHaHa&pid=15.1')
INSERT INTO serp VALUES('dogecoin', 'https: //www.cryptonewsz.com/wp-content/uploads/2019/03/stack-of-dogecoins.jpg', 'Dogecoin (DOGE) Price Analysis : The Future of Dogecoin ...', 'https://www.cryptonewsz.com/dogecoin-doge-price-analysis-the-future-of-dogecoin-looks-very-bright/11091/', 'https://tse4.mm.bing.net/th?id=OIP.GLgXn-8nxIgTZNkUHpiQ3AHaGR&pid=15.1')
INSERT INTO serp VALUES('dogecoin', 'https: //cdn.vox-cdn.com/thumbor/G_w4Nyo9IJx5q5xa5E92vJCVyUQ=/21x0:539x345/1200x800/filters:focal(21x0:539x345)/cdn.vox-cdn.com/assets/3727699/Dogecoin_logo.png', 'Bitcoin is so 2013: Dogecoin is the new cryptocurrency on ...', 'http://www.theverge.com/2013/12/16/5216862/bitcoin-is-so-2013-dogecoin-is-new-crypto-currency-on-the-block', 'https://tse1.mm.bing.net/th?id=OIP.ILO1wN5PD5jq3AOdG13itQHaE8&pid=15.1')
INSERT INTO serp VALUES('dogecoin', 'https: //www.fxwrite.com/wp-content/uploads/2019/07/dogecoin.jpg', 'Dogecoin Price Showing Record 10.79% Uptrend Momentum', 'https://www.fxwrite.com/dogecoin-price-analysis-dogecoin-doge-is-showing-an-uptrend-momentum/', 'https://tse1.mm.bing.net/th?id=OIP.7ipqVaPp3hBRzmVPMmXYEQHaEK&pid=15.1')
INSERT INTO serp VALUES('dogecoin', 'https: //www.cryptonewsz.com/wp-content/uploads/2019/01/Dogecoin-DOGE-Price-Analysis-Jan.-22.jpg', 'Dogecoin (DOGE): Price Analysis, Jan. 22 - CryptoNewsZ', 'https://www.cryptonewsz.com/dogecoin-doge-price-analysis-jan-22/6798/', 'https://tse1.mm.bing.net/th?id=OIP.-CoV662aYK1YAz8SEo3KDwHaEo&pid=15.1')

JSONへの結果ダンプ

共通結果形式:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.images = [];

FOREACH item IN p1.serp;
    obj.images.push({
        link = item.link
        width = item.width
        height = item.height
        type = item.type
        pagelink = item.pagelink
        thumb = item.thumb
        anchor = item.anchor
    });
END;

obj.json %]

開始テキスト:

[

終了テキスト:

]

結果の例:

[{
    "images": [
        {
            "link": "http://mymodernmet.com/wp/wp-content/uploads/2017/03/gabrielius-khiterer-stray-cats-8.jpg",
            "width": "750",
            "anchor": "Dignified Stray Cat Photos Celebrate Their Unique Beauty",
            "pagelink": "https://mymodernmet.com/gabrielius-khiterer-stray-cat-photos/",
            "type": "jpeg",
            "thumb": "https://tse3.mm.bing.net/th?id=OIP.ZjfS8JQc9sahsK0-w8dRFAHaKJ&pid=15.1",
            "height": "1028"
        },
        {
            "link": "https://cms.qz.com/wp-content/uploads/2016/09/catscolonizedbyboat.jpg?quality=75&strip=all&w=1400",
            "width": "1400",
            "anchor": "DNA shows that cats colonized most of the planet by boat ...",
            "pagelink": "https://qz.com/793979/dna-evidence-shows-cats-colonized-earth-by-boat/",
            "type": "jpeg",
            "thumb": "https://tse1.mm.bing.net/th?id=OIP.V6n6qGkcNx4JquiU6AvbBAHaEK&pid=15.1",
            "height": "788"
        },
        {
            "link": "https://hddesktopwallpapers.in/wp-content/uploads/2015/09/cute-baby-cats-wallpaper.jpg",
            "width": "2560",
            "anchor": "cute baby cats wallpaper - HD Desktop Wallpapers | 4k HD",
            "pagelink": "https://hddesktopwallpapers.in/cute-baby-cats-wallpaper/",
            "type": "jpeg",
            "thumb": "https://tse4.mm.bing.net/th?id=OIP.QdEkrZjd1c_VN_aUtleoFgHaEo&pid=15.1",
            "height": "1600"
        },
        
    ],
    "query": "cats"
}]

ヒント

タスクエディタで「Prepend text」と「Append text」のオプションを利用するには、「More options」を有効にする必要があります。

設定可能な項目

注記

全スクレイパー共通の設定

パラメータ	デフォルト値	説明
Pages count	10	スクレイピングするページ数
Safe search	Moderate	セーフサーチ
Region	Based on IP	地域
Interface language	Any	インターフェース言語