SE::Yandex::Images - công cụ cào dữ liệu Yandex Images

Tổng quan về công cụ cào dữ liệu

Công cụ cào dữ liệu hình ảnh từ kết quả tìm kiếm Yandex. Nhờ công cụ cào dữ liệu SE::Yandex::Images, bạn có thể nhận được cơ sở dữ liệu các liên kết hình ảnh hoặc hình ảnh sẵn sàng để sử dụng tiếp. Bạn có thể sử dụng các truy vấn ở cùng định dạng mà bạn nhập vào thanh tìm kiếm của Yandex.

Tính năng của A-Parser cho phép lưu các cài đặt cào dữ liệu của công cụ cào dữ liệu Yandex để sử dụng sau này (mẫu thiết lập sẵn), đặt lịch trình cào dữ liệu và nhiều tính năng khác. Bạn có thể sử dụng tính năng tự động nhân bản truy vấn, thay thế các truy vấn phụ từ tệp, lặp qua các tổ hợp chữ-số và danh sách để nhận được số lượng kết quả tối đa có thể.

Việc lưu kết quả có thể thực hiện ở bất kỳ định dạng và cấu trúc nào bạn cần, nhờ vào bộ tạo mẫu mạnh mẽ được tích hợp sẵn Template Toolkit cho phép áp dụng logic bổ sung cho kết quả và xuất dữ liệu ở nhiều định dạng khác nhau, bao gồm JSON, SQL và CSV.

Chuyển đến bản DEMO Mua A-Parser Pro ($299)

Các trường hợp ứng dụng công cụ cào dữ liệu

Tải hình ảnh theo liên kết

A-Parser cho phép sử dụng chuỗi tác vụ, sau khi hoàn thành tác vụ thứ nhất, tác vụ thứ hai sẽ bắt đầu thực hiện, trong đó các truy vấn cho tác vụ thứ hai sẽ là các liên kết từ tác vụ thứ nhất.

Tải ví dụ

Cách nhập mẫu thiết lập sẵn vào A-Parser

eJyNVktT2zAQ/iuMJofQmsQcevGFCbSZ0qGEQjh0QjqjxmtXIEtGkkMYk//elWT8
SE3ozVrte7/95JIYqh/0lQINRpNoUZLcfZOI/KQihs3BeUZTOPgsnwSXNAZFApJT
pUFZ9QW5+RJFXjOKnKpGhRgSWnBDlsuAoDv81FOpMmrdDvLjURWjvryha5hLvEwY
h0Y8xdMlzcBaxdSAvR0lztHwcGQ21gONY2aYFJT7CDarJuqtYI+FtddGMZGiPh4V
Az1VMkOxAefECp9fM1yQgTsTdFM4+x/ehkQJ5RoCojHdKcVk4t0bZkBRI9Ustzmh
vCRSTDi/gDXwRs35Py0Yx37qSYJG55Vhv8rsHx/busR2qDWoJ4U51F7c6XT2vbGK
5YVMsfL4N9bNWcYMnvWZLIQdTojCB4C87tulREkmFdRhjCqgDo7AyUHEqNhMbZI3
ok4Vncl0hSspEpbOMH/FYnjVLMQc0TkTZzLLOdiyiIdYF46FhusGMBNdDcUe6nR3
XZ25gLYPFVQDYqTk+tuNTzxXDPH4yaabYVvbOVStXVHOb68vOtk1+LKeZQoryQSx
ugZSiZDCurZB2VmgSzBR9HU+v2rtDaooSGGDXrAzBoQ5Ms85RKMPJ8w2YDzMRfpy
n8NJ+pKy5NA1H/XnqIQ2zO6FUvS5Wh5bnL9ZFdrIzHernhjK/wB1w3gVVY4STltb
alfD7osrYU25A4iQAhr/uKHGzUQ6uNjFA6HbkfzCeb0qipAGHgvKybbNF83uu5L1
2G/lSBTZ0aCsvlFhO7KM4t32IEYUnL8B9D4M99LD/6BnLwjDZu+EfJe0dtnwDaS1
QdVPs8iZtGcJS6JloVbWjSc6i307XNtOsgxq7I2Hi1/j5cfDu7vR8CTqQm7Qg7kK
BN58uwyat6RvbXvoYoduwz4yqjezh4XD9v7trnSHxcI3iGj33XDjeo/Vw/2Mvnvd
YfNw28cx4Z43qZ8r9z0GYfshsAHdDLDnx25Inozqf4Cy702PSjRrqAqPeL7XV97W
orzSwajabf7x9i9vweZ7

Dữ liệu thu thập được

Liên kết đến hình ảnh
Liên kết đến trang chứa hình ảnh
Snippet
Anchor text
Chiều rộng và chiều cao của hình ảnh
Liên kết đến ảnh xem trước (preview)

Tính năng

Hỗ trợ tất cả các bộ lọc (kích thước, hướng, loại, màu sắc, định dạng tệp...)
Khả năng thiết lập tìm kiếm an toàn
Khả năng sử dụng Anti-Captcha

Ứng dụng

Thu thập hình ảnh để làm nội dung cho blog, tube, doorway...
Thu thập cơ sở dữ liệu ảnh đại diện (avatar)

Truy vấn

Các cụm từ tìm kiếm nên được chỉ định làm truy vấn, ví dụ:

Cats
Football  
Waterfall  
Speak in english   
cars

Thay thế truy vấn

Bạn có thể sử dụng các macro tích hợp để nhân bản các truy vấn, ví dụ: chúng ta muốn có một cơ sở dữ liệu diễn đàn rất lớn, hãy chỉ định một vài truy vấn chính bằng các ngôn ngữ khác nhau:

forum
diễn đàn
foro
论坛

Trong định dạng truy vấn, chúng ta sẽ chỉ định việc lặp qua các ký tự từ a đến zzzz, phương pháp này cho phép xoay vòng kết quả tìm kiếm tối đa và nhận được nhiều kết quả mới duy nhất:

$query {az:a:zzzz}

Macro này sẽ tạo ra 475254 truy vấn bổ sung cho mỗi truy vấn tìm kiếm ban đầu, tổng cộng sẽ là 4 x 475254 = 1901016 truy vấn tìm kiếm; con số khá ấn tượng, nhưng điều đó hoàn toàn không phải vấn đề đối với A-Parser. Với tốc độ 2000 truy vấn mỗi phút, tác vụ như vậy sẽ chỉ được xử lý trong 16 giờ.

Các tùy chọn xuất kết quả

A-Parser hỗ trợ định dạng kết quả linh hoạt nhờ công cụ mẫu tích hợp Template Toolkit, cho phép xuất kết quả ở bất kỳ dạng nào, cũng như ở dạng cấu trúc như CSV hoặc JSON

Xuất mặc định

Định dạng kết quả:

$serp.format('$link\n')

Ví dụ kết quả:

https://shkolazhizni.ru/img/content/i155/155642_or.jpg
https://afishanovgorod.ru/wp-content/uploads/2020/01/kinolenta-1-scaled.jpg
https://avatars.mds.yandex.net/get-zen_doc/1616946/pub_5cdfb3f33b662600b29d78c4_5cdfb78b6a5bb500b3d59589/scale_1200
https://avatars.mds.yandex.net/get-zen_doc/3445317/pub_5f24b39c1054270f0a24d074_5f24bd9254d4fa66c07b6925/scale_1200
https://www.touchdynamic.com/wp-content/uploads/2014/04/bigstock-Young-people-sitting-in-multip-46563898.jpg
https://avatars.mds.yandex.net/get-zen_doc/245342/pub_5c89f1b42d1df300b38fec91_5c8a1a5250389e00b37bf9d7/scale_1200
https://www.quirkybyte.com/wp-content/uploads/2015/08/01.jpg
https://avatars.mds.yandex.net/get-zen_doc/40456/pub_5cbc81be1c8e87021bb87d80_5cbc8bfec6be9900b2455a2b/scale_1200
https://avatars.mds.yandex.net/get-zen_doc/235144/pub_5d23d51f31878200adb4e9a4_5d23d65a998ed600aee64e42/scale_1200
https://www.kinobusiness.com/upload/iblock/c5b/DF_04550_R2_novyy-razmer.jpg
https://ovideo.ru/images/gallery/0017/9810/0042.jpg

Xuất ra bảng CSV

Định dạng kết quả:

[% FOREACH item IN serp;
    tools.CSVline(query, item.link, item.width, item.height,  item.page, item.thumb);
END %]

Ví dụ kết quả:

cats,https://pixy.org/src/18/184373.jpg,4751,3984,https://pixy.org/184373/,"Mongrel <b>cat</b> image.",http://im0-tub-ru.yandex.net/i?id=c480a842fb1a5ba2253ee91d07fd90aa&n=13
cats,https://cdn.hipwallpaper.com/i/92/81/b7KSXF.jpg,1024,768,https://hipwallpaper.com/wallpapers-of-cats,"<b>Cats</b> images Kitten Wallpaper (1024x768) wallpaper photos (12251034) .",http://im0-tub-ru.yandex.net/i?id=8b1a9cef01d0a6dedb97b03af8f0ddb1&n=13
cats,http://s1.1zoom.net/big3/434/Cats_Kittens_White_Grass_461681.jpg,5110,3400,http://www.1zoom.net/Animals/wallpaper/461681/z6860/5110x3400,"Images Kittens <b>Cats</b> White Grass Animals 5110x3400 kitty <b>cat</b> <b>cat</b> animal . ",http://im0-tub-ru.yandex.net/i?id=73ddd1e5b0d07eefeffdfde8262c8bf6&n=13
cats,https://get.wallhere.com/photo/cat-grass-whiskers-rest-wild-cat-light-fauna-mammal-collar-vertebrate-cat-like-mammal-small-to-medium-sized-cats-tabby-cat-domestic-short-haired-cat-bengal-european-shorthair-pixie-bob-720415.jpg,2560,1600,https://wallhere.com/en/wallpaper/720415,"Download Wallpaper <b>cat</b>, grass, whiskers, rest, wild <b>cat</b>, light, fauna, mamm...",http://im0-tub-ru.yandex.net/i?id=55bb113936977a5b61509b0daac844c7&n=13
cats,https://i.artfile.ru/2000x1333_437668_[www.ArtFile.ru].jpg,2000,1333,https://www.artfile.ru/i.php?i=437668,"động vật, mèo ",http://im0-tub-ru.yandex.net/i?id=51f12adb1d2b751a33de66a5292cf6a6&n=13
cats,http://s1.1zoom.net/big7/481/Cats_Glance_352969.jpg,2560,1706,http://www.1zoom.net/Animals/wallpaper/352969/z4306/%26original=3,"Images <b>Cats</b> Glance animal <b>cat</b> Staring Animals.",http://im0-tub-ru.yandex.net/i?id=651291c9c226b0b476cc3f6da05c089b&n=13
cats,https://cdn.wallpapersafari.com/87/66/macZVd.jpg,1600,1200,https://wallpapersafari.com/kawaii-cat-wallpaper/,"Find more Cute Kittens images Damn cute <b>cats</b> wallpaper photos. ",http://im0-tub-ru.yandex.net/i?id=7301df7db9522b89ed6fe88e4d2e17db&n=13
cats,https://wallup.net/wp-content/uploads/2018/10/07/705-cuddle-cat.jpg,2560,1600,https://wallup.net/?p=709264,"cuddle, <b>Cat</b> Wallpapers HD / Desktop and Mobile Backgrounds.",http://im0-tub-ru.yandex.net/i?id=400a0ce0f68b5c2a7674c5c6ba75b5b5&n=13
cats,https://c.pxhere.com/photos/c2/c4/Animals_Wallpaper_Cat_Closeup_Desktop_Wallpaper_Feline_Kitten_Pet-1612853.jpg!d,1200,797,https://pxhere.com/en/photo/1612853,"<b>cat</b>, whiskers, mammal, small to medium sized <b>cats</b>, felidae, nose, face",http://im0-tub-ru.yandex.net/i?id=0060cbf3f602c21ad2f026892e01001a&n=13
cats,https://i.ebayimg.com/00/s/MTE2MFgxNTYy/z/evQAAOSwImRYXCtO/$_57.JPG?set_id=8800005007,1562,1160,https://sendle.ru/88861-kart-kartochek-s-zametkami/163098755590-4pack-cat-cats-kitten-kittens-spring-stationery-greeting-notecards-envelopes-2.html,"4Pack <b>Cat</b> <b>Cats</b> Kitten Kittens Spring Stationery Greeting Notecards...",http://im0-tub-ru.yandex.net/i?id=117d40eb07ff3953141763b3c736805d&n=13
cats,https://www.wallpaperup.com/uploads/wallpapers/2013/12/19/199466/aa19b19c04da9b48b68b1365c103588d.jpg,1920,1200,https://www.wallpaperup.com/199466/cats_animals_pets.html,"<b>cats</b> animals pets wallpaper.",http://im0-tub-ru.yandex.net/i?id=fdebf609d67809cd910596dd3d6026d9&n=13
cats,https://www.wallpaperup.com/uploads/wallpapers/2017/10/17/1115160/3c78081c04f34444da4dc54f1bcd3a65.jpg,2048,1365,https://www.wallpaperup.com/1115160/kitten_cat_baby_cute.html,"kitten <b>cat</b> baby cute wallpaper.",http://im0-tub-ru.yandex.net/i?id=d9e9dae7b1e4009c7fcfab7bb7548baf&n=13
cats,https://pbs.twimg.com/media/DTa7lXRX4AEm_rB.jpg:large,1600,1200,https://twitter.com/cats_and_you/status/952154716137549825,"<b>Cats</b>_and_you on Twitter.",http://im0-tub-ru.yandex.net/i?id=4d605439d3e7bf5c340b0b357a5f084a&n=13

Lưu dưới định dạng SQL

Định dạng kết quả:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '"; link _ "', '";  pagelink _ "', '";    thumb _ "')\n"; END  %]

Ví dụ kết quả:

INSERT INTO serp VALUES('cats', 'https://pixy.org/src/18/184373.jpg', 'https://pixy.org/184373/', 'http://im0-tub-ru.yandex.net/i?id=c480a842fb1a5ba2253ee91d07fd90aa&n=13')
INSERT INTO serp VALUES('cats', 'http://s1.1zoom.net/big3/434/Cats_Kittens_White_Grass_461681.jpg', 'http://www.1zoom.net/Animals/wallpaper/461681/z6860/5110x3400', 'http://im0-tub-ru.yandex.net/i?id=73ddd1e5b0d07eefeffdfde8262c8bf6&n=13')
INSERT INTO serp VALUES('cats', 'https://cdn.hipwallpaper.com/i/92/81/b7KSXF.jpg', 'https://hipwallpaper.com/wallpapers-of-cats', 'http://im0-tub-ru.yandex.net/i?id=8b1a9cef01d0a6dedb97b03af8f0ddb1&n=13')
INSERT INTO serp VALUES('cats', 'https://i.artfile.ru/2000x1333_437668_[www.ArtFile.ru].jpg', 'https://www.artfile.ru/i.php?i=437668', 'http://im0-tub-ru.yandex.net/i?id=51f12adb1d2b751a33de66a5292cf6a6&n=13')
INSERT INTO serp VALUES('cats', 'https://get.wallhere.com/photo/cat-grass-whiskers-rest-wild-cat-light-fauna-mammal-collar-vertebrate-cat-like-mammal-small-to-medium-sized-cats-tabby-cat-domestic-short-haired-cat-bengal-european-shorthair-pixie-bob-720415.jpg', 'https://wallhere.com/en/wallpaper/720415', 'http://im0-tub-ru.yandex.net/i?id=55bb113936977a5b61509b0daac844c7&n=13')
INSERT INTO serp VALUES('cats', 'https://cdn.wallpapersafari.com/87/66/macZVd.jpg', 'https://wallpapersafari.com/kawaii-cat-wallpaper/', 'http://im0-tub-ru.yandex.net/i?id=7301df7db9522b89ed6fe88e4d2e17db&n=13

Xuất kết quả sang JSON

Định dạng kết quả chung:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.images = [];

FOREACH item IN p1.serp;
    obj.images.push({
        width = item.width
        height = item.height
        link = item.link
        pagelink = item.pagelink
        thumb = item.thumb
    });
END;

obj.json %]

Văn bản bắt đầu:

Văn bản kết thúc:

Ví dụ kết quả:

[{
    "images": [
        {
            "link": "https://pixy.org/src/18/184373.jpg",
            "width": 4751,
            "page": "https://pixy.org/184373/",
            "thumb": "http://im0-tub-ru.yandex.net/i?id=c480a842fb1a5ba2253ee91d07fd90aa&n=13",
            "height": 3984
        },
        {
            "link": "http://s1.1zoom.net/big3/434/Cats_Kittens_White_Grass_461681.jpg",
            "width": 5110,
            "page": "http://www.1zoom.net/Animals/wallpaper/461681/z6860/5110x3400",
            "thumb": "http://im0-tub-ru.yandex.net/i?id=73ddd1e5b0d07eefeffdfde8262c8bf6&n=13",
            "height": 3400
        },
        {
            "link": "https://cdn.hipwallpaper.com/i/92/81/b7KSXF.jpg",
            "width": 1024,
            "page": "https://hipwallpaper.com/wallpapers-of-cats",
            "thumb": "http://im0-tub-ru.yandex.net/i?id=8b1a9cef01d0a6dedb97b03af8f0ddb1&n=13",
            "height": 768
        },
        
    ],
    "query": "cats"
}]

mẹo

Để các tùy chọn "Prepend text" và "Append text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options".

Các cài đặt có thể có

ghi chú

Cài đặt chung cho tất cả các công cụ cào dữ liệu

Tham số	Giá trị mặc định	Mô tả
AntiGate preset	`default`	Lựa chọn mẫu thiết lập sẵn Util::AntiGate, chi tiết về cài đặt tại đây
AntiGate preset for old captcha	`default`	Tương tự như AntiGate preset, nhưng chỉ được sử dụng cho các loại captcha thông thường (cũ, dưới dạng một hình ảnh duy nhất). Nếu không chọn mẫu thiết lập sẵn ở đây, mẫu được chọn trong AntiGate preset sẽ được sử dụng cho các loại captcha này.
Experimental img captcha max count	`5`	Số lượng tối đa các hình ảnh captcha lặp lại cho mỗi lần thử
Preffered captcha type	`Click`	Chọn loại captcha ưu tiên: Click hoặc Puzzle
Pages count	`10`	Số lượng trang để cào dữ liệu
Image size	`Any`	Kích thước hình ảnh
Orientation	`Any`	Hướng
Image type	`Any`	Loại hình ảnh
Image color	`Any`	Màu sắc hình ảnh
File type	`Any`	Loại tệp hình ảnh
Commercial	`☐`	Chỉ hiển thị hình ảnh trả phí (Sản phẩm)
Recent	`Any`	Hiển thị tất cả hoặc chỉ những hình ảnh mới
Security level	`Moderate`	Mức độ Tìm kiếm An toàn

Tổng quan về công cụ cào dữ liệu​

Các trường hợp ứng dụng công cụ cào dữ liệu​

Tải hình ảnh theo liên kết​

Dữ liệu thu thập được​

Tính năng​

Ứng dụng​

Truy vấn​

Thay thế truy vấn​

Các tùy chọn xuất kết quả​

Xuất mặc định​

Xuất ra bảng CSV​

Lưu dưới định dạng SQL​

Xuất kết quả sang JSON​

Các cài đặt có thể có​

Tổng quan về công cụ cào dữ liệu

Các trường hợp ứng dụng công cụ cào dữ liệu

Tải hình ảnh theo liên kết

Dữ liệu thu thập được

Tính năng

Ứng dụng

Truy vấn

Thay thế truy vấn

Các tùy chọn xuất kết quả

Xuất mặc định

Xuất ra bảng CSV

Lưu dưới định dạng SQL

Xuất kết quả sang JSON

Các cài đặt có thể có