SE::Yandex::Direct - Yandex Direct 广告爬虫工具 direct.yandex.ru

爬虫工具概览

SE::Yandex::Direct – Yandex Direct 广告爬虫工具。自动采集所有数据：特定查询的广告数量、标题、文本、域名、附加链接及其锚点、标签。

您可以使用自动查询扩展、从文件替换子查询、遍历数字字母组合和列表，以获取尽可能多的结果。通过使用结果过滤，您可以立即清理结果，删除所有不需要的垃圾内容（使用排除词）。

A-Parser 的功能允许保存 SE::Yandex::Direct 爬虫工具的设置以供将来使用（预设），设置数据抓取计划等等。

得益于内置强大的模板引擎 Template Toolkit，可以将结果保存为您需要的任何形式和结构，它允许对结果应用额外的逻辑，并以各种格式输出数据，包括 JSON、SQL 和 CSV。

前往演示购买 A-Parser Pro ($299)

采集的数据

• 特定查询的广告数量
• 标题 (Title)、文本和域名
• 附加链接及其锚点
• 标签
• 结果是否为广告

功能

• 抓取 Yandex Direct 提供的最大结果数 – 10 页
• 支持选择搜索区域
• 可以通过 AntiCaptcha 服务或任何其他支持其 API 的服务绕过验证码（建议在 AntiGate 设置中开启 is_russian 参数）

应用场景

• 收集针对特定查询进行广告投放的竞争对手

查询

必须指定搜索词作为查询，例如：

购买风筝   
Photoshop  
莫斯科的窗户   
公寓装修

查询占位符

您可以使用内置宏自动从文件中替换子查询，例如，我们想为每个查询添加一些其他单词列表，指定几个主要查询：

fantasy
tower defense
rpg

在查询格式中，指定从文件 keywords.txt 替换附加词的宏，此方法可以成倍增加查询的多样性：

{subs:keywords} $query 

该宏将为每个原始搜索查询创建与文件中相同数量的附加查询，宏运行的结果总计为 [原始查询数量] x [Keywords 文件中的查询数量] = [总查询数量]。

例如，如果 keywords.txt 文件包含：

free
online

最终，替换宏将把 3 个主要查询变为 6 个：

free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg

结果输出示例

得益于内置的模板引擎 Template Toolkit，A-Parser 支持灵活的结果格式化，这使其能够以任意形式以及结构化形式（如 CSV 或 JSON）输出结果。

默认输出

结果格式：

$query - $totalcount\n$ads.format('$domain: $title - $text\n')

结果示例：

Photoshop - 5  
www.syssoft.ru: Adobe Photoshop CS5 - 折扣 - Photoshop CS5 授权合作伙伴折扣。立即订购！   
www.disted.ru: 学习摄影！ - 纽约摄影学院俄语远程学习。   
www.softkey.ru: 正版 Adobe Photoshop CS！ - Adobe Photoshop 最佳图像处理新功能。   
www.softprof-it.ru: Photoshop 许可证 23000 卢布起 - Photoshop 低价 - 23000 卢布起。致电咨询。详情请垂询购买条件。   
photoshop.pro1904.ru: 精通 Photoshop！ - 独特课程 "Photoshop 从零开始"。成为 Photoshop 大师。   
购买风筝 - 0   
莫斯科的窗户 - 33   
www.imperia51.com: 摩尔曼斯克的窗户！低价！ - 极低价格！保证！优质安装！这一切都在“窗户帝国”！   
mirperegorodok-kms.ru: “隔断世界”公司 - 铝合金系统：办公隔断、入口组、门...   
inkar-avto.ru: 莫斯科-彼得堡-莫斯科大巴 - 周一至周四 1000 卢布，周五至周日 1300 卢布。

输出到 CSV 表格

通用结果格式：

[% FOREACH i IN p1.ads;
    tools.CSVline(i.domain, i.title, i.text);
END %]

文件名：

$datefile.format().csv

初始文本：

域名,标题,文本

提示

在通用结果格式中，使用 Template Toolkit 模板引擎在 FOREACH 循环中输出 $ads 数组元素。

在结果文件名中，只需将文件扩展名更改为 csv。

为了使“Prepend text”选项在任务编辑器中可用，需要激活“More options”。 在“Prepend text”中，用逗号分隔记录列名，并将第二行留空。

以 SQL 格式保存

结果格式：

[% FOREACH ads;
    "INSERT INTO ads VALUES('" _ domain _ "', '" _ title _ "', '" _ text _ "')\n";
END %]

结果示例：

INSERT INTO ads VALUES('oknamr.ru', '塑料<b>窗户</b> 便宜 <b>在</b> <b>莫斯科</b>: 低价购买...', '“<b>窗户</b> <b>莫斯科</b>”公司在<b>莫斯科</b>及郊区执行塑料<b>窗户</b>、门和隔断的安装，以及阳台封窗 <b>在</b>。')
INSERT INTO ads VALUES('gor-okna.ru', '购买 <b>窗户</b> PVC 便宜 | <b>窗户</b> PVC <b>在</b> <b>莫斯科</b> 按价格...', '订购优质 <b>窗户</b> PVC <b>在</b> <b>莫斯科</b> 送货上门安装。 ... <b>莫斯科</b>. 每天 9:00 至 21:00。')
INSERT INTO ads VALUES('balcon-msk.ru', '阳台和凉台封窗 <b>在</b> <b>莫斯科</b>.', '“莫斯科阳台”公司 <b>莫斯科</b>» 进行专业的阳台和凉台封窗 ... 价格包含：<b>窗户</b> 铝合金 3.2x0.7m h-1.5m，排水槽，安装...')
INSERT INTO ads VALUES('窗户маркет33.рф', '春天！是时候购买新 <b>窗户</b> PVC 了！赠品 – 防蚊网…', '<b>窗户</b> 1.3x1.4 1.3x1.4 仅需 9900 全包（板楼）！ <b>窗户</b> 2.0x1.4 2.0x1.4 仅需 13500 全包！')
INSERT INTO ads VALUES('topokno72.ru', '塑料<b>窗户</b>。门，阳台', '塑料 <b>窗户</b> 以及任何 WinTech, Exprof, Proplex, Rehau, KBE 的 PVC 结构')
INSERT INTO ads VALUES('okna-moskvy1.ru', '<b>窗户</b> <b>莫斯科</b>。官方网站', '仅限本月底。 <b>窗户</b> REHAU REHAU 折扣高达 60%%。赠送多功能玻璃。点击！')
INSERT INTO ads VALUES('russia.superjob.ru', '塑料和铝合金 <b>窗户</b>', '新同事正在等你！便捷搜索，免费推荐，快速导入。&nbsp;&middot; 20 年市场经验。推荐。便捷搜索。在线支持')
INSERT INTO ads VALUES('gorokna-11.ru', '塑料<b>窗户</b> <b>在</b> 沃尔库塔。<b>窗户</b>, 凉台, 阳台', '<b>窗户</b> PVC 在沃尔库塔有折扣')
INSERT INTO ads VALUES('shop.oknagorizont.ru', '网上商店 <b>窗户</b>, 便宜的塑料 <b>窗户</b>...', '网上商店 <b>窗户</b> 不含安装，便宜的塑料 <b>窗户</b> 今日特价，低价 <b>窗户</b>. 大量现货及订做，快速制作...')
INSERT INTO ads VALUES('msk-oknaidveri.ru', '塑料<b>窗户</b> PVC 和入户金属门...', '经典 PVC-<b>窗户</b> - 这是 <b>窗户</b>，由塑料制成，通过俄罗斯建设部认证并符合 SNiP 等标准...')
INSERT INTO ads VALUES('oknamag.pro', '在 Oknamag Pro 购买供别墅使用的塑料<b>窗户</b>', '塑料<b>窗户</b>尺寸：600 高，600 宽。可选型号.. 快速查看。商品代码：opd0606。')
INSERT INTO ads VALUES('фурнитура-窗户.рф', '塑料<b>窗户</b>配件 - 零件...', '<b>窗户</b>配件 <b>在</b> 零售和批发。我们将帮助您为您的塑料<b>窗户</b>选配。')
INSERT INTO ads VALUES('OknaGarant.ru', '现成塑料 <b>窗户</b> <b>在</b> <b>莫斯科</b>, 购买新的...', '<b>窗户</b> 已在我们的仓库等您！仓库位于 <b>在</b> <b>莫斯科</b> MKAD 范围内。节省成本，价格显著降低（与<b>窗户</b> 定制相比）。')
INSERT INTO ads VALUES('domaster.ru', '窗户配件和五金件购买 <b>在</b> <b>莫斯科</b>...', '用于 <b>窗户</b> 和门。Brass 网上商店 — 在这里您可以购买<b>窗户</b> 护理配件和各公司的五金件，全俄配送。')
INSERT INTO ads VALUES('sms-m.ru', '塑料<b>窗户</b> 制作 <b>在</b> <b>莫斯科</b>', '当涉及到最小化模块化建筑制造过程中的成本问题时，StroyMontazhService-M 公司决定启动自己的...')
INSERT INTO ads VALUES('rosband.ru', '购买塑料 <b>窗户</b> <b>在</b> <b>莫斯科</b>', '塑料<b>窗户</b> 具有优异的隔热性能，完全没有必要花费更多 ... <b>莫斯科</b>, 1-市，1-y Dobryninskiy pereulok, 19 str. 6。')
INSERT INTO ads VALUES('moskva.miltor.ru', '购买塑料 <b>窗户</b> <b>在</b> <b>莫斯科</b>: 185 条报价', '您可以通过我们网站上的广告购买塑料 <b>窗户</b> <b>在</b> <b>莫斯科</b>。在这里您可以了解塑料<b>窗户</b> 的价格、订购条件和地址...')
INSERT INTO ads VALUES('city-jaluzi.ru', '百叶窗 <b>窗户</b> 便宜购买 <b>在</b> <b>莫斯科</b> - 评价, 照片...', '生产 <b>窗户</b> 百叶窗，缝制窗帘，自 2006 年起承接卷帘定制。价格从 495 到 5 900 ₽ 每平方米，免费测量并...')

将结果转储为 JSON

通用结果格式：

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.ads = [];

FOREACH item IN p1.ads;
    obj.ads.push({
        domain = item.domain
        title = item.title
        text = item.text
    });
END;

obj.json %]

起始文本：

[

结束文本：

]

结果示例：

[{"ads": [{"domain":"oknamr.ru","text":"“<b>窗户</b> <b>莫斯科</b>» ”公司执行塑料<b>窗户</b>, 、门和隔断的安装，以及阳台封窗 <b>在</b> <b>莫斯科</b> 和郊区。","title":"塑料<b>窗户</b> 便宜 <b>在</b> <b>莫斯科</b>: 低价购买..."},{"domain":"gor-okna.ru","text":"订购优质 <b>窗户</b> PVC <b>在</b> <b>莫斯科</b> 送货上门安装。 ... <b>莫斯科</b>. 每天 9:00 至 21:00。","title":"购买 <b>窗户</b> PVC 便宜 | <b>窗户</b> PVC <b>在</b> <b>莫斯科</b> 按价格..."},{"domain":"balcon-msk.ru","text":"“莫斯科阳台”公司 <b>莫斯科</b>» 进行专业的阳台和凉台封窗 ... 价格包含：<b>窗户</b> 铝合金 3.2x0.7m h-1.5m，排水槽，安装...","title":"阳台和凉台封窗 <b>在</b> <b>莫斯科</b>."},{"domain":"oknamarket33.rf","text":"<b>窗户</b> 1.3x1.4 1.3x1.4 仅需 9900 全包（板楼）！ <b>窗户</b> 2.0x1.4 2.0x1.4 仅需 13500 全包！","title":"春天！是时候购买新 <b>窗户</b> PVC！赠品 – 防蚊网…"},{"domain":"okna-moskvy1.ru","text":"仅限本月底。<b>窗户</b> REHAU REHAU 折扣高达 60%%. 赠送多功能玻璃。点击！","title":"<b>窗户</b> <b>莫斯科</b>. 官方网站"},{"domain":"окно61.рф","text":"塑料<b>窗户</b> 低价！优质安装。快速送货。保证。","title":"<b>窗户</b> <b>在</b> 巴泰斯克！季节性折扣"},{"domain":"gorokna-11.ru","text":"<b>窗户</b> PVC 在沃尔库塔有折扣","title":"塑料<b>窗户</b> <b>在</b> 沃尔库塔。<b>窗户</b>,、凉台、阳台"}]}]

提示

为了使“Prepend text”和“Append text”选项在任务编辑器中可用，需要激活“More options”。

可用设置

备注

所有爬虫工具的通用设置

参数	默认值	描述
Pages count	10	抓取页数
Region of serp (lr=)	莫斯科	选择搜索区域（参数 lr=）
AntiGate preset	default	使用验证码识别服务。需要预先配置 Util::AntiGate 爬虫工具 - 指定您的访问密钥和其他参数，然后在此处选择创建的预设