JS 爬虫工具:示例
备注
这里仅精选了一些 JavaScript 爬虫工具的使用示例,用以展示核心功能。更多示例已发布在 爬虫工具目录 中。
🔗 JS::TitleParser
抓取任意页面上的 HTML title 标签
🔗 JS::TextFromSE
在单个爬虫工具中合并多个内置爬虫工具
🔗 下载文件
直接将任意大小的文件保存到磁盘的示例
🔗 处理验证码 (CAPTCHA)
用于处理验证码的 JS 爬虫工具示例
🔗 处理 ReCaptcha2
用于处理 ReCaptcha 的 JS 爬虫工具示例
🔗 调用内置爬虫工具
在 JS 爬虫工具内部获取内置爬虫工具结果的示例
🔗 操作 SQLite 数据库
创建表、插入和查询数据的示例
🔗 操作 MySQL 数据库
使用 mysql2 模块的示例,该爬虫工具从 Google 搜索结果中采集链接并写入数据库
🔗 翻页抓取
根据查询请求进行网站数据抓取并实现翻页的示例
🔗 多特征过滤
根据大量特征过滤页面的示例,使用 fs 模块读取特征文件
🔗 按内容过滤图片
使用 Google Vision 识别图片内容的示例
🔗 发布到 Wordpress 博客
通过 xmlrpc 技术向 Wordpress 博客发布文章
🔗 发送电子邮件
使用 nodemailer 的示例(从 JS 爬虫工具发送邮件)。使用 Yandex SMTP。
🔗 生成页面截图
通过创建网站截图演示 puppeteer (Chrome) 的使用
🔗 Telegram 通知
在 Telegram 中接收关于域名注册到期的通知