跳转到主要内容

FreeAI::ChatGPT - ChatGPT AI 服务爬虫工具

ChatGPT

爬虫工具概览​

ChatGPT 爬虫工具是一款用于从最热门的 AI 服务中采集信息的先进工具。通过与 ChatGPT 集成，您不仅能获得文本和链接列表，还能获得基于大量来源（包括学术文章、博客、论坛和新闻门户）的最新、简洁且相关的回答。

ChatGPT 爬虫工具支持自然语言查询，包括补充说明、上下文问题和嵌套结构。

得益于多线程工作模式，处理速度可达 100–200 次查询/分钟。根据配置和使用的预设，您可以在几分钟内获取数百个独特的文本片段和链接。

由于拥有强大的 Template Toolkit 模板引擎，抓取结果可以保存为任何需要的格式，允许将数据结构化为 JSON, CSV, SQL 等格式，并支持即时应用过滤、排序和数据聚合。

ChatGPT 爬虫工具凭借其输出结果的高质量和上下文相关性，非常适合竞争情报、事实与引用采集、知识库创建、新闻监测和主题分析等任务。此外，还可以利用它搜索主题图像。

采集数据​

  • 回答文本（Markdown 格式）
  • 链接、锚点、数据源摘要，以及它们的图标和在回答中的使用类型
  • 图像（如果回答中存在）：图像链接、预览图、来源页面和标题
  • 所使用的模型名称

功能​

  • 启用联网搜索
  • 绕过防护并支持会话，以实现更稳定、更快速的工作

应用场景​

  • 根据主题查询采集结构化回答和图片，用于创建知识库、内容计划、参考系统和生成 FAQ
  • 提取带有锚点和摘要的来源链接 - 非常适合构建权威资源列表、引用和采集反向链接
  • 监测品牌、产品或人物的提及 - 结合上下文和来源
  • 搜索并分析来自权威来源的专家意见、趋势和见解
  • 快速验证关键主题信息的时效性和完整性
  • 自动化竞争对手分析：引用了哪些资源，涵盖了哪些主题以及频率如何
  • 支持需要从不同来源聚合准确信息的科研和分析项目
  • 任何其他需要快速获取带有真实来源确认和逻辑上下文的简明、准确回答的任务

查询​

在查询中需要指定搜索请求，就像直接在 ChatGPT 的提问框中输入一样，例如：

什么是 A-Parser？
如何学会快速学习？
如何提高记忆力和注意力？

结果​

信息

此处及后续示例中的结果已简化，以便于展示

默认情况下会输出查询及其对应的回答，例如：

什么是 A-Parser？
**A-Parser** — 这是一个功能强大的工具，用于从互联网上的各种来源自动采集（抓取）数据。它最常用于 SEO 任务、搜索结果分析、网站信息采集、竞争对手监测以及其他与从网页提取数据相关的任务。

### A-Parser 的主要特点：

1. **多线程**    
      支持大量线程工作，可以快速采集海量数据。

...
如何提高记忆力和注意力？
提高记忆力和注意力 — 这是一个需要定期练习和健康生活方式的过程。以下是切实有效的经过验证的方法：

---

## 🧠 1. 正确的生活方式

**睡眠：**
- 每晚睡眠 7–9 小时。
- 睡眠不足会降低注意力、专注力和长期记忆力。

**饮食：**
- 多吃富含 omega-3 的食物（鱼类、核桃）。
...
如何学会快速学习？
学会快速学习 — 这是一项可以培养的技能。以下是提高学习效率的系统方法：

---

### 📌 **1. 理解学习原理**
- **主动学习** — 代替被动阅读/观看，使用：   
    - 用自己的话转述；   
    - 向“想象中的学生”解释材料（费曼技巧）；   
    - 解决问题或案例；
- **间隔重复** (spaced repetition) — 与其死记硬背，不如以递增的时间间隔复习材料。
...

结果输出变体​

得益于内置的 Template Toolkit 模板引擎，A-Parser 支持灵活的结果格式化，允许以任意形式输出结果，包括 CSV 或 JSON 等结构化格式。

导出链接列表及其类型​

结果格式：

$sources.format('$type - $link\n')

结果示例：

...
citation - https://en.a-parser.com/?utm_source=chatgpt.com
citation - https://capmonster.cloud/ru/blog/scraping/a-parser-x-capmonster-cloud-parsing?utm_source=chatgpt.com
citation - https://ru.news.proxy.market/nastroyka-proksi-servera-a-parser?utm_source=chatgpt.com
other - https://en.a-parser.com/
other - https://a-parser.com/
other - https://crozdesk.com/software/a-parser
...

以 CSV 格式输出图像链接、预览图和标题​

结果格式：

[% FOREACH item IN sources;
    tools.CSVline(loop.count, item.link, item.anchor, item.snippet);
END %]

结果示例：

https://www.hawkmountain.org/data/uploads/media/image/barn-owl-by-Traci-Sepkovic.jpg?w=1024,https://images.openai.com/thumbnails/url/VgTsVnicu1mSUVJSUGylr5-al1xUWVCSmqJbkpRnoJdeXJJYkpmsl5yfq5-Zm5ieWmxfaAuUsXL0S7F0Tw4MLc1yCsx3zM0tMPdKqfIO13UpLsrySgpPNyvJLzQy9jbNd0pNDQ22KEj1Cs80DzUKtLQo8MqPyvQvc1QrBgAn1inp,hawkmountain.org/raptors...
https://cdn.download.ams.birds.cornell.edu/api/v1/asset/297388681/1200,https://images.openai.com/thumbnails/url/hrzNoXicu1mUUVJSUGylr5-al1xUWVCSmqJbkpRnoJdeXJJYkpmsl5yfq5-Zm5ieWmxfaAuUsXL0S7F0Tw6uSC008PEyLiw1j_QxMKw0Cwmv8Io3yDQJLCkpMTQOKktOjCpNKSorjKgyNgy3cMzPjvAz8c8INAhUKwYAwr0pAA,birdsoftheworld.org/bow/...
https://gpnc.org/wp-content/uploads/2017/12/Great_Horned_Owl_Bob_Gress_120116_0784_KS.jpg,https://images.openai.com/thumbnails/url/E489Q3icu1mUUVJSUGylr5-al1xUWVCSmqJbkpRnoJdeXJJYkpmsl5yfq5-Zm5ieWmxfaAuUsXL0S7F0Tw72KjSOj0jJrcwwKnOO94goTS7I1XVMS_Rxd3f3N842CrEILDevSq7w8jXIK_A2MnVyS6rK0c32MLBUKwYAxlQonQ,gpnc.org/fauna/birds/gre...
https://upload.wikimedia.org/wikipedia/commons/thumb/5/56/Bubo_bubo_sibiricus_-_01.JPG/960px-Bubo_bubo_sibiricus_-_01.JPG,https://images.openai.com/thumbnails/url/r9I8Dnicu1mUUVJSUGylr5-al1xUWVCSmqJbkpRnoJdeXJJYkpmsl5yfq5-Zm5ieWmxfaAuUsXL0S7F0Tw6Jr8ovi_DKM0vOzTQwSAmPNAswTsz1yyqpKjU3ysrKCXJ2MQ71CrYwyA4vCPZ2LSrI83P2LU10KTJWKwYA0n8pRw,en.wikipedia.org/wiki/ow...
提示

在通用结果格式中，使用 Template Toolkit 模板引擎 在 FOREACH 循环中输出 $sources 数组。

在结果文件名中，只需将文件扩展名更改为 csv 即可。

以 JSON 格式输出问题、回答和所用模型名称​

通用结果格式：

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.answer = p1.answer;
obj.model = p1.model;

obj.json %]

起始文本：

[

结束文本：

]

结果示例：

[{"answer":"为了学会快速学习，需要培养几种重要的技能和习惯。以下是几种可能有所帮助的方法：\n\n### 1. **主动学习法**\n   与其被动阅读或听讲，不如积极地与材料互动：\n - 将信息应用到实践中。\n - 向他人（甚至是大声对自己）解释你正在学习的内容。\n - 创建思维导图、图表或笔记，以便更好地组织信息。\n\n### 2. **信息拆分 (Chunking)**\n   将复杂信息拆分为更小、更易管理的部分。例如，如果你在学习语言，先记住基础单词，然后是短语，而不是试图一次学完所有内容。\n\n### 3. **“间隔重复”法 (spaced repetition)**\n   将学习分成若干间隔：隔一段时间（如 1、2、3 天等）回顾一次材料。这有助于巩固记忆。\n\n### 4. **思维导图与可视化**\n   使用图表、思维导图和其他视觉工具可以加速信息的感知和记忆。这也有助于更清晰地组织思路。\n\n### 5. **专注于深度理解**\n   不要追求机械记忆。最好理解所学主题的工作原理，发生了什么以及为什么。当你理解了逻辑，记忆就会变得容易得多。\n\n### 6. **练习与重复**\n   不要害怕犯错和多次重复材料。你与信息互动的次数越多，掌握它的速度就越快。\n\n### 7. **休息与睡眠间隔**\n   休息和充足的睡眠对于信息转化为长期记忆至关重要。工作与休息之间的正确平衡 — 是快速学习的关键点。\n\n### 8. **动力与目标**\n   设定明确的目标并找到能支持你的动力。如果有明确的初衷，结构化学习总是更有效。\n\n### 9. **信息来源多样化**\n   采用不同的形式：书籍、视频、在线课程、音频等。这有助于更好地吸收信息，因为不同的感知渠道会激活大脑的不同部分。\n\n### 10. **利用技术**\n   利用那些使用算法根据你的知识水平匹配材料的学习应用和平台（例如用于间隔重复的 Anki）。\n\n你是否已经有过某些学习方法的经验，是你想要改进或增加的？","query":"如何学会快速学习？","model":"i-mini"},
{"answer":"**A-Parser** — 这是一个功能强大的数据抓取（采集）工具，适用于从搜索引擎、网站、API 和其他在线资源等各种来源获取数据。它在 SEO 专家、营销人员、联盟营销人员和需要自动化采集海量信息的开发者中特别受欢迎。\n\n### A-Parser 的主要特点：\n\n1. **来源灵活性**: \n   开箱即用支持多种爬虫工具 — Google, Bing, Yandex, Amazon, YouTube 等。还可以使用 A-Script 语言模板创建自定义爬虫工具。\n\n2. **多线程**:\n   允许运行数百甚至数千个线程，使数据采集具有快速和可扩展性。\n\n3. **代理支持**:\n   支持配合代理服务器（HTTP, HTTPS, SOCKS）工作，从而绕过封锁和机器人防护。\n\n4. **用户代理和代理轮换**:\n   允许模拟不同用户的行为，避免被来源网站封禁。\n\n5. **可定制的输出**:\n   可以将结果以各种格式（CSV, TXT, JSON 等）按所需结构保存。\n\n6. **API 与自动化**:\n   拥有便捷的 API，支持通过命令行运行，可与其他脚本和系统集成。\n\n7. **界面**:\n   同时拥有 Web 界面和控制台版本。设置对于初学者可能较复杂，但对于资深用户非常灵活。\n\n---\n\n### 应用示例：\n\n- 采集搜索引擎结果页面 (SERP)\n- 采集商品信息（价格、库存、描述）\n- 抓取电子邮件地址或电话号码\n- 竞争对手监测\n- 生成关键词库\n\n---\n\n如果你愿意，我可以展示一个简单数据抓取的设置示例，或者告诉你如何创建 A-Script 模板。","query":"什么是 A-Parser？","model":"gpt-4o"},
{"answer":"为了提高记忆力和注意力，有几种经过验证的方法。以下是一些建议：\n\n### 1. **体育活动**\n定期的锻炼，如跑步、游泳或瑜伽，能刺激血液循环并激活大脑工作。这有助于改善认知功能，包括记忆力和注意力。\n\n### 2. **正确饮食**\n饮食在大脑工作中起着巨大作用。为了提高记忆力和注意力，摄入以下食物很重要：\n- **Omega-3 脂肪酸** (（鱼类、亚麻籽油、坚果）。\n- **抗氧化剂** (（浆果、绿茶、黑巧克力）。\n- **B 族维生素** (（鸡蛋、全谷物产品、绿叶蔬菜）。\n- **镁和钾** (（香蕉、坚果、种子）。\n\n### 3. **学习新事物**\n掌握新技能或学习新材料 — 是锻炼记忆力的绝佳方式。这不仅有助于保持大脑活跃，还能提高专注能力。\n\n### 4. **冥想与正念**\n冥想有助于培养注意力和专注力。正念练习 (mindfulness) 教会你处于“此时此刻”，从而提高专注于任务的能力。\n\n### 5. **良好的睡眠**\n睡眠不安或不足会影响记忆力和注意力。尝试每晚睡眠 7-9 小时。良好的睡眠有助于记忆巩固和神经系统恢复。\n\n### 6. **记忆术**\n使用记忆技巧，例如：\n- **联想**: 将新信息与已知信息联系起来。\n- **记忆口诀**: 创建有助于记住复杂数据的短语。\n- **轨迹法**: 想象一个熟悉的地方，并将信息与该地点的特定物体联系起来。\n\n### 7. **压力管理**\n高水平的压力会干扰大脑工作，从而影响记忆力和注意力。定期的放松技巧、呼吸练习和休息将有助于降低压力水平。\n\n### 8. **组织工作空间**\n工作空间的整洁有序有助于提高注意力。持续的混乱可能会分散注意力。\n\n### 9. **规划与委派**\n通常，当太多任务堆积在一起时，会出现注意力问题。将任务分解为小步骤，使用日程表和时间管理应用。\n\n你觉得这些建议怎么样？有什么是你想要首先尝试的吗？","query":"如何提高记忆力和注意力？","model":"i-mini"}]

可用设置​

备注

所有爬虫工具的通用设置

参数名称默认值描述
Search the web☐联网搜索
Browser headless☑如果启用此选项，将不显示浏览器
Use sessions☑保存良好的会话，从而使数据抓取更快，并减少错误数量
Log page screenshot (debug)☐创建包含回答的页面截图并将其输出到任务日志中