Passer au contenu principal

FreeAI::ChatGPT - Scraper du service d'IA ChatGPT

ChatGPT

Présentation du scraper​

Le scraper ChatGPT est un outil moderne pour la collecte de données à partir du service d'IA le plus populaire. Grâce à l'intégration avec ChatGPT, vous obtenez non seulement du texte et des listes de liens, mais des réponses actualisées, concises et pertinentes, basées sur un grand nombre de sources, y compris des articles scientifiques, des blogs, des forums et des portails d'actualités.

Le scraper ChatGPT prend en charge les requêtes en langage naturel, y compris les précisions, les questions contextuelles et les constructions imbriquées.

La vitesse de traitement atteint 100–200 requêtes par minute grâce au mode de traitement multithread. Selon la configuration et les préréglages utilisés, vous pouvez obtenir des centaines de fragments de texte et de liens uniques en quelques minutes.

Les résultats peuvent être sauvegardés dans n'importe quel format souhaité grâce au puissant moteur de gabarits Template Toolkit, qui permet de structurer les données en JSON, CSV, SQL et d'autres formats, ainsi que d'appliquer le filtrage, le tri et l'agrégation des données à la volée.

Le scraper ChatGPT est idéal pour les tâches de veille concurrentielle, la collecte de faits et de citations, la création de bases de connaissances, le suivi des actualités et l'analyse de sujets, grâce à la haute qualité et au contexte des résultats fournis. Il permet également de rechercher des images thématiques.

Données collectées​

  • Texte de la réponse (au format Markdown)
  • Liens, ancres, extraits des sources de données, ainsi que leurs icônes et le type d'utilisation dans la réponse
  • Images (si présentes dans la réponse) : liens vers l'image, aperçu, page et titre
  • Nom du modèle utilisé

Fonctionnalités​

  • Activation de la recherche sur Internet
  • Contournement des protections et support des sessions pour un fonctionnement plus stable et rapide

Cas d'utilisation​

  • Collecte de réponses structurées et d'images par requêtes thématiques pour la création de bases de connaissances, de plans de contenu, de systèmes de référence et la génération de FAQ
  • Extraction de liens vers les sources avec ancres et extraits - idéal pour construire des listes de ressources d'autorité, pour la citation et la collecte de backlinks
  • Suivi des mentions de marques, de produits ou de personnes - avec liaison au contexte et aux sources
  • Recherche et analyse d'avis d'experts, de tendances et d'insights provenant de sources faisant autorité
  • Vérification rapide de l'actualité et de l'exhaustivité des informations sur des sujets clés
  • Automatisation de l'analyse des concurrents : quelles ressources sont citées, quels sujets sont abordés et à quelle fréquence
  • Soutien aux projets de recherche et d'analyse nécessitant l'agrégation d'informations précises provenant de différentes sources
  • Toute autre tâche nécessitant d'obtenir rapidement des réponses courtes et précises avec confirmation par des sources réelles et un contexte logique

Requêtes​

Comme requêtes, il est nécessaire d'indiquer des requêtes de recherche, exactement comme si elles étaient saisies directement dans le champ de question de ChatGPT, par exemple :

Qu'est-ce que A-Parser ?
Comment apprendre à apprendre rapidement ?
Comment améliorer la mémoire et la concentration ?

Résultats​

info

Ici et plus loin, les exemples de résultats sont abrégés pour une meilleure clarté

Par défaut, la requête et sa réponse sont affichées, par exemple :

Qu'est-ce que A-Parser ?
**A-Parser** — est un outil puissant pour la collecte automatique (collecte de données) de données à partir de diverses sources sur Internet. Il est le plus souvent utilisé pour les tâches SEO, l'analyse des résultats de recherche, la collecte d'informations sur les sites, le suivi des concurrents et d'autres tâches liées à l'extraction de données à partir de pages Web.

### Principales caractéristiques de A-Parser :

1. **Traitement multithread**    
      Prend en charge le travail avec un grand nombre de threads, ce qui permet de collecter rapidement de gros volumes de données.

...
Comment améliorer la mémoire et la concentration ?
L'amélioration de la mémoire et de la concentration — est un processus qui nécessite une pratique régulière et un mode de vie sain. Voici des méthodes éprouvées qui fonctionnent réellement :

---

## 🧠 1. Mode de vie approprié

**Sommeil :**
- Dormez 7–9 heures chaque nuit.
- Le manque de sommeil réduit l'attention, la concentration et la mémoire à long terme.

**Alimentation :**
- Mangez plus d'aliments riches en oméga-3 (poisson, noix).
...
Comment apprendre à apprendre rapidement ?
Apprendre à apprendre rapidement — est une compétence qui peut être développée. Voici une approche systémique pour devenir plus efficace dans l'apprentissage :

---

### 📌 **1. Compréhension des principes d'apprentissage**
- **Apprentissage actif** — au lieu d'une lecture/visionnage passif, utilisez :   
    - reformuler avec ses propres mots ;   
    - expliquer le matériel à un « élève imaginaire » (méthode Feynman) ;   
    - résoudre des problèmes ou des études de cas ;
- **Répétition espacée** (spaced repetition) — il vaut mieux répéter le matériel avec des intervalles croissants que de bachoter.
...

Variantes d'affichage des résultats​

A-Parser prend en charge un formatage flexible des résultats grâce au moteur de gabarits intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous n'importe quelle forme, y compris structurée comme CSV ou JSON.

Exportation de la liste des liens et de leurs types​

Format du résultat :

$sources.format('$type - $link\n')

Exemple de résultat :

...
citation - https://en.a-parser.com/?utm_source=chatgpt.com
citation - https://capmonster.cloud/ru/blog/scraping/a-parser-x-capmonster-cloud-parsing?utm_source=chatgpt.com
citation - https://ru.news.proxy.market/nastroyka-proksi-servera-a-parser?utm_source=chatgpt.com
other - https://en.a-parser.com/
other - https://a-parser.com/
other - https://crozdesk.com/software/a-parser
...

Sortie en CSV des liens vers les images, leurs aperçus et titres​

Format du résultat :

[% FOREACH item IN sources;
    tools.CSVline(loop.count, item.link, item.anchor, item.snippet);
END %]

Exemple de résultat :

https://www.hawkmountain.org/data/uploads/media/image/barn-owl-by-Traci-Sepkovic.jpg?w=1024,https://images.openai.com/thumbnails/url/VgTsVnicu1mSUVJSUGylr5-al1xUWVCSmqJbkpRnoJdeXJJYkpmsl5yfq5-Zm5ieWmxfaAuUsXL0S7F0Tw4MLc1yCsx3zM0tMPdKqfIO13UpLsrySgpPNyvJLzQy9jbNd0pNDQ22KEj1Cs80DzUKtLQo8MqPyvQvc1QrBgAn1inp,hawkmountain.org/raptors...
https://cdn.download.ams.birds.cornell.edu/api/v1/asset/297388681/1200,https://images.openai.com/thumbnails/url/hrzNoXicu1mUUVJSUGylr5-al1xUWVCSmqJbkpRnoJdeXJJYkpmsl5yfq5-Zm5ieWmxfaAuUsXL0S7F0Tw6uSC008PEyLiw1j_QxMKw0Cwmv8Io3yDQJLCkpMTQOKktOjCpNKSorjKgyNgy3cMzPjvAz8c8INAhUKwYAwr0pAA,birdsoftheworld.org/bow/...
https://gpnc.org/wp-content/uploads/2017/12/Great_Horned_Owl_Bob_Gress_120116_0784_KS.jpg,https://images.openai.com/thumbnails/url/E489Q3icu1mUUVJSUGylr5-al1xUWVCSmqJbkpRnoJdeXJJYkpmsl5yfq5-Zm5ieWmxfaAuUsXL0S7F0Tw72KjSOj0jJrcwwKnOO94goTS7I1XVMS_Rxd3f3N842CrEILDevSq7w8jXIK_A2MnVyS6rK0c32MLBUKwYAxlQonQ,gpnc.org/fauna/birds/gre...
https://upload.wikimedia.org/wikipedia/commons/thumb/5/56/Bubo_bubo_sibiricus_-_01.JPG/960px-Bubo_bubo_sibiricus_-_01.JPG,https://images.openai.com/thumbnails/url/r9I8Dnicu1mUUVJSUGylr5-al1xUWVCSmqJbkpRnoJdeXJJYkpmsl5yfq5-Zm5ieWmxfaAuUsXL0S7F0Tw6Jr8ovi_DKM0vOzTQwSAmPNAswTsz1yyqpKjU3ysrKCXJ2MQ71CrYwyA4vCPZ2LSrI83P2LU10KTJWKwYA0n8pRw,en.wikipedia.org/wiki/ow...
astuce

Dans le Format général des résultats, le moteur de gabarits Template Toolkit est utilisé pour afficher le tableau $sources dans une boucle FOREACH.

Dans le nom du fichier de résultats, il suffit de changer l'extension du fichier en csv.

Sortie en JSON de la question, de la réponse et du nom du modèle utilisé​

Format de sortie general:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.answer = p1.answer;
obj.model = p1.model;

obj.json %]

Texte initial:

[

Texte final:

]

Exemple de résultat :

[{"answer":"Pour apprendre à apprendre rapidement, vous devez développer plusieurs compétences et habitudes importantes. Voici quelques approches qui peuvent aider :\n\n### 1. **Méthode d'apprentissage actif**\n   Au lieu d'une lecture ou d'une écoute passive, interagissez activement avec le matériel :\n - Appliquez les informations en pratique.\n - Expliquez ce que vous étudiez aux autres (ou même à vous-même à haute voix).\n - Créez des cartes mentales, des schémas ou des notes pour mieux organiser l'information.\n\n### 2. **Découpage de l'information (Chunking)**\n   Divisez les informations complexes en parties plus petites et gérables. Par exemple, si vous apprenez une langue, mémorisez d'abord les mots de base, puis les phrases, au lieu d'essayer de tout apprendre d'un coup.\n\n### 3. **Méthode de \"répétition espacée\" (spaced repetition)**\n   Répartissez l'étude par intervalles : revenez au matériel après un certain temps (après 1, 2, 3 jours, etc.). Cela aide à renforcer la mémoire.\n\n### 4. **Cartes mentales et visualisation**\n   L'utilisation de schémas, de cartes mémoire et d'autres outils visuels aide à accélérer la perception et la mémorisation des informations. Cela aide également à organiser plus clairement les pensées.\n\n### 5. **Focus sur la compréhension profonde**\n   Ne visez pas la mémorisation mécanique. Comprenez mieux comment fonctionne le sujet étudié, ce qui se passe et pourquoi. Lorsque vous comprenez la logique, mémoriser devient beaucoup plus facile.\n\n### 6. **Pratique et répétition**\n   N'ayez pas peur de faire des erreurs et de répéter le matériel plusieurs fois. Plus vous interagissez avec l'information, plus vite vous la maîtriserez.\n\n### 7. **Intervalles de repos et de sommeil**\n   Les pauses et un sommeil complet sont critiques pour que l'information soit assimilée dans la mémoire à long terme. Le bon équilibre entre travail et repos — est un point clé de l'apprentissage rapide.\n\n### 8. **Motivation et objectifs**\n   Définissez des objectifs clairs et trouvez une motivation qui vous soutiendra. L'apprentissage structuré est toujours plus efficace s'il y a une compréhension claire de pourquoi c'est nécessaire.\n\n### 9. **Diversité des sources d'information**\n   Appliquez différents formats : livres, vidéos, cours en ligne, audio, etc. Cela aide à mieux assimiler l'information, car différents canaux de perception activent différentes parties du cerveau.\n\n### 10. **Utilisation de la technologie**\n   Profitez des applications et plateformes d'apprentissage qui utilisent des algorithmes pour sélectionner le matériel en fonction de votre niveau de connaissances (par exemple, Anki pour la répétition espacée).\n\nAvez-vous déjà de l'expérience avec certaines méthodes d'apprentissage que vous aimeriez améliorer ou ajouter ?","query":"Comment apprendre à apprendre rapidement ?","model":"i-mini"},
{"answer":"**A-Parser** — est un outil puissant pour le scraping (collecte) de données à partir de diverses sources, telles que les moteurs de recherche, les sites, les API et d'autres ressources en ligne. Il est particulièrement populaire parmi les spécialistes SEO, les marketeurs, les marketeurs d'affiliation et les développeurs qui ont besoin d'automatiser la collecte de gros volumes d'informations.\n\n### Principales caractéristiques de A-Parser :\n\n1. **Flexibilité des sources**: \n   Prend en charge de nombreux scrapers prêts à l'emploi — Google, Bing, Yandex, Amazon, YouTube et autres. Vous pouvez également créer vos propres scrapers à l'aide de gabarits en langage A-Script.\n\n2. **Traitement multithread**:\n   Permet de lancer des centaines et même des milliers de threads, ce qui rend la collecte de données rapide et évolutive.\n\n3. **Support des proxys**:\n   Prend en charge le travail avec des serveurs proxy (HTTP, HTTPS, SOCKS), ce qui permet de contourner les blocages et la protection contre les bots.\n\n4. **Rotation des user-agents et des proxys**:\n   Permet d'émuler le comportement de différents utilisateurs et d'éviter les bannissements de la part des sources.\n\n5. **Sortie personnalisable**:\n   Les résultats peuvent être sauvegardés dans différents formats (CSV, TXT, JSON, etc.) avec la structure souhaitée.\n\n6. **API et automatisation**:\n   Il existe une API pratique, la possibilité de lancer via la ligne de commande, des intégrations avec d'autres scripts et systèmes.\n\n7. **Interface**:\n   Possède à la fois une interface Web et une version console. Les paramètres peuvent être complexes pour les débutants, mais flexibles pour les utilisateurs expérimentés.\n\n---\n\n### Exemples d'application :\n\n- Collecte des résultats des moteurs de recherche (SERP)\n- Collecte d'informations sur les produits (prix, disponibilité, descriptions)\n- Scraping d'adresses e-mail ou de numéros de téléphone\n- Surveillance des concurrents\n- Génération d'une base de mots-clés\n\n---\n\nSi vous le souhaitez, je peux montrer un exemple de configuration d'un scraping simple ou expliquer comment créer un gabarit en A-Script.","query":"Qu'est-ce que A-Parser ?","model":"gpt-4o"},
{"answer":"Pour améliorer la mémoire et la concentration, il existe plusieurs méthodes éprouvées. Voici quelques conseils :\n\n### 1. **Activité physique**\nDes exercices réguliers, tels que la course, la natation ou le yoga, stimulent la circulation sanguine et activent le fonctionnement du cerveau. Cela aide à améliorer les fonctions cognitives, y compris la mémoire et la concentration.\n\n### 2. **Alimentation correcte**\nL'alimentation joue un rôle énorme dans le fonctionnement du cerveau. Pour améliorer la mémoire et la concentration, il est important de manger :\n- **Acides gras oméga-3** ((dans le poisson, l'huile de lin, les noix).\n- **Antioxydants** ((baies, thé vert, chocolat noir).\n- **Vitamines du groupe B** ((œufs, produits céréaliers complets, légumes verts).\n- **Magnésium et potassium** ((bananes, noix, graines).\n\n### 3. **Apprentissage de nouvelles choses**\nMaîtriser de nouvelles compétences ou étudier de nouveaux matériels — est un excellent moyen d'entraîner la mémoire. Cela aide non seulement à maintenir l'activité cérébrale, mais augmente également la capacité de concentration.\n\n### 4. **Méditation et pleine conscience**\nLa méditation aide à développer la concentration et l'attention. Les pratiques de pleine conscience (mindfulness) apprennent à être « ici et maintenant », ce qui améliore la capacité à se focaliser sur les tâches.\n\n### 5. **Bon sommeil**\nUn sommeil agité ou son manque affectent la mémoire et l'attention. Essayez de dormir 7 à 9 heures chaque nuit. Un bon sommeil favorise la consolidation de la mémoire et la récupération du système nerveux.\n\n### 6. **Techniques de mnémotechnie**\nUtilisez des techniques de mémorisation telles que :\n- **Associations**: liez les nouvelles informations à celles déjà connues.\n- **Phrases mnémotechniques**: créez des phrases qui aident à mémoriser des données complexes.\n- **Méthode des lieux**: imaginez un endroit familier et associez l'information à des objets spécifiques dans cet endroit.\n\n### 7. **Gestion du stress**\nUn niveau de stress élevé perturbe le fonctionnement du cerveau, ce qui affecte la mémoire et la concentration. Des techniques de relaxation régulières, des exercices de respiration et du repos aideront à réduire le niveau de stress.\n\n### 8. **Organisation de l'espace de travail**\nLa propreté et l'ordre dans votre espace de travail favorisent l'amélioration de la concentration. Un désordre constant peut distraire l'attention.\n\n### 9. **Planification et délégation**\nSouvent, les problèmes de concentration surviennent lorsque trop de tâches se chevauchent. Divisez les tâches en petites étapes, utilisez des agendas et des applications pour organiser le temps.\n\nQue penses-tu de ces conseils ? Y a-t-il quelque chose que tu aimerais essayer en premier ?","query":"Comment améliorer la mémoire et la concentration ?","model":"i-mini"}]

Paramètres possibles​

note

Paramètres communs pour tous les scrapers

Nom du paramètreValeur par défautDescription
Search the web☐Recherche sur Internet
Browser headless☑Si l'option est activée, le navigateur ne sera pas affiché
Use sessions☑Conserve les bonnes sessions, ce qui permet de scraper encore plus vite en recevant moins d'erreurs
Log page screenshot (debug)☐Création d'une capture d'écran de la page avec la réponse et affichage dans le log de la tâche