Utilisation de TypeScript

L'utilisation de TypeScript facilite le développement en offrant l'autocomplétion automatique des méthodes et des propriétés, ainsi que la vérification des types :

Nous recommandons d'utiliser l'éditeur Visual Studio Code pour créer et éditer des scrapers

Installez la bibliothèque de types A-Parser :

cd files/
npm install a-parser-types

A-Parser crée automatiquement un fichier de configuration TypeScript de base s'il est absent :

files/tsconfig.json

{
    "compilerOptions": {
        "target": "esnext",
        "moduleResolution": "node",
        "module": "commonjs",
        "sourceMap": true,
        "baseUrl": ".",
        "paths": {
            "*": ["node_modules/*", "../dist/nodejs/node_modules/*"]
        }
    },
    "include": ["**/*.ts"]
}

Créez un fichier pour le scraper :

mkdir files/parsers/Awesome-Parser/
touch files/parsers/Awesome-Parser/Awesome-Parser.ts

Utilisez ce gabarit pour commencer le développement :

files/parsers/Awesome-Parser/Awesome-Parser.ts

import { BaseParser } from 'a-parser-types';

export class JS_Awesome_Parser extends BaseParser {
    static defaultConf: typeof BaseParser.defaultConf = {
        version: '0.0.1',
        results: {
            flat: [
                ['title', 'Title'],
            ],
            arrays: {
            }
        },
        results_format: "Title: $title\n",
    };

    static editableConf: typeof BaseParser.editableConf = [
    ];

    async parse(set, results) {
        ...

        return results;
    }
}

note

A-Parser compilera automatiquement les fichiers .ts en .js avant de lancer le scraper

Différences par rapport à l'API v1

• Les générateurs sont remplacés par async/await
• Les champs defaultConf et editableConf sont devenus static
• La classe du scraper doit hériter de BaseParser
• TypeScript peut être utilisé de manière optionnelle, nous recommandons de l'utiliser par défaut pour l'autocomplétion des méthodes et paramètres disponibles