Gebruik van TypeScript

Het gebruik van TypeScript vergemakkelijkt de ontwikkeling door automatische markering van methoden en eigenschappen te bieden, evenals typecontrole:

Wij raden aan om de editor Visual Studio Code te gebruiken voor het maken en bewerken van scrapers

Installeer de A-Parser type-bibliotheek:

cd files/
npm install a-parser-types

A-Parser maakt automatisch een basis TypeScript configuratiebestand aan als dit ontbreekt:

files/tsconfig.json

{
    "compilerOptions": {
        "target": "esnext",
        "moduleResolution": "node",
        "module": "commonjs",
        "sourceMap": true,
        "baseUrl": ".",
        "paths": {
            "*": ["node_modules/*", "../dist/nodejs/node_modules/*"]
        }
    },
    "include": ["**/*.ts"]
}

Maak een scraper-bestand aan:

mkdir files/parsers/Awesome-Parser/
touch files/parsers/Awesome-Parser/Awesome-Parser.ts

Gebruik dit sjabloon om de ontwikkeling te starten:

files/parsers/Awesome-Parser/Awesome-Parser.ts

import { BaseParser } from 'a-parser-types';

export class JS_Awesome_Parser extends BaseParser {
    static defaultConf: typeof BaseParser.defaultConf = {
        version: '0.0.1',
        results: {
            flat: [
                ['title', 'Title'],
            ],
            arrays: {
            }
        },
        results_format: "Title: $title\n",
    };

    static editableConf: typeof BaseParser.editableConf = [
    ];

    async parse(set, results) {
        ...

        return results;
    }
}

opmerking

A-Parser compileert .ts bestanden automatisch naar .js voordat de scraper wordt gestart

Verschillen met API v1

• Generators zijn vervangen door async/await
• De velden defaultConf en editableConf zijn nu static geworden
• De scraper-klasse moet worden overgeërfd van BaseParser
• TypeScript kan optioneel worden gebruikt; wij raden aan dit standaard te gebruiken voor de markering van beschikbare methoden en parameters