Installazione e aggiornamenti

Prima dell'installazione

Prima dell'installazione è necessario eseguire le seguenti azioni:

1. Nell'Area membri verificate se il vostro indirizzo IP è indicato correttamente (per gli utenti con IP dinamico, è necessario cambiare l'indirizzo IP quando ne viene assegnato uno nuovo)

   

2. Andate nella scheda A-Parser -> Download (Download)

3. Prima di scaricare la versione necessaria, è consigliabile cliccare su Update (Aggiorna), per aggiornare all'ultima versione di A-Parser

   

A-Parser Release - versione stabile di A-Parser, maggiori dettagli sul rilascio delle nuove versioni sono disponibili nella sezione Novità

A-Parser Beta - versione intermedia di A-Parser, costantemente aggiornata, maggiori dettagli sulle modifiche sono disponibili sul forum nella sezione Next Release

Installazione di A-Parser

⏩ Video A-Parser: installazione, avvio e aggiornamento

TODO: (next) aggiornare il video

Installazione su Windows

Dopo aver completato la fase Prima dell'installazione, è necessario scaricare l'archivio del programma ed estrarlo nella cartella desiderata (può essere qualsiasi cartella, anche il desktop)

Entrate nella cartella aparser e avviate aparser.exe

Il primo avvio può richiedere del tempo, da 30 secondi a diversi minuti. Dopo la comparsa della finestra del server, aprite nel browser http://127.0.0.1:9091/

Password predefinita è vuota. Basta cliccare sul pulsante Login, dopodiché apparirà l'interfaccia web di A-Parser

Risoluzione dei problemi

Programmi incompatibili

Sono noti problemi di compatibilità con i seguenti antivirus e programmi:

• Norton Internet Security - possibile funzionamento instabile dello scraper
• Emsisoft Anti-Malware - possibile funzionamento instabile dello scraper
• Guard Mail.ru - deve essere completamente rimosso dal sistema
• HTTPDebugger - interrompe il funzionamento di A-Parser 2 ore dopo l'avvio

Disattivazione del servizio di indicizzazione di Windows

Il servizio di indicizzazione può bloccare l'accesso ai file durante il funzionamento di A-Parser. Se lo scraper non si avvia o si arresta in modo anomalo, è necessario controllare il log di A-Parser per la presenza delle seguenti voci:

IO error: ... Append: cannot write
o
sysopen: Permission denied

Per disattivare il servizio di indicizzazione, seguite questi passaggi:

1. Apriamo Gestione servizi: Start - Esegui o combinazione di tasti Win + R, inseriamo services.msc
2. Nella finestra che si apre, selezioniamo Windows Search, clicchiamo con il tasto destro del mouse e selezioniamo Proprietà
3. Nella finestra delle proprietà, nella scheda Generale, cambiamo il Tipo di avvio in Disabilitato e clicchiamo su Applica
4. Se dopo questa operazione il pulsante Stop è attivo, cliccatelo per fermare il servizio

Errore durante l'aggiornamento della distribuzione

In alcuni casi, Windows può bloccare l'accesso ai file della distribuzione di A-Parser; in questo caso nel file aparser.log sarà presente la seguente voce:

remove_tree failed for dist\nodejs\node_modules\...

Per risolvere il problema:

• assicuratevi che nel task manager non ci siano processi bloccati di aparser.exe o aparser-node.exe
• eliminate la cartella dist nella directory di A-Parser; se Windows segnala un errore di eliminazione, rinominate la cartella dist in dist_

Installazione su MacOS

Al momento l'installazione su MacOS è possibile utilizzando Docker

Password predefinita è vuota. Basta cliccare sul pulsante Login, dopodiché apparirà l'interfaccia web di A-Parser

avvertimento

Su MacOS con processori Apple è necessario attivare la seguente opzione in Docker Desktop

Installazione su Linux

Raccomandiamo di usare docker o docker-compose per installare A-Parser su Linux; per l'installazione classica seguite questa istruzione

nota

A-Parser implementa il proprio server web, pertanto scegliete per l'installazione una directory senza accesso web

Per facilitare lo scaricamento dal server sono stati implementati dei link temporanei. Nell'Area membri è necessario cliccare su Link monouso (nella versione inglese Get one-time link): tramite il link ottenuto è possibile scaricare la distribuzione una sola volta. Nel terminale andate nella directory di installazione (ad esempio ~/) ed eseguite i seguenti comandi utilizzando il link ottenuto:

wget https://a-parser.com/members/onetime/ce42f308eaa577b5/aparser-linux-x64.tar.gz
tar zxf aparser-linux-x64.tar.gz
rm -f aparser-linux-x64.tar.gz
cd aparser/
chmod +x aparser
./aparser

Il primo avvio può richiedere del tempo, da 30 secondi a diversi minuti. Dopo la comparsa della finestra del server, aprite nel browser http://127.0.0.1:9091/; potete anche accedere ad A-Parser utilizzando l'indirizzo IP pubblico del server

Password predefinita è vuota. Basta cliccare sul pulsante Login, dopodiché apparirà l'interfaccia web di A-Parser

avvertimento

Si prega di notare che per impostazione predefinita A-Parser è accessibile su tutte le interfacce. Raccomandiamo di impostare una password sicura e, se necessario, limitare l'accesso utilizzando iptables

Risoluzione dei problemi

A volte sul server possono mancare alcune librerie, ad esempio:

./aparser
./aparser: error while loading shared libraries: libz.so.1: cannot open shared object file: No such file or directory

È necessario installare le librerie mancanti:

yum -y install zlib

E riavviare A-Parser:

./aparser

Se non viene visualizzato alcun messaggio, ciò indica che l'avvio di A-Parser è avvenuto con successo. Potete verificarlo con il comando tail -f aparser.log

Se nel file aparser.log sono presenti queste righe:

./dist/nodejs/bin/aparser-node: /lib64/libc.so.6: version `GLIBC_2.25' not found (required by ./dist/nodejs/bin/aparser-node)
./dist/nodejs/bin/aparser-node: /lib64/libc.so.6: version `GLIBC_2.28' not found (required by ./dist/nodejs/bin/aparser-node)

ciò indica l'uso di una versione obsoleta di Linux; in tal caso si raccomanda di aggiornare il sistema operativo o di usare docker o docker-compose

Ottimizzazione di Linux per un numero maggiore di thread

Per impostazione predefinita, Linux limita il numero di file e socket aperti a 1024 per utente; per aumentare il limite eseguite i seguenti comandi:

echo 'root soft nofile 10240' >> /etc/security/limits.conf
echo 'root hard nofile 10240' >> /etc/security/limits.conf

Se avviate lo scraper non come root ma come un altro utente, sostituite root con il nome dell'utente

È inoltre necessario aumentare la dimensione della tabella ip_conntrack:

sysctl -w net.ipv4.netfilter.ip_conntrack_max=262144
echo 'net.ipv4.netfilter.ip_conntrack_max=262144' >> /etc/sysctl.conf

In assenza del firewall iptables, questo comando restituirà un errore: ignoratelo semplicemente

È necessario rientrare nel terminale (ssh) e riavviare A-Parser. Per verificare il limite attuale, eseguite:

ulimit -n

Su alcuni sistemi è inoltre necessario aggiungere al file /etc/pam.d/common-session la seguente riga:

session required pam_limits.so

Installazione su FreeBSD

Al momento l'emulatore Linux per FreeBSD non è in grado di funzionare stabilmente con A-Parser

Struttura dei file del programma installato

Struttura della directory di lavoro di A-Parser:

File	Descrizione
config	Directory con i file di configurazione, si consiglia di fare un backup prima di aggiornare A-Parser
dist	Directory con la distribuzione di A-Parser, include NodeJS e altri moduli aggiuntivi
files/proxy	Directory con le impostazioni dei proxy checker
files/parsers	Directory contenente i codici sorgente degli scraper JavaScript creati o importati dall'utente
logs	Log di esecuzione dei task
queries	Directory con le query per gli scraper
results	Directory dei risultati dello scraping
tmp	Directory temporanea
.htaccess	File di configurazione del server web apache per proteggere la directory di lavoro dall'accesso web
aparser.exe o aparser	File eseguibile di A-Parser
aparser.log	Log di funzionamento di A-Parser, metodo principale per la diagnostica dello stato attuale e dei possibili errori

Struttura della directory config:

File	Descrizione
tasks	Directory con i file dei task (attivi e completati)
unique	Directory con i file di deduplicazione
config.db	File di configurazione principale, dove sono memorizzate le impostazioni e i preset
queue.db	File con i dati della coda dei task
scheduler.db	File con i dati dei task pianificati
config.txt	File di configurazione aggiuntivo

suggerimento

Per visualizzare le estensioni dei file nel sistema operativo Windows, attivate la seguente impostazione:

Configurazione iniziale

Iniziando a lavorare con A-Parser, è necessario configurarlo preventivamente secondo le proprie esigenze nel menu Settings -> Global Settings

• Password - la password predefinita è vuota, è possibile creare una nuova password per l'accesso al sistema.
• Language - possibilità di scegliere la lingua dell'interfaccia, delle novità e dei suggerimenti - sono disponibili russo e inglese.
• Check updates (Controlla aggiornamenti) e Updates channel (Canale aggiornamenti) - notifiche sul rilascio di nuove versioni dello scraper. Il canale di aggiornamento permette di scegliere tra le versioni stabile, beta e alfa.

La configurazione delle altre opzioni è descritta nella sezione Impostazioni generali

Password predefinita

La password predefinita è vuota. Basta cliccare sul pulsante Login, dopodiché apparirà l'interfaccia web di A-Parser. Per reimpostare la password, vedere sotto.

Reimpostazione della password

È possibile reimpostare la password di accesso allo scraper avviandolo dalla riga di comando con l'opzione -resetpassword

Per Windows:

aparser.exe -resetpassword

Per Linux:

./aparser -resetpassword

La password verrà reimpostata su vuota; per accedere ad A-Parser basta cliccare su Login

Aggiornamento di A-Parser

Aggiornamento tramite interfaccia

Scegliere il Canale di aggiornamento nelle Impostazioni generali:

Nel menu Strumenti andare nella scheda Aggiorna A-Parser:

Selezionate i file da aggiornare, A-Parser verrà riavviato:

avvertimento

Attenzione! Se non diversamente specificato, è sufficiente aggiornare solo il file eseguibile (aparser.exe o aparser)

Aggiornamento manuale su Windows

In generale, è sufficiente sostituire il file eseguibile dello scraper.

• Fermiamo A-Parser - clicchiamo su Stop server
• Scarichiamo l'archivio dall'Area membri e sovrascriviamo aparser.exe
• Avviamo aparser.exe

Aggiornamento manuale su Linux

• Fermiamo A-Parser - nella console eseguiamo killall aparser
• Scarichiamo l'archivio dall'Area membri e sovrascriviamo il file aparser
• Avviamo aparser - nella console eseguiamo ./aparser

Aggiornamento utilizzando un link monouso

wget https://a-parser.com/members/onetime/0d19621928c25a48/aparser.tar.gz
kill $(cat files/pid)
sleep 1
tar xzf aparser.tar.gz -O aparser/aparser > aparser
rm -f aparser.tar.gz
chmod +x aparser
./aparser

Installazione di una licenza su più computer

Ogni licenza può essere utilizzata contemporaneamente solo su un PC/server. Tuttavia, possedendo una licenza, non è vietato installare A-Parser su più computer contemporaneamente. Ma in questo caso, A-Parser potrà essere avviato solo sul PC/server il cui IP è indicato nell'Area membri

Un esempio di tale utilizzo potrebbe essere il PC dell'ufficio e il laptop di casa: lo scraper può essere installato su entrambe le macchine, e utilizzato o sul PC dell'ufficio o sul laptop di casa. Il numero di modifiche dell'IP nell'Area membri è illimitato, ma si raccomanda di non farlo più di 5 volte al giorno, poiché in caso contrario potrebbe essere richiesto di confermare l'assenza di attività fraudolente.

Per il funzionamento simultaneo di A-Parser su più computer o server, seguite questi passaggi:

1. Aggiungete Licenze aggiuntive
2. Nell'Area membri andate nella scheda A-Parser -> Configurazione IP (Configurazione IP)
3. Inserite gli indirizzi IP dei computer aggiuntivi

Installazione di più copie su un solo PC o server

Ogni licenza permette di installare e avviare contemporaneamente un numero illimitato di copie di A-Parser all'interno di una singola macchina. Ciò consente di sfruttare al massimo le potenzialità di sistemi potenti, dove una sola copia non utilizza tutte le risorse e si richiede un aumento delle prestazioni.

Processo di installazione di più copie dello scraper su un unico sistema:

• è necessario scaricare e installare ogni copia in una directory separata secondo le istruzioni standard di installazione
• in ogni copia dello scraper è necessario creare nella directory config un file config.txt e inserire un'impostazione di questo tipo:

bind: 0.0.0.0:9092

• al posto di 9092 indicate la porta sulla quale funzionerà questa copia

Dopodiché lo scraper può essere avviato e sarà accessibile sulla porta indicata

avvertimento

Qualsiasi metodo di accesso condiviso, così come il noleggio di A-Parser, è vietato e in caso di rilevamento la licenza verrà annullata senza rimborso o possibilità di ripristino.