Installation och uppdateringar

Före installation

Före installationen måste följande åtgärder utföras:

1. Kontrollera i ditt Medlemsområde om din IP-adress är korrekt angiven (för användare med dynamisk IP-adress krävs det att IP-adressen ändras när den förnyas)

   

2. Gå till fliken A-Parser -> Nedladdningar

3. Innan du laddar ner den önskade versionen bör du först klicka på Update (Uppdatera) för att uppdatera till den senaste versionen av A-Parser

   

A-Parser Release - stabil version av A-Parser, mer information om nya versioner finns i avsnittet Nyheter

A-Parser Beta - mellanliggande version av A-Parser som ständigt kompletteras, mer information om ändringar finns på forumet i avsnittet Next Release

Installation av A-Parser

⏩ Video A-Parser: installation, start och uppdatering

TODO: (next) aktualisera videon

Installation på Windows

När du har slutfört steget Före installation måste du ladda ner programarkivet och packa upp det i önskad mapp (det kan vara vilken mapp som helst, även på skrivbordet)

Gå in i mappen aparser och kör aparser.exe

Den första starten kan ta lång tid, från 30 sekunder till flera minuter. När serverfönstret visas, öppna http://127.0.0.1:9091/ i din webbläsare

Standardlösenordet är tomt. Klicka bara på knappen Login, varefter A-Parsers webbgränssnitt visas

Felsökning

Inkompatibla program

Det finns kända kompatibilitetsproblem med följande antivirus och program:

• Norton Internet Security - instabil drift av scrapern är möjlig
• Emsisoft Anti-Malware - instabil drift av scrapern är möjlig
• Guard Mail.ru - måste tas bort helt från systemet
• HTTPDebugger - avbryter driften av A-Parser 2 timmar efter start

Inaktivera Windows indexeringstjänst

Indexeringstjänsten kan blockera åtkomst till filer under A-Parsers drift. Om scrapern inte startar eller kraschar under drift, kontrollera A-Parsers logg efter följande poster:

IO error: ... Append: cannot write
eller
sysopen: Permission denied

För att inaktivera indexeringstjänsten, gör följande:

1. Öppna Tjänster: Start - Kör eller tangentkombinationen Win + R, skriv services.msc
2. I fönstret som öppnas, välj Windows Search, högerklicka och välj Egenskaper
3. I egenskapsfönstret på fliken Allmänt, ändra Startmetod till Inaktiverad och klicka på Verkställ
4. Om knappen Stop är aktiv efter detta - klicka på den och stoppa tjänsten

Fel vid uppdatering av distributionen

I vissa fall kan Windows blockera åtkomst till A-Parsers distributionsfiler, i så fall kommer följande post att finnas i aparser.log:

remove_tree failed for dist\nodejs\node_modules\...

För att lösa problemet:

• se till att det inte finns några hängda processer av aparser.exe eller aparser-node.exe i aktivitetshanteraren
• ta bort mappen dist i A-Parser-katalogen, om Windows rapporterar ett fel vid borttagning - byt namn på mappen dist till dist_

Installation på MacOS

För närvarande är installation på MacOS möjlig med hjälp av Docker

Standardlösenordet är tomt. Klicka bara på knappen Login, varefter A-Parsers webbgränssnitt visas

varning

På MacOS med Apple-processorer måste följande alternativ aktiveras i Docker Desktop

Installation på Linux

Vi rekommenderar att du använder docker eller docker-compose för att installera A-Parser på Linux, för klassisk installation följ denna instruktion

anteckning

A-Parser implementerar sin egen webbserver, så välj en katalog utan webbåtkomst för installationen

För enkel nedladdning från servern finns tillfälliga länkar. I Medlemsområdet klickar du på Engångslänk (i den engelska versionen Get one-time link) - via den erhållna länken kan du ladda ner distributionen en gång. I terminalen går du till installationskatalogen (t.ex. ~/) och kör följande kommandon med den erhållna länken:

wget https://a-parser.com/members/onetime/ce42f308eaa577b5/aparser-linux-x64.tar.gz
tar zxf aparser-linux-x64.tar.gz
rm -f aparser-linux-x64.tar.gz
cd aparser/
chmod +x aparser
./aparser

Den första starten kan ta lång tid, från 30 sekunder till flera minuter. När serverfönstret visas, öppna http://127.0.0.1:9091/ i din webbläsare, du kan också gå till A-Parser med serverns publika IP-adress

Standardlösenordet är tomt. Klicka bara på knappen Login, varefter A-Parsers webbgränssnitt visas

varning

Observera att A-Parser som standard är tillgänglig på alla gränssnitt. Vi rekommenderar att du anger ett starkt lösenord och vid behov begränsar åtkomsten med iptables

Felsökning

Ibland kan vissa bibliotek saknas på servern, till exempel:

./aparser
./aparser: error while loading shared libraries: libz.so.1: cannot open shared object file: No such file or directory

Du måste installera de saknade biblioteken:

yum -y install zlib

Och starta om A-Parser:

./aparser

Om inga meddelanden visas tyder det på en lyckad start av A-Parser. Du kan bekräfta detta med kommandot tail -f aparser.log

Om aparser.log innehåller följande rader:

./dist/nodejs/bin/aparser-node: /lib64/libc.so.6: version `GLIBC_2.25' not found (required by ./dist/nodejs/bin/aparser-node)
./dist/nodejs/bin/aparser-node: /lib64/libc.so.6: version `GLIBC_2.28' not found (required by ./dist/nodejs/bin/aparser-node)

så indikerar detta användning av en föråldrad Linux-version och i så fall rekommenderas att uppdatera operativsystemet eller använda docker eller docker-compose

Optimering av Linux för fler trådar

Som standard begränsar Linux antalet öppna filer och sockets till 1024 per användare. För att öka gränsen, kör följande kommandon:

echo 'root soft nofile 10240' >> /etc/security/limits.conf
echo 'root hard nofile 10240' >> /etc/security/limits.conf

Om du inte kör scrapern som root utan som en annan användare, ersätt root med användarnamnet

Du måste också öka storleken på tabellen ip_conntrack:

sysctl -w net.ipv4.netfilter.ip_conntrack_max=262144
echo 'net.ipv4.netfilter.ip_conntrack_max=262144' >> /etc/sysctl.conf

Om brandväggen iptables saknas kommer detta kommando att ge ett fel - ignorera det helt enkelt

Du måste logga in på nytt i terminalen (ssh) och sedan starta om A-Parser. För att kontrollera den aktuella gränsen, kör:

ulimit -n

På vissa system krävs det dessutom att följande rad läggs till i filen /etc/pam.d/common-session:

session required pam_limits.so

Installation på FreeBSD

För närvarande kan Linux-emulatorn för FreeBSD inte köra A-Parser stabilt

Filstruktur för det installerade programmet

Struktur för A-Parsers arbetskatalog:

Fil	Beskrivning
config	Katalog med konfigurationsfiler, vi rekommenderar att du gör en säkerhetskopia innan du uppdaterar A-Parser
dist	Katalog med A-Parser-distributionen, inkluderar NodeJS och andra tilläggsmoduler
files/proxy	Katalog med inställningar för proxycheckers
files/parsers	Katalogen innehåller källkod för JavaScript-scrapers som har skapats eller importerats av användaren
logs	Loggar för körning av uppgifter
queries	Katalog med frågor för scrapers
results	Katalog för resultat av dataskrapning
tmp	Temporär katalog
.htaccess	Konfigurationsfil för webbservern apache för att skydda arbetskatalogen från webbåtkomst
aparser.exe eller aparser	Exekverbar fil för A-Parser
aparser.log	Logg för A-Parsers drift, det främsta sättet att diagnostisera aktuell status och möjliga fel

Struktur för katalogen config:

Fil	Beskrivning
tasks	Katalog med uppgiftsfiler (aktiva och slutförda)
unique	Katalog med filer för dubblettkontroll
config.db	Huvudkonfigurationsfil där inställningar och förinställningar lagras
queue.db	Fil med data för uppgiftskön
scheduler.db	Fil med data för schemalagda uppgifter
config.txt	Extra Konfigurationsfil

tips

För att visa filändelser i operativsystemet Windows, aktivera följande inställning:

Grundläggande inställningar

När du börjar arbeta med A-Parser måste du först konfigurera den efter dina behov i menyn Settings -> Global Settings

• Password - standardlösenordet är tomt, du kan skapa ett nytt lösenord för att logga in i systemet.
• Language - möjlighet att välja språk för gränssnitt, nyheter och tips - ryska och engelska är tillgängliga.
• Check updates (Kontrollera uppdateringar) och Updates channel (Uppdateringskanal) - meddelanden om nya versioner av scrapern. Uppdateringskanalen låter dig välja mellan stabil, beta och alfa-versioner.

Konfiguration av övriga alternativ beskrivs i avsnittet Allmänna inställningar

Standardlösenord

Standardlösenordet är tomt. Klicka bara på knappen Login, varefter A-Parsers webbgränssnitt visas. För att återställa lösenordet, se nedan.

Återställ lösenord

Du kan återställa lösenordet för åtkomst till scrapern genom att köra den från kommandoraden med alternativet -resetpassword

För Windows:

aparser.exe -resetpassword

För Linux:

./aparser -resetpassword

Lösenordet kommer att återställas till tomt, för att logga in i A-Parser klickar du bara på Login

Uppdatering av A-Parser

Uppdatering via gränssnittet

Välj Uppdateringskanal i Allmänna inställningar:

Gå till fliken Uppdatera A-Parser i menyn Verktyg:

Välj filer att uppdatera, A-Parser kommer att startas om:

varning

Varning! Om inget annat anges räcker det att uppdatera endast den exekverbara filen (aparser.exe eller aparser)

Manuell uppdatering på Windows

I de flesta fall räcker det att ersätta scraperns exekverbara fil.

• Stoppa A-Parser - klicka på Stop server
• Ladda ner arkivet från Medlemsområdet och skriv över aparser.exe
• Starta aparser.exe

Manuell uppdatering på Linux

• Stoppa A-Parser - kör killall aparser i konsolen
• Ladda ner arkivet från Medlemsområdet och skriv över filen aparser
• Starta aparser - kör ./aparser i konsolen

Uppdatering med hjälp av engångslänk

wget https://a-parser.com/members/onetime/0d19621928c25a48/aparser.tar.gz
kill $(cat files/pid)
sleep 1
tar xzf aparser.tar.gz -O aparser/aparser > aparser
rm -f aparser.tar.gz
chmod +x aparser
./aparser

Installation av en licens på flera datorer

Varje licens kan endast användas samtidigt på en PC/server. Samtidigt är det inte förbjudet att installera A-Parser på flera datorer med en licens. Men i detta fall kan A-Parser endast köras på den PC/server vars IP-adress är angiven i Medlemsområdet

Ett exempel på sådan användning kan vara en arbetsdator och en bärbar dator hemma: scrapern kan installeras på båda maskinerna, men användas antingen på arbetsdatorn eller på den bärbara datorn hemma. Antalet IP-ändringar i Medlemsområdet är obegränsat, men det rekommenderas inte att göra detta mer än 5 gånger per dygn, eftersom du annars kan behöva bekräfta frånvaron av bedrägliga handlingar.

För att köra A-Parser samtidigt på flera datorer eller servrar, gör följande:

1. Lägg till Extra licenser
2. Gå till fliken A-Parser -> IP-inställning i Medlemsområdet
3. Skriv in IP-adresserna för de extra datorerna

Installation av flera kopior på en PC eller server

Varje licens tillåter installation och körning av ett obegränsat antal kopior av A-Parser samtidigt på en och samma maskin. Detta gör det möjligt att maximera användningen av kraftfulla system där en kopia inte använder alla resurser och prestandan behöver ökas.

Processen för att installera flera kopior av scrapern på ett system:

• du måste ladda ner och installera varje kopia i en separat katalog enligt standardinstruktionerna för installation
• i varje kopia av scrapern måste du skapa en fil config.txt i katalogen config och skriva in en inställning av denna typ:

bind: 0.0.0.0:9092

• istället för 9092 anger du den port som denna kopia ska köras på

Därefter kan scrapern startas och den kommer att vara tillgänglig på den angivna porten

varning

Alla former av delad åtkomst samt uthyrning av A-Parser är förbjudna och vid upptäckt kommer licensen att annulleras utan återbetalning eller möjlighet till återställning.