Instalacja i aktualizacje

Przed instalacją

Przed instalacją należy wykonać następujące czynności:

1. W Strefie użytkownika sprawdź, czy Twój adres IP jest poprawnie wpisany (użytkownicy z dynamicznym adresem IP muszą aktualizować adres IP po każdej zmianie na nowy)

   

2. Przejdź do zakładki A-Parser -> Pobieranie

3. Przed pobraniem wymaganej wersji należy najpierw kliknąć Update (Aktualizuj), aby zaktualizować do najnowszej wersji A-Parser

   

A-Parser Release - stabilna wersja A-Parser, więcej o wydaniach nowych wersji można przeczytać w sekcji Aktualności

A-Parser Beta - wersja pośrednia A-Parser, która jest stale uzupełniana, więcej o zmianach można przeczytać na forum w sekcji Next Release

Instalacja A-Parser

⏩ Wideo A-Parser: instalacja, uruchamianie i aktualizacja

TODO: (next) zaktualizować wideo

Instalacja na Windows

Po zakończeniu etapu Przed instalacją należy pobrać archiwum programu i rozpakować je do wybranego folderu (może to być dowolny folder, nawet na pulpicie)

Wejdź do folderu aparser i uruchom aparser.exe

Pierwsze uruchomienie może zająć dłuższą chwilę, od 30 sekund do kilku minut. Po pojawieniu się okna serwera, otwórz w przeglądarce http://127.0.0.1:9091/

Hasło domyślne jest puste. Po prostu kliknij przycisk Login, po czym pojawi się interfejs webowy A-Parsera

Rozwiązywanie problemów

Niekompatybilne programy

Znane są problemy z kompatybilnością z następującymi programami i antywirusami:

• Norton Internet Security - możliwe niestabilne działanie scrapera
• Emsisoft Anti-Malware - możliwe niestabilne działanie scrapera
• Guard Mail.ru - należy całkowicie usunąć z systemu
• HTTPDebugger - przerywa pracę A-Parser po 2 godzinach od uruchomienia

Wyłączanie usługi indeksowania Windows

Usługa indeksowania może blokować dostęp do plików podczas pracy A-Parser. Jeśli scraper nie uruchamia się lub ulega awarii podczas pracy, należy sprawdzić log A-Parsera pod kątem następujących wpisów:

IO error: ... Append: cannot write
lub
sysopen: Permission denied

Aby wyłączyć usługę indeksowania, wykonaj następujące kroki:

1. Otwieramy Zarządzanie usługami: Start - Uruchom lub skrót klawiszowy Win + R, wpisujemy services.msc
2. W otwartym oknie wybieramy Windows Search, klikamy prawym przyciskiem myszy i wybieramy Właściwości
3. W oknie właściwości na zakładce Ogólne zmieniamy Typ uruchomienia na Wyłączony i klikamy Zastosuj
4. Jeśli po tym przycisk Stop jest aktywny - klikamy go i zatrzymujemy usługę

Błąd podczas aktualizacji dystrybucji

W niektórych przypadkach Windows może blokować dostęp do plików dystrybucji A-Parser, w takim przypadku w aparser.log pojawi się następujący wpis:

remove_tree failed for dist\nodejs\node_modules\...

Aby rozwiązać problem:

• upewnij się, że w menedżerze zadań nie ma zawieszonych procesów aparser.exe lub aparser-node.exe
• usuń folder dist w katalogu A-Parser, jeśli Windows zgłasza błąd usuwania - zmień nazwę folderu dist na dist_

Instalacja na MacOS

Obecnie instalacja na MacOS jest możliwa przy użyciu Docker

Hasło domyślne jest puste. Po prostu kliknij przycisk Login, po czym pojawi się interfejs webowy A-Parsera

ostrzeżenie

Na MacOS z procesorami Apple należy włączyć następującą opcję w Docker Desktop

Instalacja na Linux

Zalecamy użycie docker lub docker-compose do instalacji A-Parser na Linux, dla klasycznej instalacji postępuj zgodnie z tą instrukcją

notatka

A-Parser posiada własny serwer webowy, dlatego do instalacji wybierz katalog bez dostępu z sieci

Dla ułatwienia pobierania z serwera wdrożono tymczasowe linki. W Strefie użytkownika należy kliknąć Link jednorazowy (w wersji ang. Get one-time link) - za pomocą otrzymanego linku można jednorazowo pobrać dystrybucję. W terminalu przechodzimy do katalogu instalacyjnego (np. ~/) i wykonujemy następujące polecenia, używając otrzymanego linku:

wget https://a-parser.com/members/onetime/ce42f308eaa577b5/aparser-linux-x64.tar.gz
tar zxf aparser-linux-x64.tar.gz
rm -f aparser-linux-x64.tar.gz
cd aparser/
chmod +x aparser
./aparser

Pierwsze uruchomienie może zająć dłuższą chwilę, od 30 sekund do kilku minut. Po pojawieniu się okna serwera, otwórz w przeglądarce http://127.0.0.1:9091/, możesz również przejść do A-Parser używając publicznego adresu IP serwera

Hasło domyślne jest puste. Po prostu kliknij przycisk Login, po czym pojawi się interfejs webowy A-Parsera

ostrzeżenie

Pamiętaj, że domyślnie A-Parser jest dostępny na wszystkich interfejsach. Zalecamy ustawienie silnego hasła i w razie potrzeby ograniczenie dostępu za pomocą iptables

Rozwiązywanie problemów

Czasami na serwerze może brakować niektórych bibliotek, na przykład:

./aparser
./aparser: error while loading shared libraries: libz.so.1: cannot open shared object file: No such file or directory

Należy zainstalować brakujące biblioteki:

yum -y install zlib

I ponownie uruchomić aparser:

./aparser

Jeśli nie pojawiają się żadne komunikaty - oznacza to pomyślne uruchomienie A-Parser. Można to sprawdzić poleceniem tail -f aparser.log

Jeśli w aparser.log znajdują się takie linie:

./dist/nodejs/bin/aparser-node: /lib64/libc.so.6: version `GLIBC_2.25' not found (required by ./dist/nodejs/bin/aparser-node)
./dist/nodejs/bin/aparser-node: /lib64/libc.so.6: version `GLIBC_2.28' not found (required by ./dist/nodejs/bin/aparser-node)

oznacza to korzystanie z przestarzałej wersji Linux i w takim przypadku zaleca się aktualizację OS lub użycie docker lub docker-compose

Tuning Linux dla większej liczby wątków

Domyślnie Linux ogranicza liczbę otwartych plików i socketów do 1024 na użytkownika, aby zwiększyć limit wykonaj następujące polecenia:

echo 'root soft nofile 10240' >> /etc/security/limits.conf
echo 'root hard nofile 10240' >> /etc/security/limits.conf

Jeśli uruchamiasz scraper nie jako root, lecz jako inny użytkownik, zastąp root nazwą tego użytkownika

Należy również zwiększyć rozmiar tablicy ip_conntrack:

sysctl -w net.ipv4.netfilter.ip_conntrack_max=262144
echo 'net.ipv4.netfilter.ip_conntrack_max=262144' >> /etc/sysctl.conf

W przypadku braku firewall iptables to polecenie zwróci błąd - po prostu go zignoruj

Należy ponownie zalogować się do terminala (ssh), a następnie zrestartować A-Parser. Aby sprawdzić aktualny limit, należy wykonać:

ulimit -n

Na niektórych systemach dodatkowo wymagane jest dopisanie do pliku /etc/pam.d/common-session następującej linii:

session required pam_limits.so

Instalacja na FreeBSD

Obecnie emulator Linux dla FreeBSD nie jest w stanie stabilnie pracować z A-Parser

Struktura plików zainstalowanego programu

Struktura katalogu roboczego A-Parser:

Plik	Opis
config	Katalog z plikami konfiguracyjnymi, zalecamy wykonanie kopii zapasowej przed aktualizacją A-Parser
dist	Katalog z dystrybucją A-Parser, zawiera NodeJS i inne dodatkowe moduły
files/proxy	Katalog z ustawieniami proxycheckerów
files/parsers	Katalog zawiera kody źródłowe scraperów JavaScript, które zostały utworzone lub zaimportowane przez użytkownika
logs	Logi wykonywania zadań
queries	Katalog z zapytaniami dla scraperów
results	Katalog wyników scrapowania
tmp	Katalog tymczasowy
.htaccess	Plik konfiguracyjny serwera webowego apache do ochrony katalogu roboczego przed dostępem z sieci
aparser.exe lub aparser	Plik wykonywalny A-Parser
aparser.log	Log pracy A-Parser, główny sposób diagnostyki bieżącego stanu i możliwych błędów

Struktura katalogu config:

Plik	Opis
tasks	Katalog z plikami zadań (aktywnych i zakończonych)
unique	Katalog z plikami usuwania duplikatów
config.db	Główny plik konfiguracji, w którym przechowywane są ustawienia i presety
queue.db	Plik z danymi kolejki zadań
scheduler.db	Plik z danymi zaplanowanych zadań
config.txt	Dodatkowy Plik konfiguracji

wskazówka

Aby wyświetlić rozszerzenia plików w systemie operacyjnym Windows, włącz następujące ustawienie:

Konfiguracja początkowa

Rozpoczynając pracę z A-Parserem, należy go wstępnie skonfigurować pod swoje potrzeby w menu Settings -> Global Settings

• Password - domyślne hasło jest puste, możesz utworzyć nowe hasło do logowania w systemie.
• Language - możliwość wyboru języka interfejsu, aktualności i podpowiedzi - dostępne są języki rosyjski i angielski.
• Check updates (Sprawdzaj aktualizacje) i Updates channel (Kanał aktualizacji) - powiadomienia o wydaniu nowych wersji scrapera. Kanał aktualizacji pozwala wybrać między wersją stabilną, beta i alfa.

Konfiguracja pozostałych opcji opisana jest w sekcji Ustawienia ogólne

Hasło domyślne

Hasło domyślne jest puste. Po prostu kliknij przycisk Login, po czym pojawi się interfejs webowy A-Parsera. Informacje o resetowaniu hasła znajdują się poniżej.

Resetowanie hasła

Zresetować hasło dostępu do scrapera można uruchamiając go z linii komend z opcją -resetpassword

Dla Windows:

aparser.exe -resetpassword

Dla Linux:

./aparser -resetpassword

Hasło zostanie zresetowane na puste, aby wejść do A-Parser po prostu kliknij Login

Aktualizacja A-Parser

Aktualizacja przez interfejs

Wybierz Kanał aktualizacji w Ustawieniach ogólnych:

W menu Narzędzia przejdź do zakładki Aktualizuj A-Parser:

Wybierz pliki do aktualizacji, A-Parser zostanie zrestartowany:

ostrzeżenie

Uwaga! Jeśli nie wskazano inaczej, wystarczy zaktualizować tylko plik wykonywalny (aparser.exe lub aparser)

Ręczna aktualizacja na Windows

W ogólnym przypadku wystarczy zastąpić plik wykonywalny scrapera.

• Zatrzymujemy A-Parser - klikamy Stop server
• Pobieramy ze Strefy użytkownika archiwum i nadpisujemy aparser.exe
• Uruchamiamy aparser.exe

Ręczna aktualizacja na Linux

• Zatrzymujemy A-Parser - w konsoli wykonujemy killall aparser
• Pobieramy ze Strefy użytkownika archiwum i nadpisujemy plik aparser
• Uruchamiamy aparser - w konsoli wykonujemy ./aparser

Aktualizacja z użyciem jednorazowego linku

wget https://a-parser.com/members/onetime/0d19621928c25a48/aparser.tar.gz
kill $(cat files/pid)
sleep 1
tar xzf aparser.tar.gz -O aparser/aparser > aparser
rm -f aparser.tar.gz
chmod +x aparser
./aparser

Instalacja jednej licencji na wielu komputerach

Każda licencja może być używana jednocześnie tylko na jednym komputerze/serwerze. Jednocześnie, posiadając jedną licencję, nie zabrania się instalowania A-Parsera od razu na kilku komputerach. Jednak w takim przypadku A-Parser będzie można uruchomić tylko na tym komputerze/serwerze, którego adres IP jest wpisany w Strefie użytkownika

Przykładem takiego użycia może być komputer służbowy i domowy laptop: scraper można zainstalować na obu maszynach, a używać albo na komputerze służbowym, albo na domowym laptopie. Liczba zmian IP w Strefie użytkownika jest nieograniczona, ale nie zaleca się robić tego częściej niż 5 razy na dobę, ponieważ w przeciwnym razie może być wymagane potwierdzenie braku działań nieuczciwych.

Aby umożliwić jednoczesną pracę A-Parser na kilku komputerach lub serwerach, wykonaj następujące czynności:

1. Dodaj Dodatkowe licencje
2. W Strefie użytkownika przejdź do zakładki A-Parser -> Ustawienia IP
3. Wpisz adresy IP dodatkowych komputerów

Instalacja wielu kopii na jednym komputerze lub serwerze

Każda licencja pozwala na zainstalowanie i uruchomienie jednocześnie nieograniczonej liczby kopii A-Parsera w ramach jednej maszyny. Pozwala to na maksymalne wykorzystanie możliwości potężnych systemów, na których jedna kopia nie wykorzystuje wszystkich zasobów, a wymagane jest zwiększenie wydajności.

Proces instalacji wielu kopii scrapera na jednym systemie:

• należy pobrać i zainstalować każdą kopię w osobnym katalogu zgodnie ze standardową instrukcją instalacji
• w każdej kopii scrapera należy w katalogu config utworzyć plik config.txt i wpisać ustawienie tego typu:

bind: 0.0.0.0:9092

• zamiast 9092 podaj port, na którym będzie pracować dana kopia

Po tym scraper można uruchamiać i będzie on dostępny na wskazanym porcie

ostrzeżenie

Wszelkie sposoby współdzielenia dostępu, a także wynajmowanie A-Parser są zabronione i w przypadku wykrycia licencja zostanie anulowana bez zwrotu środków lub możliwości przywrócenia.