Instalação e atualizações

Antes da instalação

Antes da instalação, é necessário realizar as seguintes ações:

1. Na Área de Membros, verifique se o seu endereço IP está configurado corretamente (para usuários com IP dinâmico, é necessário alterar o endereço IP sempre que ele mudar)

   

2. Vá para a aba A-Parser -> Downloads

3. Antes de baixar a versão necessária, você deve primeiro clicar em Update, para atualizar para a versão mais recente do A-Parser

   

A-Parser Release - versão estável do A-Parser; você pode ler mais sobre o lançamento de novas versões na seção Notícias

A-Parser Beta - versão intermediária do A-Parser, que é constantemente atualizada; você pode ler mais sobre as mudanças no fórum na seção Next Release

Instalação do A-Parser

⏩ Vídeo A-Parser: instalação, inicialização e atualização

TODO: (next) atualizar o vídeo

Instalação no Windows

Após concluir a etapa Antes da instalação, você deve baixar o arquivo do programa e descompactá-lo na pasta desejada (pode ser qualquer pasta, até mesmo na área de trabalho)

Entre na pasta aparser e execute o aparser.exe

A primeira inicialização pode levar um tempo considerável, de 30 segundos a alguns minutos. Após a janela do servidor aparecer, abra no navegador http://127.0.0.1:9091/

A Senha padrão é vazia. Basta clicar no botão Login, após o qual a interface web do A-Parser aparecerá

Solução de problemas

Programas incompatíveis

Existem problemas conhecidos de compatibilidade com os seguintes antivírus e programas:

• Norton Internet Security - possível funcionamento instável do scraper
• Emsisoft Anti-Malware - possível funcionamento instável do scraper
• Guard Mail.ru - deve ser completamente removido do sistema
• HTTPDebugger - interrompe o funcionamento do A-Parser 2 horas após a inicialização

Desativando o serviço de indexação do Windows

O serviço de indexação pode bloquear o acesso aos arquivos durante o funcionamento do A-Parser. Se o scraper não iniciar ou travar durante o processo, é necessário verificar o log do A-Parser para as seguintes entradas:

IO error: ... Append: cannot write
ou
sysopen: Permission denied

Para desativar o serviço de indexação, siga estas etapas:

1. Abrimos Serviços: Iniciar - Executar ou o atalho Win + R, digitamos services.msc
2. Na janela que se abre, selecionamos Windows Search, clicamos com o botão direito do mouse e selecionamos Propriedades
3. Na janela de propriedades, na aba Geral, alteramos o Tipo de inicialização para Desativado e clicamos em Aplicar
4. Se após isso o botão Stop estiver ativo - clique nele e pare o serviço

Erro ao atualizar a distribuição

Em alguns casos, o Windows pode bloquear o acesso aos arquivos da distribuição do A-Parser; nesse caso, no aparser.log haverá a seguinte entrada:

remove_tree failed for dist\nodejs\node_modules\...

Para resolver o problema:

• certifique-se de que não existam processos travados aparser.exe ou aparser-node.exe no Gerenciador de Tarefas
• exclua a pasta dist no diretório do A-Parser; se o Windows informar um erro de exclusão - renomeie a pasta dist para dist_

Instalação no MacOS

Atualmente, a instalação no MacOS é possível utilizando Docker

A Senha padrão é vazia. Basta clicar no botão Login, após o qual a interface web do A-Parser aparecerá

aviso

No MacOS com processadores Apple, é necessário ativar a seguinte opção no Docker Desktop

Instalação no Linux

Recomendamos o uso de docker ou docker-compose para instalar o A-Parser no Linux; para uma instalação clássica, siga estas instruções

nota

O A-Parser implementa seu próprio servidor web, portanto, escolha um diretório sem acesso web para a instalação

Para facilitar o download do servidor, foram implementados links temporários. Na Área de Membros, você deve clicar em Get one-time link - através do link obtido, você pode baixar a distribuição uma única vez. No terminal, vá para o diretório de instalação (por exemplo, ~/) e execute os seguintes comandos, utilizando o link obtido:

wget https://a-parser.com/members/onetime/ce42f308eaa577b5/aparser-linux-x64.tar.gz
tar zxf aparser-linux-x64.tar.gz
rm -f aparser-linux-x64.tar.gz
cd aparser/
chmod +x aparser
./aparser

A primeira inicialização pode levar um tempo considerável, de 30 segundos a alguns minutos. Após a janela do servidor aparecer, abra no navegador http://127.0.0.1:9091/; você também pode acessar o A-Parser usando o endereço IP público do servidor

A Senha padrão é vazia. Basta clicar no botão Login, após o qual a interface web do A-Parser aparecerá

aviso

Observe que, por padrão, o A-Parser está disponível em todas as interfaces. Recomendamos definir uma senha forte e, se necessário, limitar o acesso usando iptables

Solução de problemas

Às vezes, algumas bibliotecas podem estar faltando no servidor, por exemplo:

./aparser
./aparser: error while loading shared libraries: libz.so.1: cannot open shared object file: No such file or directory

É necessário instalar as bibliotecas ausentes:

yum -y install zlib

E iniciar o A-Parser novamente:

./aparser

Se nenhuma mensagem for exibida, isso indica uma inicialização bem-sucedida do A-Parser. Você pode verificar com o comando tail -f aparser.log

Se o aparser.log contiver as seguintes linhas:

./dist/nodejs/bin/aparser-node: /lib64/libc.so.6: version `GLIBC_2.25' not found (required by ./dist/nodejs/bin/aparser-node)
./dist/nodejs/bin/aparser-node: /lib64/libc.so.6: version `GLIBC_2.28' not found (required by ./dist/nodejs/bin/aparser-node)

isso indica o uso de uma versão desatualizada do Linux e, nesse caso, recomenda-se atualizar o SO ou usar docker ou docker-compose

Ajustando o Linux para um maior número de threads

Por padrão, o Linux limita o número de arquivos e sockets abertos a 1024 por usuário; para aumentar o limite, execute os seguintes comandos:

echo 'root soft nofile 10240' >> /etc/security/limits.conf
echo 'root hard nofile 10240' >> /etc/security/limits.conf

Se você estiver executando o scraper não como root, mas como outro usuário, substitua root pelo nome do usuário

Também é necessário aumentar o tamanho da tabela ip_conntrack:

sysctl -w net.ipv4.netfilter.ip_conntrack_max=262144
echo 'net.ipv4.netfilter.ip_conntrack_max=262144' >> /etc/sysctl.conf

Na ausência do firewall iptables, este comando resultará em erro - apenas ignore-o

É necessário entrar novamente no terminal (ssh) e depois reiniciar o A-Parser. Para verificar o limite atual, execute:

ulimit -n

Em alguns sistemas, é adicionalmente necessário adicionar a seguinte linha ao arquivo /etc/pam.d/common-session:

session required pam_limits.so

Instalação no FreeBSD

Atualmente, o emulador Linux para FreeBSD não é capaz de funcionar de forma estável com o A-Parser

Estrutura de arquivos do programa instalado

Estrutura do diretório de trabalho do A-Parser:

Arquivo	Descrição
config	Diretório com arquivos de configuração; recomendamos fazer backup antes de atualizar o A-Parser
dist	Diretório com a distribuição do A-Parser, inclui NodeJS e outros módulos adicionais
files/proxy	Diretório com as configurações dos testadores de proxy
files/parsers	Diretório que contém os códigos-fonte dos scrapers em JavaScript que foram criados ou importados pelo usuário
logs	Logs de execução de tarefas
queries	Diretório com as consultas para os scrapers
results	Diretório dos resultados da extração de dados
tmp	Diretório temporário
.htaccess	Arquivo de configuração do servidor web apache para proteger o diretório de trabalho contra acesso web
aparser.exe ou aparser	Arquivo executável do A-Parser
aparser.log	Log de funcionamento do A-Parser, principal meio de diagnóstico do estado atual e possíveis erros

Estrutura do diretório config:

Arquivo	Descrição
tasks	Diretório com arquivos de tarefas (em andamento e concluídas)
unique	Diretório com arquivos de desduplicação
config.db	Arquivo de configuração principal, onde são armazenadas as configurações e presets
queue.db	Arquivo com dados da fila de tarefas
scheduler.db	Arquivo com dados das tarefas agendadas
config.txt	Adicional Arquivo de configuração

dica

Para exibir as extensões de arquivos no sistema operacional Windows, ative a seguinte configuração:

Configuração inicial

Ao começar a trabalhar com o A-Parser, é necessário configurá-lo previamente para suas necessidades no menu Settings -> Global Settings

• Password - a senha padrão é vazia; você pode criar uma nova senha para entrar no sistema.
• Language - opção de escolha do idioma da interface, notícias e dicas - russo e inglês estão disponíveis.
• Check updates (Verificar atualizações) e Updates channel (Canal de atualizações) - notificações sobre o lançamento de novas versões do scraper. O canal de atualizações permite escolher entre as versões estável, beta e alfa.

A configuração das demais opções está descrita na seção Configurações Gerais

Senha padrão

A senha padrão é vazia. Basta clicar no botão Login, após o qual a interface web do A-Parser aparecerá. Para redefinir a senha, veja abaixo.

Redefinição de senha

Você pode redefinir a senha de acesso ao scraper iniciando-o a partir da linha de comando com a opção -resetpassword

Para Windows:

aparser.exe -resetpassword

Para Linux:

./aparser -resetpassword

A senha será redefinida para vazia; para entrar no A-Parser, basta clicar em Login

Atualização do A-Parser

Atualização pela interface

Escolher o Canal de atualização nas Configurações Gerais:

No menu Ferramentas, vá para a aba Atualizar A-Parser:

Selecione os arquivos para atualização; o A-Parser será reiniciado:

aviso

Atenção! A menos que indicado o contrário, basta atualizar apenas o arquivo executável (aparser.exe ou aparser)

Atualização manual no Windows

Em geral, basta substituir o arquivo executável do scraper.

• Paramos o A-Parser - clicamos em Stop server
• Baixamos o arquivo da Área de Membros e sobrescrevemos o aparser.exe
• Iniciamos o aparser.exe

Atualização manual no Linux

• Paramos o A-Parser - no console executamos killall aparser
• Baixamos o arquivo da Área de Membros e sobrescrevemos o arquivo aparser
• Iniciamos o aparser - no console executamos ./aparser

Atualização utilizando um link de uso único

wget https://a-parser.com/members/onetime/0d19621928c25a48/aparser.tar.gz
kill $(cat files/pid)
sleep 1
tar xzf aparser.tar.gz -O aparser/aparser > aparser
rm -f aparser.tar.gz
chmod +x aparser
./aparser

Instalação de uma licença em vários computadores

Cada licença pode ser usada simultaneamente em apenas um PC/servidor. No entanto, possuindo uma licença, não é proibido instalar o A-Parser em vários computadores ao mesmo tempo. Mas, nesse caso, o A-Parser só poderá ser executado no PC/servidor cujo IP esteja configurado na Área de Membros

Um exemplo de tal uso seria um PC de trabalho e um notebook doméstico: o scraper pode ser instalado em ambas as máquinas, e usado ou no PC de trabalho, ou no notebook doméstico. O número de alterações de IP na Área de Membros é ilimitado, mas não é recomendado fazê-lo mais de 5 vezes por dia, pois, caso contrário, pode ser necessário confirmar a ausência de atividades fraudulentas.

Para o funcionamento simultâneo do A-Parser em vários computadores ou servidores, siga estas etapas:

1. Adicione Licenças Adicionais
2. Na Área de Membros, vá para a aba A-Parser -> Configuração de IP
3. Insira os endereços IP dos computadores adicionais

Instalação de várias cópias em um único PC ou servidor

Cada licença permite instalar e executar simultaneamente um número ilimitado de cópias do A-Parser em uma única máquina. Isso permite aproveitar ao máximo as capacidades de sistemas potentes, onde uma única cópia não utiliza todos os recursos e é necessário aumentar o desempenho.

Processo de instalação de várias cópias do scraper em um único sistema:

• é necessário baixar e instalar cada cópia em um diretório separado, de acordo com as instruções padrão de instalação
• em cada cópia do scraper, é necessário criar o arquivo config.txt no diretório config e inserir uma configuração deste tipo:

bind: 0.0.0.0:9092

• em vez de 9092, especifique a porta na qual esta cópia funcionará

Depois disso, o scraper pode ser iniciado e estará disponível na porta especificada

aviso

Quaisquer formas de acesso compartilhado, bem como o aluguel do A-Parser, são proibidos e, em caso de detecção, a licença será anulada sem reembolso ou possibilidade de restauração.