インストールとアップデート

インストール前に

インストール前に以下の手順を完了させる必要があります：

1. 会員エリアで、IPアドレスが正しく登録されているか確認してください（動的IPアドレスを使用しているユーザーは、IPが変更されるたびに更新が必要です）

   

2. A-Parser -> ダウンロード タブに移動します

3. 必要なバージョンをダウンロードする前に、まず Update をクリックして A-Parser を最新バージョンに更新してください

   

A-Parser Release - A-Parser の安定版です。新バージョンのリリースに関する詳細は ニュース セクションで確認できます。

A-Parser Beta - 常に機能追加が行われている A-Parser の中間バージョンです。変更内容の詳細はフォーラムの Next Release セクションで確認できます。

A-Parser のインストール

⏩ A-Parser 動画：インストール、起動、更新

TODO: (next) 動画を最新版に更新する

Windows へのインストール

インストール前に の手順を完了した後、プログラムのアーカイブをダウンロードし、任意のフォルダに解凍してください（デスクトップなど、どのフォルダでも構いません）

aparser フォルダに入り、aparser.exe を実行します

初回の起動には、30秒から数分かかる場合があります。サーバーウィンドウが表示されたら、ブラウザで http://127.0.0.1:9091/ を開いてください。

デフォルトのパスワード は空です。そのまま Login ボタンをクリックすると、A-Parser のウェブインターフェースが表示されます。

トラブルシューティング

互換性のないプログラム

以下のアンチウイルスソフトやプログラムとの間で互換性の問題が確認されています：

• Norton Internet Security - スクレイパーの動作が不安定になる可能性があります
• Emsisoft Anti-Malware - スクレイパーの動作が不安定になる可能性があります
• Guard Mail.ru - システムから完全に削除する必要があります
• HTTPDebugger - 起動から2時間後に A-Parser の動作を中断させます

Windows インデックスサービスの無効化

インデックスサービスは、A-Parser の動作中にファイルへのアクセスをブロックすることがあります。スクレイパーが起動しない、または動作中にクラッシュする場合は、A-Parser のログ に以下の記録がないか確認してください：

IO error: ... Append: cannot write
または
sysopen: Permission denied

インデックスサービスを無効にするには、以下の手順を実行してください：

1. サービス管理 を開きます： スタート - ファイル名を指定して実行 または Win + R キーを押し、services.msc と入力します
2. 表示されたウィンドウで Windows Search を選択し、右クリックして プロパティ を選択します
3. プロパティウィンドウの 全般 タブで、スタートアップの種類 を 無効 に変更し、適用 をクリックします
4. その後、Stop ボタンがアクティブな場合は、それをクリックしてサービスを停止します

ディストリビューション更新時のエラー

場合によっては、Windows が A-Parser ディストリビューションのファイルへのアクセスをブロックすることがあります。その場合、aparser.log に以下の記録が残ります：

remove_tree failed for dist\nodejs\node_modules\...

解決方法：

• タスクマネージャーで aparser.exe または aparser-node.exe のプロセスが残っていないか確認してください
• A-Parser ディレクトリ内の dist フォルダを削除してください。Windows が削除エラーを表示する場合は、dist フォルダを dist_ にリネームしてください

MacOS へのインストール

現在、MacOS へのインストールは Docker を使用して可能です。

デフォルトのパスワード は空です。そのまま Login ボタンをクリックすると、A-Parser のウェブインターフェースが表示されます。

警告

Apple シリコン搭載の MacOS では、Docker Desktop で以下のオプションを有効にする必要があります。

Linux へのインストール

Linux への A-Parser インストールには docker または docker-compose の使用を推奨しますが、従来のインストール方法については以下の手順に従ってください。

注記

A-Parser は独自のウェブサーバーを実装しているため、ウェブ経由でアクセスできないディレクトリをインストール先に選択してください。

サーバーからのダウンロードを容易にするため、一時リンクが用意されています。会員エリア で One-time link（ロシア語版では ワンタイムリンク）をクリックしてください。取得したリンクから1回だけディストリビューションをダウンロードできます。ターミナルでインストール先ディレクトリ（例：~/）に移動し、取得したリンクを使用して以下のコマンドを実行します：

wget https://a-parser.com/members/onetime/ce42f308eaa577b5/aparser-linux-x64.tar.gz
tar zxf aparser-linux-x64.tar.gz
rm -f aparser-linux-x64.tar.gz
cd aparser/
chmod +x aparser
./aparser

初回の起動には、30秒から数分かかる場合があります。サーバーウィンドウが表示されたら、ブラウザで http://127.0.0.1:9091/ を開いてください。サーバーのパブリック IP アドレスを使用して A-Parser にアクセスすることも可能です。

デフォルトのパスワード は空です。そのまま Login ボタンをクリックすると、A-Parser のウェブインターフェースが表示されます。

警告

デフォルトでは A-Parser はすべてのインターフェースでアクセス可能であることに注意してください。強力なパスワードを設定し、必要に応じて iptables を使用してアクセスを制限することをお勧めします。

トラブルシューティング

サーバーに一部のライブラリが不足している場合があります。例：

./aparser
./aparser: error while loading shared libraries: libz.so.1: cannot open shared object file: No such file or directory

不足しているライブラリをインストールする必要があります：

yum -y install zlib

そして、A-Parser を再起動します：

./aparser

何もメッセージが表示されない場合は、A-Parser が正常に起動したことを示しています。tail -f aparser.log コマンドで確認できます。

aparser.log に以下のような行が含まれている場合：

./dist/nodejs/bin/aparser-node: /lib64/libc.so.6: version `GLIBC_2.25' not found (required by ./dist/nodejs/bin/aparser-node)
./dist/nodejs/bin/aparser-node: /lib64/libc.so.6: version `GLIBC_2.28' not found (required by ./dist/nodejs/bin/aparser-node)

これは古いバージョンの Linux を使用していることを示しています。この場合は OS を更新するか、docker または docker-compose を使用することをお勧めします。

スレッド数を増やすための Linux チューニング

デフォルトでは、Linux はユーザーあたりのオープンファイル数とソケット数を 1024 に制限しています。制限を増やすには、以下のコマンドを実行してください：

echo 'root soft nofile 10240' >> /etc/security/limits.conf
echo 'root hard nofile 10240' >> /etc/security/limits.conf

root 以外のユーザーでスクレイパーを実行する場合は、root をそのユーザー名に置き換えてください。

また、ip_conntrack テーブルのサイズを増やす必要があります：

sysctl -w net.ipv4.netfilter.ip_conntrack_max=262144
echo 'net.ipv4.netfilter.ip_conntrack_max=262144' >> /etc/sysctl.conf

iptables ファイアウォールがない場合、このコマンドでエラーが出ますが、無視して構いません。

ターミナル (ssh) に再ログインし、A-Parser を再起動する必要があります。現在の制限を確認するには、以下を実行してください：

ulimit -n

一部のシステムでは、さらに /etc/pam.d/common-session ファイルに以下の行を追加する必要があります：

session required pam_limits.so

FreeBSD へのインストール

現時点では、FreeBSD 用の Linux エミュレータは A-Parser を安定して動作させることができません。

インストール済みプログラムのファイル構造

A-Parser 作業ディレクトリの構造：

ファイル	説明
config	設定ファイルが含まれるディレクトリ。A-Parser の更新前にバックアップを取ることをお勧めします
dist	A-Parser ディストリビューションのディレクトリ。NodeJS やその他の追加モジュールが含まれます
files/proxy	プロキシチェッカー設定が含まれるディレクトリ
files/parsers	ユーザーが作成またはインポートした JavaScript スクレイパーのソースコードが含まれるディレクトリ
logs	タスク実行ログ
queries	スクレイパー用クエリが含まれるディレクトリ
results	スクレイピング結果のディレクトリ
tmp	一時ディレクトリ
.htaccess	作業ディレクトリをウェブアクセスから保護するための Apache ウェブサーバー設定ファイル
aparser.exe または aparser	A-Parser の実行ファイル
aparser.log	A-Parser の動作ログ。現在の状態や発生し得るエラーを診断するための主要な手段です

config ディレクトリの構造：

ファイル	説明
tasks	タスクファイル（実行中および完了済み）のディレクトリ
unique	重複排除ファイルのディレクトリ
config.db	設定やプリセットが保存されているメイン設定ファイル
queue.db	タスクキューデータファイル
scheduler.db	スケジュールされたタスクのデータファイル
config.txt	追加の 設定ファイル

ヒント

Windows オペレーティングシステムでファイル拡張子を表示するには、以下の設定を有効にしてください：

初期設定

A-Parser の使用を開始する前に、Settings -> Global Settings メニューで自分に合わせて設定を行う必要があります。

• Password - デフォルトのパスワードは空です。システムログイン用の新しいパスワードを作成できます。
• Language - インターフェース、ニュース、ヒントの言語を選択できます。ロシア語と英語が利用可能です。
• Check updates (Check for updates) および Updates channel - スクレイパーの新バージョンリリースの通知設定です。更新チャネルでは、安定版、ベータ版、アルファ版から選択できます。

その他のオプションの設定については、一般設定 セクションで説明されています。

デフォルトのパスワード

デフォルトのパスワードは空です。そのまま Login ボタンをクリックすると、A-Parser のウェブインターフェースが表示されます。パスワードのリセットについては以下を参照してください。

パスワードのリセット

コマンドラインから -resetpassword オプションを付けて起動することで、スクレイパーのアクセスパスワードをリセットできます。

Windows の場合：

aparser.exe -resetpassword

Linux の場合：

./aparser -resetpassword

パスワードは空にリセットされます。A-Parser にログインするには、そのまま Login をクリックしてください。

A-Parser の更新

インターフェース経由の更新

一般設定で更新チャネルを選択します：

ツールメニューの A-Parser の更新 タブに移動します：

更新するファイルを選択すると、A-Parser が再起動されます：

警告

注意！特に指定がない限り、実行ファイル（aparser.exe または aparser）のみを更新すれば十分です。

Windows での手動更新

通常、スクレイパーの実行ファイルを置き換えるだけで十分です。

• A-Parser を停止します - Stop server をクリックします
• 会員エリア からアーカイブをダウンロードし、aparser.exe を上書きします
• aparser.exe を起動します

Linux での手動更新

• A-Parser を停止します - コンソールで killall aparser を実行します
• 会員エリア からアーカイブをダウンロードし、aparser ファイルを上書きします
• aparser を起動します - コンソールで ./aparser を実行します

一時リンクを使用した更新

wget https://a-parser.com/members/onetime/0d19621928c25a48/aparser.tar.gz
kill $(cat files/pid)
sleep 1
tar xzf aparser.tar.gz -O aparser/aparser > aparser
rm -f aparser.tar.gz
chmod +x aparser
./aparser

1つのライセンスを複数のコンピュータにインストールする

各ライセンスは、同時に1台のPC/サーバーでのみ使用できます。ただし、1つのライセンスで A-Parser を複数のコンピュータにインストールすること自体は禁止されていません。この場合、A-Parser は会員エリアに登録されている IP アドレスの PC/サーバーでのみ起動可能です。

このような利用例としては、職場の PC と自宅のノート PC が挙げられます。両方のマシンにスクレイパーをインストールし、職場または自宅のいずれかで使用することができます。会員エリアでの IP 変更回数に制限はありませんが、不正行為の確認が必要になる場合があるため、1日5回以上の変更は推奨されません。

複数のコンピュータやサーバーで A-Parser を同時に動作させるには、以下の手順を行ってください：

1. 追加ライセンス を追加します
2. 会員エリア で A-Parser -> IP設定 タブに移動します
3. 追加のコンピュータの IP アドレスを入力します

1台のPCまたはサーバーに複数のコピーをインストールする

各ライセンスにより、1台のマシン内で無制限の数の A-Parser コピーを同時にインストールして実行できます。これにより、1つのコピーではすべてのリソースを使い切れないような強力なシステムの能力を最大限に活用し、パフォーマンスを向上させることができます。

1つのシステムに複数のスクレイパーコピーをインストールする手順：

• 標準のインストール手順に従って、各コピーを別々のディレクトリにダウンロードしてインストールする必要があります
• 各コピーの config ディレクトリに config.txt ファイルを作成し、以下のような設定を記述します：

bind: 0.0.0.0:9092

• 9092 の代わりに、そのコピーが動作するポート番号を指定してください

設定後、スクレイパーを起動すると、指定したポートでアクセス可能になります。

警告

いかなる形式の共有アクセス、および A-Parser のレンタルは禁止されています。発見された場合、返金や復元の権利なしにライセンスが取り消されます。