Wofür werden Updates benötigt und warum sind sie kostenpflichtig?

A-Parser entwickelt sich ständig weiter. Mit der Veröffentlichung neuer Versionen werden Verbesserungen und Korrekturen vorgenommen. In diesem Artikel werden wir analysieren, was Updates darstellen, wie sie sich von der Lizenz unterscheiden, welche Rolle sie spielen und warum sie kostenpflichtig sind.

Lizenz ≠ Updates

Beim Kauf von A-Parser erhalten Sie eine unbefristete Lizenz für dessen Nutzung und 3-6 Monate kostenlose Updates, abhängig von der erworbenen Lizenz. Nach Ablauf des Zeitraums für kostenlose Updates können Sie auf die letzte verfügbare stabile Version aktualisieren und den Parser weiterhin in vollem Umfang nutzen – so weit es die zum Zeitpunkt des Abonnementendes verfügbare Version zulässt.

Zur Verlängerung des Abonnements können Sie eines von drei Update-Paketen erwerben: für 3 Monate, ein Jahr oder lebenslang für jeweils $49, $149 und $399.

Sie müssen nicht ständig für Updates bezahlen. Zeiträume, in denen kein Update-Abonnement bestand, müssen nicht nachgezahlt werden.

Warum sind Updates kostenpflichtig?

🐞 Korrekturen

Websites und verschiedene Arten von Ressourcen entwickeln sich recht schnell. Jede, auch die geringfügigste Änderung seitens der Zielseite kann die Datenerfassung beeinflussen. Dies geschieht, weil Scraper ursprünglich auf eine bestimmte Struktur zugeschnitten sind und Änderungen im Layout, Schutz oder anderen internen Mechanismen zu unkorrekten Daten in den Ergebnissen, deren vollständigem Fehlen oder anderen Fehlern führen. Die Datenerfassung selbst wirkt sich negativ auf die für die Websites reservierten Server aus: Die Anfragen und damit die Last steigen. Dienste, die Gewinne verlieren, sind gezwungen, einen Ausweg aus dieser Situation zu finden, weshalb neue Arten von Schutzmaßnahmen entstehen und alte weiterentwickelt werden.

Mit jeder solchen Änderung müssen Anpassungen vorgenommen werden. Hinter jeder steht die Analyse des Problems, die Suche nach einer Lösung und deren Implementierung.

🧰 Täglich durchläuft jeder integrierte Scraper ein System interner Tests. Wenn die Testanfragen erfolgreich abgeschlossen wurden, werden die resultierenden Werte überprüft. Ein fehlgeschlagener Test signalisiert Fehler im Parser. Dank der Tests reagieren wir umgehend auf Defekte und beginnen sofort mit der Arbeit an deren Behebung.

Zu den komplexesten, gefragtesten und daher für uns prioritären gehören die Scraper der Suchmaschinen Yandex und Google. Jeder besteht aus vielen Teilen, die eine bestimmte Aufgabe lösen. Dazu gehören die Vorbereitung der Anfrage, die Bildung von Headern, das Abrufen des Quellcodes der Seite, verschiedene Formatierungen der Ergebnisse, die Arbeit mit Captchas usw. All dies muss in einem funktionsfähigen Zustand gehalten werden. Der Parser sieht Variablen vor, die alle notwendigen Daten der Seite enthalten: Suchergebnisse, Werbeanzeigen, verwandte Keywords und andere Werte. Diese werden mithilfe von regulären Ausdrücken extrahiert, die eine bestimmte Dokumentstruktur auf der Seite voraussetzen (Reihenfolge der Elemente, deren Typen, Klassen und andere Merkmale). Bei einer kritischen Änderung dieser Struktur hört der reguläre Ausdruck, der zur vorherigen Version passte, auf, das gewünschte Fragment zu finden, und der Parser wird zur Überarbeitung geschickt.

✨ Verbesserungen

Neben der Aufrechterhaltung der Funktionsfähigkeit der integrierten Scraper werden mit jedem Release neue Funktionen hinzugefügt und verschiedene Verbesserungen vorgenommen, die sowohl die Leistung als auch die Menge der empfangenen Daten beeinflussen. In das Build werden neue Scraper aufgenommen und neue Methoden in der JavaScript API implementiert.

Alle Änderungen können Sie hier einsehen.

Probleme im Zusammenhang mit fehlenden Updates

Das Fehlen rechtzeitiger Updates provoziert eine inkorrekte Arbeitsweise der integrierten Scraper. Die Gründe können vielfältig sein. Zum Beispiel könnte sich das Layout der Seiten geändert haben. Ein Parser, der kein Update erhalten hat, versucht, Daten mit alten regulären Ausdrücken zu sammeln, die nicht an das neue Format angepasst sind. Infolgedessen treten fehlgeschlagene Anfragen auf, verschiedene Fehler erscheinen und es gibt kein Ergebnis.

Am Beispiel des Google-Parsers

Ein Benutzer wandte sich mit folgendem Problem an den Support:

Ich sammle Google-Suchergebnisse mit Ihren Proxys. Es sind 300 Versuche für die Anfrage eingestellt. Alle Anfragen schlagen fehl. Gestern hat noch alles funktioniert.

Auf den ersten Blick scheint das Problem bei den Proxys zu liegen, aber Tests mit identischen Einstellungen und Anfragen in der neuesten Version verlaufen erfolgreich. Das bedeutet, das Problem liegt woanders. Im Laufe des Dialogs stellt sich heraus, dass der Benutzer eine veraltete Version von A-Parser verwendet. Dies ist die eigentliche Ursache für die inkorrekte Funktion des Google-Parsers.

Am Beispiel des Yandex-Parsers

Bei Yandex hat sich das Layout der Seiten mit Captcha geändert, weshalb dieses nicht mehr gelöst werden konnte. Im Forum wurde im Bereich Aufgaben ein entsprechendes Thema erstellt.

Am nächsten Morgen erschien ein Fix. Die Aufgabe wurde geschlossen und in den Bereich Next release verschoben. Dort befinden sich die Themen aller Korrekturen und Verbesserungen, die in die nächste stabile Version aufgenommen werden.

Dementsprechend wurde in einem A-Parser, der kein frisches Update erhalten hatte, das Captcha bei Yandex nicht mehr gelöst.

Fazit

Beim Kauf von A-Parser erhalten Sie eine unbefristete Lizenz zur Nutzung des Programms und ein Paket kostenloser Updates für einen bestimmten Zeitraum. Bei Bedarf können Sie dieses nach Ablauf des Abonnements verlängern, indem Sie eines der angebotenen Update-Pakete erwerben.

Websites sind instabil – Scraper erfordern ständige Korrekturen und Verbesserungen. Deren Funktionsfähigkeit aufrechtzuerhalten, ist unsere Aufgabe. Eine prioritäre Aufgabe, in die wir große Anstrengungen investieren, um funktionierende Korrekturen so schnell wie möglich zu veröffentlichen. Die Kosten für Updates rechtfertigen die Arbeit, die dahinter steckt. Jedes Release ist nicht nur eine Liste von Korrekturen und Verbesserungen – es sind Monate konzentrierter Arbeit des A-Parser-Teams.