WaterCrawl packt die mühsamen Teile der Umwandlung von Websites in nutzbare Daten hinter eine aufgeräumte Oberfläche und API. Man gibt eine URL an und steuert den Crawling-Umfang über Tiefe, Domain und Pfade; anschließend extrahiert es die tatsächlich gewünschten Inhalte und filtert Werbung, Kopf- und Fußzeilen sowie anderen Ballast heraus. Dank JavaScript-Rendering mit konfigurierbaren Wartezeiten lassen sich auch Single-Page-Anwendungen und dynamische Inhalte verarbeiten, und Seiten können als PDF oder JPG gespeichert werden.
Über das grundlegende Crawling hinaus bündelt die Plattform eine Websuche, die automatische Erzeugung von Sitemaps für alle URLs einer Website und eine integrierte OpenAI-Anbindung, die rohes HTML mithilfe von KI in aussagekräftige Daten strukturiert. Ein Plugin-System erlaubt eigene Extraktoren und Prozessoren, während Echtzeit-Monitoring Fortschritt, Fehler und Abschlussraten verfolgt. Ergebnisse lassen sich als JSON oder Markdown exportieren und sind damit direkt für Vektorspeicher und Retrieval-Pipelines geeignet.
Die Preisgestaltung ist freemium und ungewöhnlich zugänglich. Der kostenlose Plan umfasst 1.000 Seiten-Credits pro Monat ohne Kreditkarte, ein Tageslimit und API-Zugang. Die kostenpflichtigen Startup- und Growth-Pläne bieten deutlich größere Credit-Kontingente, mehr gleichzeitige Crawls, mehr Sitze, größere Tiefe und längere Datenaufbewahrung, inklusive Datacenter- und später Residential-Proxy-Pools in höheren Stufen.
