Der von Datareporter entwickelte Crawler ist das Kernstück des Consent Management Systems WebCare. Seine wichtigste Aufgabe ist die weitestgehend automatisierte Dokumentation datenschutzrelevanter Prozesse. Demnach ist die hoch spezifische Technologie die Basis für Automatisierungen rund um Consent Banner und Datenschutzerklärung in der Consent Management Platform WebCare.
WebCare und der WebCare Crawler machen es dir möglichst einfach, rechtliche Anforderungen zu erfüllen.
Die Kernaufgabe des Crawlers ist eine weitestgehend automatisierte Dokumentation datenschutzrelevanter Prozesse – nicht die technische Kontrolle der Website!
Unsere Technologie verwendet einen mehrstufigen Prozess, um deine Website komplett zu scannen. Dabei können wir sogar geschützte Bereiche untersuchen – natürlich unter strengster Beachtung aller Datenschutzauflagen. Um deine Website untersuchen zu können, müssen wir analysieren, wie sie aussieht, welche Cookies verwendet werden und welche externen Module (Tools, Plugins, etc.) geladen werden.
Dies ist die einfachste Methode. Wir laden den Quelltext deiner Seite (bzw. der drei konfigurierten Domains / Unterseiten) und untersuchen ihn auf eingebettete Tags.
In der zweiten Stufe verwenden wir ebenfalls nur die drei konfigurierten Domains, untersuchen diese allerdings dynamisch in einem aktuellen Browser. Hier können wir ermitteln, welche Module dynamisch nachgeladen werden und welche Cookies gesetzt werden.
Der von Datareporter entwickelte WebCare Swarm Crawler ist eine neue Methode, welche deine gesamte Seite erfasst. Der WebCare Swarm Crawler untersucht deine Website innerhalb weniger Sekunden und findet heraus, welche Cookies wo, wann und wie gesetzt wurden (selbstverständlich nur nach Einwilligung der Nutzer:innen).
Diese Ergebnisse werden untersucht und analysiert. Und wenn der Consent Banner von WebCare eingebunden ist, werden diese Resultate dort in der Cookie Tabelle in aktualisierter Form angezeigt.
Selbstverständlich wird bei Datareporter auf höchste Sicherheit gesetzt. Front Crawler und Swarm Crawler werden von Datareporter gehostet, um allen WebCare Nutzer:innen nachhaltig die hohe Geschwindigkeit und die umfangreichen Ergebnisse des WebCare Crawlers gewährleisten zu können.
Die Ergebnisse sind im Crawler Report zu finden, welcher direkt über die Lizenz einsehbar ist im Menü: → Einstellungen → Domains → Ergebnisse.
Dort kannst du dir einen Überblick verschaffen, was der WebCare Crawler auf der eigenen Website gefunden hat.
Das WebCare System besteht – wie oben beschrieben – aus unterschiedlichen Komponenten, um das beste Ergebnis für dich zu erzielen und die Daten von Cookietabelle und Modulliste ressourcenschonend aktuell zu halten.
Die “Statische Analyse” und die “Browser-Analyse” werden automatisch – mindestens – alle ein bis drei Tage durchgeführt.
Zudem kann im WebCare Backend jederzeit eine neue Untersuchung der Website gestartet werden im Menü: --> Einstellungen --> Domains --> Webseite neu untersuchen
Das macht Sinn, wenn du weißt, dass gerade relevante Anpassungen an der Website durchgeführt worden sind. Nach Abschluss der Untersuchung kannst du das neue Ergebnis im Menü: --> Veröffentlichen --> Veröffentlichen --> Jetzt veröffentlichen
Oder du wartest, bis das Ergebnis nach einigen Minuten automatisch veröffentlicht wird.
¶ Cookies und ihre Lebensdauer
Generell ist zu beachten, dass korrekterweise auch Cookies erfasst werden, die in der Vergangenheit von der Website gesetzt wurden und deren Lebensdauer noch nicht abgelaufen ist.
Ein Beispiel wäre hier:
- Du aktivierst Google Analytics im Januar 2024
- Besucher surfen auf deiner Website und es werden Cookies mit einer Lebensdauer von 2 Jahren gesetzt
- Im Februar 2024 entfernst du Google Analytics von der Website. Es werden keine neuen Cookies mehr verteilt.
- Besucher, die im Januar auf der Website gewesen sind, senden das Cookie bis zum Januar 2026 bei jedem Zugriff (auch wenn Analytics gar nicht mehr aktiv ist).
- Der WebCare Swarm Crawler findet diese Cookies bis zum Januar 2023
Kein anderer Anbieter bietet solch eine Funktionalität.
In der Pro Edition gibt dir WebCare zudem die Möglichkeit, diese Cookies bei deinen Besucher:innen mittels Cookie-Filter zu löschen.
Der Scan der Website liefert alle benötigten Daten – und mit unserer Privacy Compliance Datenbank sind wir in der Lage, diese auszuwerten. Alle gefundenen Cookies werden automatisch kategorisiert und nach Zweck sortiert. Das Ergebnis fügen wir dann in den Banner und in die Cookie-Erklärung ein. Unsere Cookie-Datenbank umfasst mehr als 800.000 verschiedene Cookies und wächst täglich weiter. Außerdem unterstützt uns eine Künstliche Intelligenz bei der Kategorisierung von Cookies, die wir noch nie gesehen haben.
Die Privacy Compliance Datenbank von Datareporter ist die Quelle für deine Datenschutzerklärung und / oder deine Cookie Policy. Sie umfasst außer, den oben genannten Cookies, über 1000 datenschutzrelevante Module (beschriebene Plugins, Tools, …) sowie weit über 500 Hersteller weltweit. Und sie wächst immer noch weiter. Die Beschreibungen zu den Modulen werden periodisch juristisch geprüft und überarbeitet, damit deine Datenschutzerklärung immer auf dem neuesten Stand ist.
Eine moderne Website kommt kaum ohne Drittanbieter-Plugins aus. Statistische Auswertungen mittels Google Analytics oder Videos über Youtube einbinden – all das findet man auf beinahe jeder Website. WebCare untersucht alle eingebundenen Skripte, Styles, iFrames und Sourcecodes auf deiner Seite und ermitteln mit einem ausgeklügelten Algorithmus, welche Module aktiv sind. Für jedes dieser Module haben unsere Juristen eine Modulbeschreibung in Deutsch und Englisch geschrieben, die dann automatisch in die Datenschutzerklärung eingefügt wird. So entsteht eine Datenschutzerklärung, die genau auf deine Website zugeschnitten ist und immer auf aktuellem Stand ist.
Die hinter dem WebCare Crawler liegende Technik ist hoch komplex. Sie folgt im Zweifelsfall jedoch immer der Logik, dass eine "Überdokumentation" rechtlich weniger problematisch ist als ein zu wenig an Information. Das heißt, im Zweifelsfall zeigen wir immer lieber ein nicht relevantes Tool / Cookie an als ein relevantes nicht.
Alle Ergebnisse des Crawlers können händisch bearbeitet und abgeändert werden.
Verstehe das Ergebnis des Crawlers als einen äußerst kompetenten Vorschlag für deine Cookie-Tabelle und die Beschreibung der eingesetzten Tools, kläre die Ergebnisse aber im Zweifelsfall mit den Website-Verantwortlichen ab.
Gewöhnliche Crawler benötigen mehrere Wochen, um alle Unterseiten einer komplexen Website (wie zum Beispiel die Artikel eines Webshops) zu untersuchen. Traditionelle Crawler surfen durch sämtliche Links die auf der Website verfügbar sind und arbeiten sich so durch große Teile des Webauftrittes. Diese Methode hat viele Nachteile. Durch unsere innovative Technologie erledigen wir das in ein paar Stunden – und bleiben dadurch automatisch immer aktuell.
Konkurrenzprodukte können die Performance deiner Website belasten, mit WebCare bleiben deine Server völlig unbehelligt vom Crawling und können ausschließlich für deine Kunden arbeiten.
Vorteile des WebCare Crawlers gegenüber herkömmlichen Crawlern auf einen Blick:
Wir von Datareporter arbeiten laufend an der Verbesserung unserer Produkte, um dir das digitale Leben weiterhin so einfach, komfortabel und rechtssicher wie möglich zu gestalten. Mit dem WebCare Crawler finden Automatisierungen wie aus Roboterhand statt. Die Inhalte der Cookietabelle (im Cookie Banner) und der Modulliste (in der Datenschutzerklärung) werden mit den gefundenen und untersuchten Ergebnissen abgeglichen und so wird die Consent Management Platform ressourcenschonend aktuell gehalten. Wir nehmen dir unnötige Arbeit ab und lassen sie von unserer Technologie erledigen.