Das vom Bundesministerium für Bildung und Forschung (BMBF) geförderte Projekt Immersive Web Observatory (IWO) hat die bestehende Infrastruktur zweier früherer BMBF-geförderter Initiativen – die Projekte Big Data Analytics (InnoProfile-Transfer) und Provenance Analytics (Strukturwandel) – erweitert und integriert, um eine nachhaltige, hochleistungsfähige Umgebung für groß angelegte Webdatenforschung zu schaffen. Die wichtigste technische Errungenschaft ist ein verteiltes Speichercluster, das 1.248 rotierende Festplatten auf 78 Servern an zwei Standorten zusammenfasst, die über 400 Gb/s Glasfaser verbunden sind. Dieses System bietet etwa 12 Petabyte nutzbaren Speicherplatz, von denen 6-8 Petabyte für eine Teilmenge des Internet Archive Corpus und mehrere Versionen des Common Crawl-Datensatzes bestimmt sind. Jede physische Festplatte ist mit einem dedizierten CPU-Kern gepaart, was eine effiziente parallele Verarbeitung der monatlichen Common Crawl-Veröffentlichungen von 50-60 Terabyte und der größeren, komprimierten Internet Archive-Sammlungen ermöglicht. Die Architektur des Clusters unterstützt die schnelle Erfassung, Speicherung, Vorverarbeitung und Weitergabe von Web-Crawl-Daten an andere IWO-Rechenzentren und erweitert so die Reichweite der ursprünglichen Projekte.
Ergänzt wird das Speicher-Backbone durch leistungsstarke Analyse- und Visualisierungs-Workstations, die die jahrzehntealte Hardware der Universität ersetzen. Diese Maschinen bieten die nötige Rechenleistung, um Algorithmen für das Data Analytics Center und das Immersive Analytics Center zu entwickeln und zu testen, die sich auf Information Retrieval, die Verarbeitung natürlicher Sprache, die Visualisierung großer Modelle, Echtzeit-Rendering und Technologien für Benutzeroberflächen konzentrieren. Die Netzwerkinfrastruktur, die in enger Zusammenarbeit mit dem Service Center für Computersysteme und Kommunikation (SCC) der Universität entwickelt wurde, garantiert eine ausreichende Bandbreite und niedrige Latenzzeiten für die Echtzeit-Datenverarbeitung und -Visualisierung in allen IWO-Komponenten, einschließlich des Digital Bauhaus Lab (DBL) und verschiedener Forschungslabore wie dem VR Lab und dem Big Data Analytics Lab.
Der kollaborative Rahmen des Projekts bringt mehrere Forschungsgruppen der Bauhaus-Universität Weimar zusammen. Die Gruppe Webis von Prof. Dr. Benno Stein ist für Content Management und Webtechnologien zuständig und konzentriert sich auf algorithmische Methoden für Information Retrieval und Computerlinguistik. Prof. Dr. Bernd Fröhlichs VR-Gruppe treibt die Visualisierung großer Modelle und immersive Analytik voran. Die Gruppe Big Data Analytics von Prof. Dr. Matthias Hagen, die jetzt an der nahe gelegenen Martin-Luther-Universität Halle-Wittenberg angesiedelt, aber immer noch über das Webis-Netzwerk integriert ist, ist auf skalierbare Datenanalyse für Information Retrieval und NLP spezialisiert. Gemeinsam koordinieren diese Gruppen die Beschaffung, die Installation und den Betrieb der IWO-Infrastruktur. Die Beschaffung der Hardware für das Data Analytics Center lief vom 17. Juli bis zum 12. September 2017, während die Ausrüstung für das Immersive Analytics Center zwischen dem 9. Oktober und dem 4. Dezember 2017 erworben wurde. Das daraus resultierende System ist nun voll funktionsfähig und dient laufenden Drittprojekten und zukünftigen Initiativen. Es bietet Forschern in ganz Deutschland und Europa einen beispiellosen Zugang zu Webarchiven im Petabyte-Bereich und den für deren Analyse erforderlichen Rechenressourcen.
Zusammenfassend lässt sich sagen, dass das IWO-Projekt eine robuste Speicher- und Rechenplattform mit hohem Durchsatz bereitstellt, die das Datenvolumen und die Verarbeitungsmöglichkeiten für Web-Analytiker erheblich erweitert. Durch die Integration bestehender Infrastrukturen, den Einsatz modernster Hardware und die Förderung der interdisziplinären Zusammenarbeit sorgt das Projekt für eine nachhaltige, hochwirksame Forschung im globalen Web.