Anwendungen des Web Scraping in der amtlichen Statistik

Abstract

ZusammenfassungIm World Wide Web (kurz „Web“) sind große Datenmengen verfügbar, die auch die amtliche Statistik für sich nutzbar machen kann. Die Extraktion dieser Daten durch Web Scraping bietet vielfältige Potenziale, beispielsweise die Kosten für die Datenerhebung reduzieren, Befragte entlasten, die Qualität amtlicher Daten verbessern oder stichprobenrelevante Einheiten in Befragungen identifizieren. Am Beispiel der Preis‑, Tourismus‑, Arbeitsmarkt- und Unternehmensstatistik wird in diesem Beitrag aufgezeigt, wie die amtliche Statistik in Deutschland bereits Web Scraping nutzt. Viele der hier aufgeführten Anwendungen befinden sich noch in einem frühen Entwicklungsstadium. In anderen nationalen Statistikämtern werden Daten aus dem Web zum Teil bereits in einem größeren Ausmaß für experimentelle Statistiken und im Produktivbetrieb genutzt. Dies ist unter anderem auf eine teils unzureichende rechtliche Grundlage von Web Scraping in der amtlichen Statistik in Deutschland, auf eine für die Methode nicht adäquate IT-Infrastruktur sowie auf einen Mangel an Mitarbeitenden mit den notwendigen Qualifikationen zurückzuführen.