Projektziel und Realisierung
Die Berechnung von Preisindizes haben bei Statistik Austria eine über hundertjährige Tradition, Zeitreihen des Verbraucherpreisindex reichen bis 1958 zurück. Die zentrale, primärstatistische Datenerhebung dafür wird von Statistik Austria durchgeführt und findet persönlich in Geschäften, telefonisch, per Mail und mittels Internetrecherche statt. Um die Datenbeschaffung stetig zu verbessern, werden regelmäßig neue Datenquellen zur Ergänzung der Indizes evaluiert. Zwei Datenquellen konnten bereits erfolgreich in den statistischen Produktionsprozess integriert werden:
- Preiserhebung im Internet: Das große Angebot im Internet erschwert eine händische Auswahl und Datenerfassung, daher wird auf automatisierte Preis- und Datenerfassung mittels sogenannter Webcrawler oder Webscraper zurückgegriffen. Diese Programme erfassen vordefinierte Variablen (z. B. Produktbeschreibungen, Mengen, Größen, und Preise) und speichern sie in strukturierter Form weiterverarbeitbar ab. Nach anfänglichen Erfahrungen mit Point & Click Tools, wird nun auf eigene Programmierung von Webscrapern in R und Python gesetzt. Die Skripte wurden in ein allgemeines Framework gesetzt und ermöglichen ein Monitoring durch automatisch generierte E-Mails und Reports – somit kann auf kleinste Webseitenänderungen sofort reagiert werden.
- Scannerdaten: Scannerkassen erfassen jeden Kauf elektronisch und zeichnen sowohl den Preis, die Produktbezeichnung, den Rabatt als auch die gekaufte Menge auf. Ort und Datum des Verkaufs werden ebenfalls erfasst und können ausgewertet werden. Für eine Verwendung der Scannerdaten ist vorab eine Zuordnung sämtlicher Produkte entsprechend der ECOICOP-Klassen notwendig. Ein Framework verschiedener Machine-Learning Algorithmen (von Naive Bayes bis hin zu deep learning) wurde zu diesem Zweck konzipiert und liefert Genauigkeiten über 90 Prozent. Produkte, die von verschiedenen Algorithmen unterschiedlich klassifiziert werden, deuten auf Zuordnungsfehler hin und werden manuell nachbearbeitet.
Für erste Warengruppen wurde die Implementierung von Scannerdaten in die Indexberechnung mit Jänner 2022 umgesetzt. Ab diesem Zeitpunkt wurde die Vor-Ort-Erhebung von Nahrungsmitteln und Drogeriewaren abgelöst durch die Nutzung von Scannerdaten. Aufgrund der Covid-bedingten Erhebungsausfälle im Frühling und Winter 2020 war es erforderlich, bereits vorab auf Scannerdaten zurückzugreifen, um fehlende Preismeldungen zu kompensieren.
Seit Januar 2025 werden Scannerdaten auch für die Warengruppen Bekleidung und Schuhe genutzt. Da diese Märkte im Vergleich zum Lebensmitteleinzelhandel stärker fragmentiert sind und mehr Akteure umfassen, muss eine größere Anzahl von Unternehmen in die Stichprobe aufgenommen werden. Dennoch ist es mit Scannerdaten allein nicht möglich, eine Abdeckung von 80–90 % zu erreichen. Daher bleibt die traditionelle Datenerhebung neben den Scannerdaten ein wesentlicher Bestandteil. Zudem gewinnt der Online-Einzelhandel zunehmend an Bedeutung. Die Implementierung von Web Scraping begann 2022 im Bekleidungssektor und wurde 2025 auf den Schuhsektor ausgeweitet. Damit basieren die Indizes für Bekleidung und Schuhe ab 2025 auf drei Säulen: Scannerdaten, Web-Scraping-Daten und traditioneller Preiserhebung.
In den kommenden Jahren werden weitere Produktgruppen folgen, angedacht sind z. B. Möbel, Elektrogeräte oder Baumarktprodukte.
Eine wichtige Rolle spielen folgende rechtliche Rahmenbedingungen, die die Nutzung der Daten ermöglichen:
Rechtliche Rahmenbedingungen:
Scannerdaten:
Seit 2019 regelt eine neue VPI-Verordnung die Bereitstellung von Scannerdaten der großen Supermarktketten an Statistik Austria. Darin werden u. a. die Erhebungseinheiten, die Periodizität der Datenlieferung, der Erhebungszeitraum bzw. die Erhebungsmerkmale gesetzlich festgelegt.
Webscraping:
Folgende Rahmenbedingungen sollten bei Webscraping eingehalten werden:
- Webscraping-Programme sollen durch die Verwendung einer festgelegten Benennung (UserAgent-Bezeichnung) für Website-Betreiber eindeutig identifizierbar sein.
- Technische Hürden (Captchas, IP-Sperren) seitens des Anbieters dürfen nicht umgangen werden.
- Webscraping darf nicht dazu verwendet werden, die Datenbasis eines Website-Betreibers zu duplizieren, um sie an anderer Stelle zugänglich zu machen.
- Webscraping-Prozesse dürfen die Performance der Infrastruktur des Website-Betreibers nicht negativ beeinflussen.
Um diesen Ansprüchen gerecht zu werden, entsprechen unsere Webscraping-Aktivitäten den von Eurostat entwickelten Guidelines.
Innovation im Rahmen des Projekts
In den letzten Jahren haben technische Entwicklungen sowie die zunehmende Spezialisierung der Verbraucherangebote – gekennzeichnet durch deutlich breitere Sortimente, eine stärkere Segmentierung der Produktgruppen und Veränderungen der Preisstrategien – große Herausforderungen für die Preisermittlung im Verbraucherpreisindex (VPI/HVPI) mit sich gebracht. Die Verwendung von Scannerdaten und Web-Scraping-Daten stellt in der Verbraucherpreisstatistik einen bedeutenden qualitativen Fortschritt dar. Die Integration von Verkaufsvolumen und Umsatzzahlen sowie eine umfassende Abdeckung der Berichtszeiträume und Produktbereiche spielen eine entscheidende Rolle für die Qualität des VPI/HVPI. Diese neuen Datenquellen ermöglichen eine effizientere und schnellere Datenbeschaffung und tragen zur Entlastung der Infrastruktur für die Preiserhebung bei.
Die Entwicklungsarbeiten zur Implementierung neuer Datenquellen wurden von der Europäischen Union kofinanziert.
Interpretation der Ergebnisse
Die verschiedenen Datenquellen und die hohe Datenmenge ermöglichen die Anwendung unterschiedlicher Methoden zur Berechnung von Preisindizes. Diese Methoden können zu unterschiedlichen Indexeigenschaften führen, weshalb die Vor- und Nachteile jeder Methode sorgfältig abgewogen werden müssen, bevor eine endgültige Entscheidung über ihre Verwendung in der Preisstatistik getroffen wird. Es ist entscheidend, Indizes zu vergleichen, die auf traditionellen Preiserhebungen, Scannerdaten und Web-Scraping-Daten basieren, um ihre Übereinstimmung in Bezug auf saisonale Muster und Preistrends zu bewerten. Trotz erheblicher methodischer Unterschiede zeigen die Ergebnisse eine hohe Übereinstimmung zwischen den traditionellen Methoden und denen, die auf alternativen Datenquellen basieren. Die neuen Datenquellen liefern kein völlig anderes Bild, sondern ein differenzierteres.
Weitere Informationen und Ergebnisse
Die ersten Preisindizes, die auf automatisch mittels Webscraping erhobenen Preisen basieren, wurden im Laufe des Jahres 2021 in den offiziellen Index aufgenommen. Als erster Anwendungsbereich für diese Zwecke wurden Neuvermietungen ausgewählt. Danach wurde die Erfassung von Webscraping-Daten kontinuierlich ausgeweitet, zuletzt auf Strom und Gas, Gemeindegebühren, Mobilfunktarife und Bekleidung. Teilweise werden diese Daten nicht nur zur Indexberechnung, sondern auch zur Plausibilisierung von Preisdaten herangezogen.