Entwicklung einer Web Scraping Plattform für mobile Anwendungen

Abstract

Smartphones sind für viele Menschen zu alltäglichen Begleitern geworden. Damit einher geht auch eine breite Auswahl an Apps für diese. Für Forschungszwecke, Erstellung von Statistiken, Archivierung oder ähnliche Szenarien ist es nützlich, eine einfache Möglichkeit zu haben, um möglichst systematisch und automatisiert Metadaten über solche Apps zu erhalten. Da es für die großen App Stores keine oder nur unzulängliche öffentliche API's oder anderweitige Schnittstellen zur Datenabfrage gibt, ist es notwendig, auf Web Scraping zurückzugreifen. In dieser Arbeit wird ein solcher Web Scraper für den Google Play Store und den Apple App Store entwickelt, welcher basierend auf den Webseiten der Stores die relevanten Daten extrahiert. Dabei wird zunächst darauf eingegangen, wie die Daten übertragen und repräsentiert werden und anschließend eine Implementierung entwickelt, die es möglichst einfach machen soll, neue Stores zu ergänzen und Änderungen seitens der Stores umzusetzen. Zuletzt wird die Funktionalität dieser Scrapers in Form einer REST-API zur Verfügung gestellt, um einen Ressourcen-zentrierten Zugriff zu erlauben und Programmiersprachen-Unabhängigkeit zu erlangen.