[Zurück]

D. Gradinariu:
"On Multilingual Natural Language Processing for Social Media Engagement Prediction";
Betreuer/in(nen): P. Knees; Institut für Information Systems Engineering, 2020; Abschlussprüfung: 13.01.2021.

In dieser Arbeit beschäftigen wir uns mit Interaktionsvorhersagen im Rahmen der 2020 ACM Recommender Systems Challenge. In dieser geht es darum vorherzusagen, ob BenutzerInnen mit vorgeschlagenen Inhalten auf der Social Media Plattform Twitter interagieren werden. Bei diesen Inhalten handelt es sich um Tweets, eine Kurzform von textuellen Nachrichten in mehreren Sprachen. Eine Interaktion mit diesen vorhersehen zu können ist von Bedeutung, da das Präsentieren relevanter Inhalte erforderlich ist um die Interaktivität der Plattform zu gewährleisten. In unserer Arbeit fokussieren wir uns ausschließlich auf textuelle Informationen und evaluieren den Informationsgehalt dieser für die Vorhersage von Interaktionen. Wir verwenden dazu aktuelle Modelle, welche für den Umgang mit mehreren natürlichen Sprachen ausgelegt sind und evaluieren diese auf dem in der 2020 ACM Recommender Systems Challenge veröffentlichten Datensatz. Zudem kreieren wir eigene Modelle, welche stark in Größe und Komplexität variieren. Dies ermöglicht uns den Einfluss der Modellkomplexität auf ihre Funktionalität zu evalu- ieren. Unsere Architekturen sind speziell für die Generation von Interaktionsvorhersagen ausgelegt und unsere Ergebnisse zeigen, dass wir damit rechentechnisch effiziente Modelle kreieren können, welche dennoch den Großteil ihrer Funktionalität erhalten. Weitere Experimente lassen den Schluss zu, dass der Informationsgehalt der untersuchten Texte inhärent limitiert ist, und dass rechenintensive Modelle daher nur geringfügig besser funktionieren als effiziente Alternativen. Zusammenfassend leisten wir die folgenden Beiträge: (1) Wir präsentieren einen Vergleich mehrerer aktuell bewährter Modelle auf dem im Rahmen der 2020 ACM Recommender Systems Challenge veröffentlichten Da- tensatz. (2) Wir analysieren unterschiedliche Modellarchitekturen und evaluieren welche Entwurfsentscheidungen sich positiv auf ihre Ergebnisse auswirken. (3) Durch den Ver- gleich unterschiedlicher Modellarchitekturen, welche stark in der Anzahl ihrer Parameter variieren, ermöglichen wir es, Schlüsse über die Beziehung zwischen Modellkomplexität und Funktionalität zu ziehen. (4) Wir passen unterschiedliche existierende Architekturen an, um mit mehreren Sprachen umgehen zu können und evaluieren diese auf dem neu veröffentlichten Datensatz. (5) Wir erörtern die im Rahmen der 2020 ACM Recommender Systems Challenge präsentierten Ansätze und vergleichen die Erkenntnisse mit jenen aus dieser Arbeit.

Engagement prediction is a subfield of recommender systems research which seeks to predict whether a user will interact with content upon presentation thereof in a certain manner. Given the large business impact of providing relevant information to users, it enjoys widespread attention throughout academia and industry alike. In this thesis, we deal with engagement prediction in a multilingual social media context, using textual information from Tweets to generate probabilities for interactions therewith. We purposefully focus on the use of textual information alone, assessing the potential usefulness thereof in determining user engagement. To this purpose, we employ state of the art multi-lingual natural language processing models and evaluate their performance on the dataset released in the 2020 ACM Recommender Systems Challenge. In addition to this, we propose further multilingual deep learning architectures and evaluate them on the engagement prediction task. The architectures we employ greatly vary in size, allowing us to analyze performance in terms of model complexity. This is of particular interest as the generation of real-time recommendations requires computationally efficient models. In contrast to state of the art models, which are designed to perform across multiple tasks, our models are specifically created for engagement classification instead. Our results show that it is possible to create architectures of highly reduced parameter complexity while maintaining most of the classification accuracy. Additional experiments also indicate that the accuracy attainable by using textual information is bounded, with computationally expensive models performing only slightly better than lightweight alternatives. The overall contributions of our work are fivefold: (1) We present a comparison of several state of the art multilingual natural language processing models on the newly released dataset of the 2020 ACM Recommender Systems Challenge. (2) We analyze the performance of different model architectures and choices of granularity in the input dimension. (3) By comparing the results of models which vary strongly in terms of number of parameters and computational speed, our results provide a basis to analyze the relationship between model complexity and performance. (4) We adapt different approaches to a multilingual setting and present the resulting architectures together with their attained performance on the challenge dataset. (5) We investigate other approaches undertaken in the 2020 ACM Recommender Systems Challenge and present the results of the top performing approaches together with a discussion of employed methodology.