Abstract
Measuring deliberative debate quality is an emerging topic in computational work, since it allows
applying deliberative democratic ideas in an online domain. When doing so, many studies follow
Habermas in defining norms of online deliberative debate quality. They then proceed to propose
and test new ways to measure indicators like equality, diversity, interactiveness, rationality, and civility.
Consequently, implementing them within recommender systems is the necessary next step to realize
those values in online communication. Although this is important work, we argue that recent advances in
political science suggest that constructing a system which produces such a deliberative debate is unlikely
to, by itself, contribute in an optimal way to deliberative democracy at a societal scale. Instead, we
propose a complementary, summative approach to designing deliberative recommender systems. It treats
online platforms as complementary to other communication channels, and argues for optimizing how
to best facilitate (summative) deliberation at a societal scale rather than perfecting (micro) discussions
between citizens. We illustrate this with an example of how a news recommender system based on a
summative approach would have to be designed vis-a-vis a more traditional, additive approach.
Keywords
deliberative democracy, normative standards, online debate quality, computational text analysis, moral
recommender systems
Sjoerd B. Stolwijk, Corinna Oschatz, Michael Heseltine, Damian Trilling. 2023. “Redefining Deliberative Standards for Online Poitical Communication: Introducing a Summative Approach to Designing Deliberative Recommender Systems”. NORMalize 2023: The First Workshop on the Normative Design and Evaluation of Recommender Systems, September 19, 2023, co-located with the ACM Conference on Recommender Systems 2023 (RecSys 2023), Singapore.
Abstract
The recent growing concerns surrounding the pervasive adoption of generative AI can be traced back to the long-standing influence of AI algorithms that have predominantly served as content curators on large online platforms. These algorithms are used by online services and platforms to decide what content to show and in what order, and they can have a negative impact, including the spread of misinformation, social polarization, and echo chambers around important topics. Frances Haugen, a former Facebook employee turned whistleblower, has drawn significant public attention to this issue by revealing the company’s alleged knowledge about the negative impacts of their own algorithms. Additionally, a recent initiative to ban TikTok as a threat to US national security indicates the influence of recommender systems. The objective of this study is threefold. The first goal is to provide an exhaustive evaluation of the profound worldwide influence exerted by algorithm-based recommendations. The second goal is to determine the degree of priority accorded by the scientific community to pivotal subjects in recommender systems discussions, such as misinformation, polarization, addiction, emotional contagion, privacy, and bias. Finally, the third goal is to assess whether the level of scientific research and discourse is commensurate with the significant impact these recommendation systems have globally. The research concludes the impact of recommender systems on society has been largely neglected by the scientific community, despite the fact that more than half of the world’s population interacts with them on a daily basis. This becomes especially apparent when considering that algorithms exert influence not just on major societal issues but on every aspect of a user’s online experience. The potential consequences for humanity are discussed, such as addiction to technology, weakening relations between humans, and the homogenizing effects on human minds. One possible direction to address the challenges posed by these algorithms is the application of algorithmic regulation to promote content diversity and facilitate democratic engagement, such as the tripartite solution which is elaborated upon in the conclusion. Therefore, future research should not only be centered around further evaluating influence of this technology, but also the analysis of how such systems can be regulated. A broader conversation among all stakeholders should be evoked on these potential approaches, aiming to align AI with societal values and enhance human well-being.
Keywords
Ljubisa Bojic. 2024. “AI alignment: Assessing the global impact of recommender systems”. In: Futures 160 (2024).
Christof Weinhardt, Jonas Fegert, Oliver Hinz, Wil M. P. van der Aalst. 2024. “Digital Democracy: A Wake-Up Call. How IS Research Can Contribute to Strengthening the Resilience of Modern Democracies”. In: Business & Information Systems Engineering 66(2), p. 127–134.
Abstract
News headlines can be a good data source for detecting the barriers to the spreading of news in news media, which can be useful in many real world applications. In this study, we utilize semantic knowledge through the inference-based model COMET and the sentiments of news headlines for
barrier classification. We consider five barriers, including cultural, economic, political, linguistic, and geographical and different types of news headlines,
including health, sports, science, recreation, games, homes, society, shopping, computers, and business. To that end, we collect and label the news headlines automatically for the barriers using the metadata of news publishers. Then, we utilize the extracted common-sense inferences and sentiments as features to
detect the barriers to the spreading of news. We compare our approach to the classical text classification methods, deep learning, and transformer-based
methods.The results show that (1) the inference-based semantic knowledge provides distinguishable inferences across the 10 categories that can increase
the effectiveness and enhance the speed of the classification model; (2) the news of positive sentiments cross the political barrier, whereas the news of negative sentiments cross the cultural, economic, linguistic, and geographical barriers; (3) the proposed approach using inferences-based semantic knowledge and sentiment improves performance compared with using only headlines in barrier classification. The average F1-score for 4 out of 5 barriers has significantly improved as follows: for cultural barriers from 0.41 to 0.47, for economic barriers from 0.39 to 0.55, for political barriers from 0.59 to 0.70 and for geographical barriers from 0.59 to 0.76.
Keywords
news spreading barriers, profiling news spreading barriers, common-sense inferences,sentiment analysis, economic barrier, political barrier, cultural barrier, linguistic barrier
Abdul Sittar, Dunja Mladenic´, Marko Grobelnik. 2023. “Profiling the barriers to the spreading of news using news headlines”. In: Frontiers in Artificial Intelligence 6 (2023).
Abstract
An efficient technique to comprehend news spreading can be achieved through the automation of machine learning algorithms. These algorithms perform the prediction and forecasting of news dissemination across geographical barriers. Despite the fact that news regarding any events is generally recorded as a time-series due to its time stamps, it cannot be seen whether or not the news time-series is propagating across geographical barriers. In this article, we explore an approach for generating time-series datasets for news dissemination that relies on Chat-GPT and sentence-transformers. The lack of comprehensive, publicly accessible event-centric news databases for use in time-series forecasting and prediction is another limitation. To get over this bottleneck, we collected a news dataset consisting of 1 year and 3 months related to the Ukraine war using Event Registry. We also conduct a statistical analysis of different time-series (propagating, unsure, and not-propagating) of different lengths (2, 3, 4, 5, and 10) to document the prevalence of geographical barriers. The dataset is publicly available on Zenodo.
Keywords
news propagation, time-series dataset, geographical barriers, Ukraine-war
Abdul Sittar, Dunja Mladenić. 2023. “An approach to creating a time-series dataset for news propagation: Ukraine-war case study”. In: Data Mining and Data Warehouses – SiKDD : Information Society – IS 2023.
Abstract
Analysis of sparse and irregularly sampled time series is an important task with prominent applications in various domains such as medicine, manufacturing, social networks and environmental sciences. In this paper, we focus on convolutional neural networks for the classification of the aforementioned type of time series. We point out that dynamic time warping (DTW) is suitable in case of such time series and present a new convolutional block, dynamic time warping convolution with sparse input (DConv). We propose to use DConv for the classification of sparse and irregularly sampled time series. We also consider networks with sparsity-invariant convolution, an operation which is known in the domain of 3D reconstruction, but new in the domain of time series classification, and use neural networks with sparsity-invariant convolution as strong baselines. We perform experiments with fully-convolutional
neural networks (FCNs) and residual networks (ResNet) on publicly available time series datasets. The results show that neural architectures with the proposed convolutional block outperform their counterparts, in most cases statistically significantly. We made our implementation publicly available at https://github.com/kr7/dconv.
Keywords
sparse and irregularly sampled time series, classification, convolutional neural networks, dynamic time warping
Krisztian Antal Buza. 2023. “Classification of Sparse and Irregularly Sampled Time Series with Convolutional Neural Networks”. In: MILETS 2023.
Abstract
Das Internet hat die Welt näher zusammengebracht und einen digitalen Raum geschaffen, der internationale Kommunikation und Vernetzung ermöglicht. Dieser Raum hat jedoch nicht nur die deliberative Kraft entwickelt, die ihm ursprünglich zugeschrieben wurde. Für populistische Bewegungen, insbesondere die extreme Rechte, wurden die sozialen Netzwerke zu mächtigen Instrumenten der Selbstorganisation, wie der Angriff auf den Deutschen Bundestag (2020), der Sturm auf das US-Kapitol (2021) und der Angriff auf den brasilianischen Regierungssitz (2023) zeigen. Phänomene wie Filterblasen und die Verbreitung von Desinformation haben reale Auswirkungen auf Gesellschaften. Eine kritische Auseinandersetzung mit den Plattform-Mechanismen, die die gesellschaftliche Polarisierung im digitalen Raum vorantreiben, sowie eine Erforschung, wie sich diese Polarisierungstendenzen auf gesellschaftliche Realitäten auswirken, ist daher notwendiger denn je. Desinformationskampagnen sind zu einer Bedrohung für die Demokratie und den sozialen Zusammenhalt geworden. Daher bedarf es einerseits eines umfassenden Verständnisses ihrer Mechanismen und ihrer Ausbreitung und andererseits, darauf aufbauend, Methoden zu ihrer systematischen Bekämpfung. Für das Verständnis und die Entwicklung von Strategien und Instrumenten zur Analyse sowie zur Bekämpfung von gesellschaftlicher Spaltung sind interdisziplinäre Ansätze unerlässlich. Bei den beschriebenen Herausforderungen handelt es sich nicht nur um solche, die die Kommunikationswissenschaft tangieren, sondern um Vorgänge, die auch auf technologischer Ebene analysiert und interpretiert werden sollten. Dieser Beitrag stellt Ansätze und Ergebnisse aus zwei interdisziplinären Forschungsprojekten vor, die demokratiegefährdende Tendenzen im digitalen Raum erkennen, verstehen und bekämpfen sollen.
Die weltweit beobachtete Zunahme der politischen Polarisierung wird oft auf den Trend der algorithmischen Filterung von Inhalten in sozialen Medien, auf Nachrichtenplattformen oder Suchmaschinen zurückgeführt. Es wird angenommen, dass die weitverbreitete Nutzung von Nachrichtenempfehlungssystemen (NRS) Nutzer*innen in homogenen Informationsumgebungen einschließt und dadurch die affektive, ideologische und wahrgenommene Polarisierung verstärkt (Sunstein, 2001). Sowohl die affektive als auch die ideologische Polarisierung sind durch eine Trennung von Individuen verschiedener politischer Lager, typischerweise von der ideologischen Linken und Rechten, über politische Differenzen gekennzeichnet (Webster & Abramowitz, 2017). Im Falle der affektiven Polarisierung äußert sich dies in einer starken Sympathie gegenüber der eigenen Partei, begleitet von einer gleichzeitigen Abneigung der gegnerischen Partei (Iyengar et al., 2012). Die ideologische Polarisierung basiert auf der Distanz zwischen Ablehnung und Unterstützung von Positionen oder Einstellungen zu politischen Themen (DiMaggio et al., 1996). Die wahrgenommene Polarisierung wiederum gibt an, wie sehr eine Person das Meinungsklima in der Gesellschaft entlang von Parteilinien oder Ideologien als polarisiert wahrnimmt (z. B. Yang et al., 2015). In einer interdisziplinären Studie werden drei Online-Experimente mit laufenden Algorithmen durchgeführt, die verschiedene NRS vergleichen. Untersucht wird, welchen Einfluss verschiedene NRS-Arten auf die Nutzer*innen haben, sowie das Sentiment der Nachrichtentexte und die Dauer, für die Nutzer*innen den NRS ausgesetzt sind. Ziel ist es, die Wirkung realer NRS nicht nur zu verstehen, sondern auch alternative Konzepte zu entwickeln, die die positiven Eigenschaften bisheriger Systeme aufgreifen, darüber hinaus aber nicht demokratiegefährdend sind.
Die Tatsache, dass heutzutage fast jede*r Inhalte im Internet veröffentlichen kann, erhöht nicht nur die Möglichkeiten der sozialen Teilhabe, sondern schafft auch neue Möglichkeiten für die Verbreitung von Desinformation und Propaganda (Shu et al., 2017). Die COVID-19-Pandemie hat bereits eine Flut von Falschmeldungen hervorgebracht und gezeigt, wie wichtig es ist, verlässliche von irreführenden Informationen unterscheiden zu können (Sharma et al., 2021; Delcker et al., 2020). Darüber hinaus erfordert der Krieg gegen die Ukraine eine besondere Konfrontation mit Desinformation, die von staatlichen Stellen verbreitet wird. Online Desinformation wird daher als eine der größten Herausforderungen für die Demokratie, den Journalismus und die freie Meinungsäußerung angesehen, was den Bedarf an Forschung zur Erkennung von betrügerischen Inhalten erhöht (Shu et al., 2017). Derzeit ist die Forschung zur Erkennung von “Fake News” mithilfe von Systemen, die auf
maschinellem Lernen basieren, ein schnell wachsendes Gebiet, das zahlreiche Disziplinen umfasst, darunter Informatik, Medien- und Kommunikationswissenschaften, Sozialwissenschaften und Psychologie (vgl. Yu & Lo, 2020; Verma et al., 2021; Kapantai et al., 2021; Mahyoob et al., 2020).
Mit präventiven Maßnahmen und Mechanismen setzt ein weiteres interdisziplinäres Forschungsprojekt an. Gemeinsam mit Organisationen der Zivilgesellschaft wird darin versucht, Nutzer*innen über verschiedene Plattformen hinweg zu befähigen, Nachrichten und Social-Media-Inhalte kritisch zu hinterfragen. Das Projekt verfolgt einerseits ein umfassendes Verständnis der Mechanismen von Desinformation und ihrer Ausbreitung. Andererseits sollen auf dieser Wissensgrundlage Methoden entwickelt werden, um die Verbreitung von Desinformation einzudämmen. Zu diesem Zweck wird das Projekt eine erklärbare KI (XAI) für eine Beteiligungsplattform entwickeln, die darauf abzielt, online Desinformation zu bekämpfen, indem sie diese den Nutzer*innen sichtbar macht und somit aktiv vor deren Auftreten warnt. Die XAI soll dabei unterstützen, kritische Medienkompetenz unter Bürger*innen zu fördern, um den schädlichen Folgen von Desinformationskampagnen wirksam und nachhaltig entgegenzutreten. In diesem Sinne soll ein Beitrag zur Förderung der demokratischen Teilhabe geleistet werden. Vertrauen ist dabei eine der wichtigsten Komponenten für die Förderung aktiver, engagierter und informierter Bürger*innen (Dahlgren, 2009).
Dementsprechend soll die Einreichung dazu beitragen, aufzuzeigen, welche Perspektive kritische Technologieforschung einbringen kann, um Systeme der Desinformation und Algorithmic Biases zu enttarnen. Denn um die demokratische Resilienz sowie das Vertrauen von Bürger*innen nachhaltig zu stärken, bedarf es interdisziplinärer Forschungsansätze zur umfassenden Untersuchung und Bekämpfung demokratiegefährdender Phänomene im digitalen Raum.
Isabel Bezzaoui, Nevena Nikolajevic, Jonas Fegert. 2023. “Demokratiegefährdende Plattform-Mechanismen – Erkennen, Verstehen, Bekämpfen”. In: KI – Konflikte – Konventionen, Polkomm 2023.
Abstract
This paper hypothesizes that complex emergent behaviors can arise from multi-agent simulations involving Large Language Models (LLMs), potentially replicating intricate societal structures. We tested this hypothesis through three progressively complex simulations, where we evaluated the LLM-agents’ understanding, task execution, and their capacity for strategic interactions such as deception. Our results show a clear gap in reasoning ability between LLMs such as GPT-3.5-Turbo and GPT-4, especially in simpler simulations. We demonstrate emergent behaviors can arise from LLM-agent simulations ranging from simple games to geopolitics.
Keywords
large language models, multi-agent simulations, emergent behaviors, societal structures, gpt, simulation environments, agent-based modelling, agent architecture
Adrian Mladenic Grobelnik,Faizon Zaman, Jofre Espigule-Pons, Marko Grobelnik. 2023. “Emergent Behaviors from LLM-Agent Simulations”. In: SiKDD October, 2023, Ljubljana, Slovenia .
Abstract
Thanks to its prominent applications in science, medicine, industry and finance, time series forecasting has been a key area of research. Several recent solutions for time series forecasting are based on convolutional neural networks. While convolutional layers act as local pattern detectors, we point out that they match local patterns in a rigid manner in the sense that they do not account for local shifts and elongations. In this paper, we address this issue and propose distortion-aware convolution. We discuss how to train neural networks with distortion-aware convolution in a multi-phase training process. Our experimental results on publicly available real-world datasets from various domains show that replacing conventional convolution by distortion-aware convolutions leads to more accurate models for time series forecasting both in terms of mean squared error and mean absolute error. Furthermore, distortion-aware convolution may serve as an essential building block of future neural networks. In order to support reproduction and follow-up works, we made our prototypical implementation publicly available at https://github.com/kr7/dcnn-forecast.
Keywords
time series forecasting, convolutional neural networks, distortion aware convolution
Krisztian Buza. 2023. “Time Series Forecasting with Distortion-Aware Convolutional Neural Networks”. In: MILETS 2023 (August 06–10, 2023, Long Beach, CA).