Defusing the bomb: a large-scale analysis and machine learning approach to review bombing in video games on Steam

Abstract

Steam is currently the largest digital distribution platform for PC games and hosts one of the most extensive publicly accessible ecosystems of user reviews. In this context, Review Bombing (RB) has emerged as an orchestrated form of collective action in which large volumes of reviews are posted within short periods of time with the intent of influencing a game's public evaluation. Despite its relevance, large scale empirical analyses of RB remain limited. In this work, we present a comprehensive longitudinal study of RB on Steam based on a dataset comprising 157,825 games and more than 103 million user reviews, validated against 89 RB incidents and 11,800,720 RB reviews identified by Steam's official moderation pipeline and subsequently confirmed through manual review. We analyze temporal patterns, user participation, and textual characteristics of RB incidents, as well as the thematic content of reviews through topic modeling. Our findings demonstrate that RB constitutes a distinct and empirically observable phenomenon, characterized by recurring temporal, behavioral, and linguistic patterns that significantly differentiate it from the organic flow of user reviews. We further show that these incidents are predominantly driven by established and highly engaged users and are frequently used as vehicles for expressing geopolitical, cultural, and ideological grievances, often framed through consumer oriented language such as refund requests and allegations of fraudulent practices. Moreover, we show that RB can be instrumentalized both to promote and to challenge hate speech, highlighting important tensions between consumer expression and platform governance. Finally, we develop and evaluate a machine learning approach for detecting RB incidents based on temporal, semantic, and behavioral features, achieving an F1 score of 0.67 using XGBoost. Our results indicate that semantic shifts in review content, temporal variations in reviewing activity, and the concentration of negative reviews are the most predictive signals for identifying RB incidents. Keywords: review bombing; hate speech; Steam; natural language processing; topic modeling; gaming culture

A Steam é atualmente a maior plataforma de distribuição digital de jogos para PC e abriga um dos mais extensos ecossistemas de avaliações de usuários publicamente acessíveis. Nesse contexto, o Review Bombing (RB) emergiu como uma forma orquestrada de ação coletiva, na qual grandes volumes de avaliações são publicados em curtos intervalos de tempo com o objetivo de influenciar a avaliação pública de um jogo. Apesar de sua relevância, análises empíricas em larga escala sobre RB ainda são limitadas. Neste trabalho, apresentamos um estudo longitudinal abrangente de RB na Steam com base em um conjunto de dados de 157.825 jogos e mais de 103 milhões de avaliações, validados contra 89 episódios e 11.800.720 reviews confirmadas de RB e identificadas pelo pipeline oficial de moderação da Steam e verificadas por meio de inspeção manual. Analisamos padrões temporais, participação de usuários e características textuais dos episódios de RB, bem como o conteúdo temático das avaliações por meio de modelagem de tópicos. Nossos resultados demonstram que o RB constitui um fenômeno distinto e empiricamente observável, caracterizado por padrões temporais, comportamentais e linguísticos recorrentes que o diferenciam significativamente do fluxo orgânico de avaliações. Observamos ainda que esses episódios são predominantemente conduzidos por usuários estabelecidos e altamente engajados na plataforma, sendo frequentemente utilizados como veículos para a expressão de insatisfações geopolíticas, culturais e ideológicas, muitas vezes formuladas por meio de linguagem associada ao consumo, como pedidos de reembolso e alegações de práticas fraudulentas. Além disso, mostramos que o RB pode ser instrumentalizado tanto para promover quanto para contestar discursos de ódio, evidenciando desafios relevantes para o equilíbrio entre expressão dos consumidores e mecanismos de governança de plataformas digitais. Por fim, desenvolvemos e avaliamos uma abordagem de aprendizado de máquina para detecção de episódios de RB baseada em atributos temporais, semânticos e comportamentais, alcançando F1-score de 0,67 com XGBoost. Os resultados indicam que mudanças semânticas nas avaliações, variações temporais nos padrões de publicação e a concentração de avaliações negativas constituem os sinais preditivos mais relevantes para a identificação do fenômeno. Palavras-chave: review bombing; discurso de ódio; Steam; processamento de linguagem natural; modelagem de tópicos; cultura gamer