Avaliação de técnicas de reconhecimento óptico de caracteres (OCR) para análise de dados em português disseminados em plataformas de mídias sociais

Abstract

Ao mesmo tempo em que as plataformas de mídias sociais facilitaram as interações e ajudaram a democratizar o acesso à informação, estas também são exploradas para disseminação de desinformação em diferentes contextos, como saúde, política, dentre outros. Fatores como: a velocidade de disseminação, a demora na verificação de fatos e a complexidade de análise de mídias como imagens e vídeos, fazem com que o combate a essa prática seja cada vez mais desafiador. Esforços anteriores revelaram que as imagens representam o tipo de mídia mais explorado nas plataformas sociais. Neste contexto, uma abordagem para combater a desinformação em imagens é extrair o conteúdo textual para processamento posterior. Assim, o objetivo deste trabalho é investigar o desempenho de ferramentas de OCR na recuperação de informações textuais em Português do Brasil, a fim de contribuir para o desenvolvimento de sistemas de moderação e combate à desinformação cada vez mais eficientes. Este estudo apresenta uma metodologia para avaliar ferramentas de OCR considerando variações em 7 aspectos de imagem que são comumente encontrados nos recursos de edição das plataformas de mídias sociais, a saber: o ângulo de rotação do texto, as dimensões da imagem, a cor e o estilo da fonte, o tamanho da fonte, a presença de sombras no texto e o plano de fundo. Nossos resultados revelam a influência dos aspectos da imagem analisada na precisão do OCR, destacando o plano de fundo, o ângulo de rotação do texto e o estilo da fonte como os aspectos que produzem o maior impacto. Além disso, relatamos uma variação considerável entre os sistemas de OCR avaliados em termos de desempenho. Nossos experimentos demonstram que, dentre as ferramentas avaliadas, o Microsoft OCR apresenta os melhores resultados de CER em todos os aspectos analisados com valores médios variando entre 0,14% e 0,71%. Já os piores resultados são do Easy OCR, com valores médios de CER variando entre 1,5% e 57,8%, e do PyTesseract, com valores variando entre 3,9% e 35,6%. Por fim, além de realizarmos um experimento para avaliar como o desempenho das ferramentas de OCR impactam na detecção de desinformação, disponibilizamos um conjunto de imagens com desinformação em Português do Brasil que poderá ser utilizado pela comunidade acadêmica para diferentes fins. Palavras-chave: Reconhecimento Óptico de Caracteres. Desinformação. Dados sintéticos.At the same time that social media platforms facilitate interactions and help democratize access to information, they are also exploited to spread misinformation in different contexts, such as health, politics, among others. Factors such as: the speed of dissemination, the delay in verifying facts and the complexity of analyzing media such as images and videos, make combating this practice increasingly challenging. Previous efforts have revealed that images represent the most explored type of media on social platforms. In this context, one approach to combating misinformation in images is to extract the textual content for further processing. Therefore, the objective of this work is to investigate the performance of OCR tools in retrieving textual information in Brazilian Portuguese, in order to contribute to the development of increasingly efficient moderation and combating disinformation systems. This study presents a methodology to evaluate OCR tools considering variations in 7 image aspects that are commonly found in the editing features of social media platforms, namely: text rotation angle, image dimensions, color and font style, font size, the presence of shadows in the text and the background. Our results reveal the influence of aspects of the analyzed image on OCR accuracy, highlighting the background, text rotation angle and font style as the aspects that produce the greatest impact. Furthermore, we report considerable variation between the OCR systems evaluated in terms of performance. Our experiments demonstrate that, among the tools evaluated, Microsoft OCR presents the best CER results in all aspects analyzed with average values varying between 0.14% and 0.71%. The worst results are from Easy OCR, with average CER values varying between 1.5% and 57.8%, and from PyTesseract, with values varying between 3.9% and 35.6%. Finally, in addition to carrying out an experiment to evaluate how the performance of OCR tools impacts the detection of misinformation, we provide a set of images with misinformation in Brazilian Portuguese that can be used by the academic community for different purposes. Keywords: Optical Character Recognition (OCR). Misinformation. Synthetic Data.