Análise de ferramentas para detecção de textos científicos gerados por Inteligência Artificial (ChatGPT)-Reference-Cited by-同舟云学术

Análise de ferramentas para detecção de textos científicos gerados por Inteligência Artificial (ChatGPT)

Published:2024-07-21 Issue: Volume: Page:145-152
ISSN:
Container-title:Anais do V Workshop sobre as Implicações da Computação na Sociedade (WICS 2024)
language:
Short-container-title:

Author:

Candido Lucas S.,Barbosa Christian A. de Melo,Costa Esdras J. H.

Abstract

Este artigo analisa o desempenho de quatro ferramentas para detecção de artigos gerados por inteligência artificial (IA), Writer AI Content Detector, GPT Zero, Zero GPT e Quillbot AI Content Detector. Os detectores são avaliados em um conjunto de dados de 30 artigos gerados em português no ChatGPT 3.5 e 10 artigos escritos por pessoas reais. Os resultados obtidos do experimento mostram a eficácia do Zero GPT em categorizar conteúdo produzido por máquinas, alcançando a acurácia de 97,50%, desempenho equiparável ao estado da arte. No entanto, foram encontrados desafios em identificar textos gerados artificialmente, a investigação sugere a necessidade de melhorias e explorações contínuas para aperfeiçoar o processo de identificação de conteúdo gerados artificialmente.

Publisher

Sociedade Brasileira de Computação

Reference19 articles.

1. Generating sentiment-preserving Fake Online Reviews Using Neural Language Models and Their Human- and Machine-based Detection. Adelani, David Ifeoluwa, et al. 2020. 2020. Advanced Information Networking and Applications.

2. A Benchmark Corpus for the Detection of Automatically Generated Text in Academic Publications. Vijini, Liyanage, et al. 2022. 2022. Proceedings of the Thirteenth Language Resources and Evaluation Conference.

3. Cabanac, Guillaume e Labbé, Cyrill. 2021. Prevalence of nonsensical algorithmically generated papersin the scientific literature. JASIST. Dezembro de 2021, pp. 1461-1476.

4. Chaka, Chaka e al, et. 2023. Detecting AI content in responses generated by ChatGPT, YouChat, and Chatsonic: The case of five AI content detection tools. Journal of Applied Learning & Teaching. 2023.

5. Deepfake Text Detection: Limitations and Opportunities. Jiameng, Pu, Zain, Sarwar e Sifat, Muhammad Abdullah. 2023. San Francisco : s.n., 2023. IEEE Symposium on Security and Privacy .