Cuidado con las trampas: un grupo de investigadores ha creado la herramienta definitiva para detectar textos escritos con IA
Desde que la Inteligencia Artificial generativa irrumpió en nuestro día a día, uno de los grandes desafíos ha sido encontrar la manera de poder identificar cuando un documento está hecho con esta tecnología: un grupo de investigadores parece haber encontrado la solución.
La Inteligencia Artificial generativa nos permite
Una tasa de acierto del 90%
Según la publicación realizada, Binoculars detecta “más del 90% de las muestras generadas de ChatGPT (y otros modelos de lenguaje) con una tasa de falsos positivos del 0,1%”. Ante la dificultad de detectar los textos que habían sido generados por herramientas de IA, dado el gran número de “comportamientos complejos” que se comprobaban en el análisis de los textos, este grupo de investigadores se apoyó en un par de modelos de lenguaje previamente entrenados para, a través de una serie de cálculos definidos como “simples”, saber identificar cuándo un texto está escrito por una persona y cuando su autoría obedece a una de las herramientas de IA que podemos encontrar actualmente en el mercado.
Para llevar a cabo la prueba, se ha evaluado “exhaustivamente” a la aplicación ante diferentes situaciones y fuentes de texto. Además, no destaca solo por haber sido capaz de reunir una tasa de acierto superior al 90%. Sino que, además, también reduce los falsos positivos en un 0,01%. Evitando, por tanto, las clásicas situaciones que se han convertido en un habitual durante los últimos meses en entornos como el académico en el que, en función del tipo de herramienta utilizada, un texto era identificado como artificial o no, generando dudas al respecto de su autoría.
Para todos los modelos
Al contrario de lo que obteníamos con otras aplicaciones, el rendimiento de Binoculars es exactamente el mismo con independencia del modelo de lenguaje sobre el que se desee realizar la detección, puesto que no ha sido entrenado en exclusiva para ninguno de ellos.
Por último, en el informe también se muestra que no existe sesgo a la hora de mostrar el resultado en el caso de que el documento haya sido creado por hablantes no nativos, inglés en el caso del estudio al que estamos haciendo referencia. Cuando es habitual que la gramática presente ciertas oportunidades de mejora. En este caso, la tasa de acierto también ha sido de un 99,67%, demostrando la efectividad del programa.
