Investigadores estadounidenses estudian cómo grabaciones aparentemente normales pueden engañar a los sistemas de reconocimiento de voz y asistentes de IA y provocar acciones no autorizadas. El estudio busca impedir que un mismo ciberataque pueda utilizarse contra millones de dispositivos

Mientras escuchamos una canción o vemos un anuncio publicitario, ese archivo de audio puede estar enviando un mensaje de audio secreto y malicioso, imperceptible para los oídos humanos, diciéndole a un asistente de IA que abra la puerta de una casa o tal vez transfiera dinero desde una cuenta bancaria.

Es esta amenaza sigilosa la que está investigando un equipo de especialistas de la George Mason University, en Estados Unidos, tratando de detener un problema de seguridad informática que podría estallar con el avance constante de la IA.

En ese escenario hipotético, la víctima podría no advertir nada extraño en la grabación, aunque no basta con insertar cualquier canción: el audio debe prepararse para provocar una respuesta concreta en un sistema vulnerable, según detalla una nota de prensa.

El fenómeno se conoce como "ejemplos adversarios de audio": grabaciones preparadas para que una máquina reconozca palabras elegidas por un atacante, aunque el sonido siga pareciendo normal. No se trata necesariamente de ultrasonidos ni de un mensaje que cualquier asistente vaya a obedecer.

La clave está en manipular la señal para explotar la forma en que un sistema automático transcribe el habla. Convertir ese error en una acción real depende también de los permisos y las medidas de seguridad del dispositivo. El resultado varía según cómo se active el asistente de IA y qué comprobaciones exija antes de ejecutar órdenes sensibles, de acuerdo al estudio publicado en Proceedings of the 24th Annual International Conference on Mobile Systems, Applications and Services.

El riesgo podría crecer si un mismo modelo de IA se instala en millones de dispositivos. Si un ciberdelincuente diseña un audio que engañe a un sistema concreto, esa grabación podría funcionar contra otros aparatos que utilicen el mismo modelo.

Los especialistas lo comparan con una llave capaz de abrir muchas cerraduras idénticas. Entre los posibles escenarios de abuso se encuentran también las transacciones no autorizadas, las transcripciones manipuladas y los vehículos controlados por voz.

Para reducir el peligro, los científicos han desarrollado una técnica de diversificación de redes neuronales, presentada como DivNet. La propuesta busca que un mismo ataque no pueda reutilizarse fácilmente contra distintos dispositivos.

DivNet genera numerosas variantes de un modelo de reconocimiento del habla para dificultar que los audios maliciosos se utilicen contra millones de dispositivos. / Crédito: Alan Quirvan en Unsplash.

El método parte de los "pesos" de una red neuronal, o sea los valores numéricos que ayudan al modelo a interpretar el sonido. Los investigadores identificaron cuáles influyen en mayor medida en el éxito de los ataques, pero poco en el reconocimiento del habla cotidiana.

Después modifican selectivamente esos parámetros para generar versiones diferentes del sistema, procurando que todas sigan entendiendo correctamente las conversaciones normales. De esta manera, un audio diseñado para engañar a una IA podría producir una transcripción distinta, o directamente no ser reconocido por otra.

Las pruebas incluyeron los sistemas de reconocimiento Wav2Vec2 y DeepSpeech, con ataques digitales y reproducidos en entornos físicos. Según esa evaluación, las variantes redujeron la eficacia de los audios adversarios sin perjudicar de forma notable el reconocimiento habitual.

La técnica tampoco añade tiempo de procesamiento durante la escucha y, tras un análisis inicial, puede generar versiones nuevas en milisegundos. Las combinaciones posibles, según los autores, superan el número estimado de átomos del universo observable.

La propuesta aborda además un obstáculo económico: entrenar desde cero un modelo de IA puede ser caro y requiere procesadores especializados. Crear variantes de una red ya existente permitiría diversificar las defensas sin repetir ese proceso para cada usuario. Incluso un mismo asistente de IA podría cambiar periódicamente de versión, dificultando que un atacante prepare una grabación eficaz de forma duradera.

Mientras evolucionan estas defensas, los usuarios pueden reducir los riesgos exigiendo una confirmación adicional para pagos o accesos físicos, protegiendo las operaciones sensibles con códigos o autenticación y manteniendo actualizados sus dispositivos.

Fuente: Levante - EMV