Nuevas medidas de prevención contra el abuso sexual infantil en ChatGPT. - OPENAI
MADRID, 17 Nov. (Portaltic/EP) -
OpenAI ha lanzado una nueva herramienta gratuita para organizaciones verificadas que permite detectar material de abuso sexual infantil (CSAM), tanto generado con inteligencia artificial (IA) como contenido real, además de introducir nuevas medidas de prevención en ChatGPT.
La compañía dirigida por Sam Altman ha trasladado su intención de ofrecer medidas de prevención para combatir la explotación y el abuso sexual infantil en internet, especialmente, la creación y difusión de este tipo de contenido generado mediante IA, para "interrumpir estas conductas dañinas".
En este sentido, ha presentado un nuevo clasificador de imágenes capaz de detectar posibles contenidos de abuso sexual infantil, incluidos aquellos generados mediante IA. Esta herramienta estará disponible de forma gratuita para organizaciones previamente verificadas a través de la API de OpenAI.
Así lo ha detallado la tecnológica en un comunicado en su blog, donde ha explicado que se trata de una herramienta desarrollada en colaboración con el Centro Nacional para Niños Desaparecidos y Explotados (NCMEC por sus siglas en inglés), que analiza las señales visuales de las imágenes buscando indicios visuales de abuso, para identificar nuevo contenido que podría no haber sido detectado anteriormente. Asimismo, indica específicamente si el material podría haber sido generado por IA.
Tras identificar una posible imagen de abuso sexual infantil, la herramienta asigna una puntuación al contenido para ayudar a los equipos de moderación a priorizar las imágenes que requieren revisión.
Según sus pruebas internas y con socios, OpenAI ha asegurado que las imágenes identificadas por el nuevo clasificador tenían aproximadamente "el doble de probabilidades de contener material abusivo".
Asimismo, la compañía ha identificado cómo el nuevo clasificador podría reducir el trabajo de revisión. Según sus estimaciones, marcaría un 48 por ciento menos de imágenes, encontrando aproximadamente la misma cantidad de imágenes abusivas que la herramienta actual. Es decir, señala específicamente el contenido que sí significa un abuso, dejando fuera las imágenes que finalmente no contienen CSAM.
Siguiendo esta línea, en las pruebas realizadas con imágenes de producción revisadas por humanos, han indicado que el 72 por ciento de las alertas fueron confirmadas por los revisores como "material de abuso sexual infantil novedoso".
"Empresas como OpenAI tienen la responsabilidad de evitar que nuestra tecnología sea utilizada por depredadores para dañar a los niños, y también debemos colaborar con el sector en general, las organizaciones de protección infantil y las fuerzas del orden para impulsar nuestros esfuerzos colectivos de protección infantil en línea", ha manifestado la tecnológica al respecto.
NUEVAS MEDIDAS DE PREVENCIÓN EN CHATGPT
Por otra parte, OpenAI también ha introducido nuevas advertencias y medidas de prevención para interrumpir comportamientos potencialmente dañinos en ChatGPT.
Según ha indicado, el 'chatbot' mostrará advertencias cuando detecte intentos de encontrar material de abuso sexual infantil. Asimismo, los mensajes explicarán las consecuencias de sexualizar a menores, incluso cuando el contenido solicitado sea generado mediante IA.
Como resultado de estos comportamientos, OpenAI ha indicado que la conversación señalada con CSAM se eliminará automáticamente y el acceso del usuario a ChatGPT quedará suspendido durante un día. No obstante, la compañía ha subrayado que se ofrecerán opciones de apoyo especializadas para ayudar a los usuarios a "abandonar estos comportamientos".
Con todo, en caso de identificar infracciones reiteradas por parte de un mismo perfil, OpenAI ha señalado que podrá interponer restricciones más prolongadas, llegando incluso a cerrar la cuenta o a contactar con las autoridades pertinentes.
Todas estas medidas se unen a las políticas que ya dispone OpenAI para prohibir este tipo de material, así como a las restricciones existentes sobre la generación de este tipo de contenido y su búsqueda.
GUÍA PARA DESARROLLADORES Y HERRAMIENTAS PARA UNIDADES POLICIALES
Finalmente, OpenAi ha publicado una nueva guía práctica dirigida a los desarrolladores para ayudarles a prevenir, detectar y responder ante el abuso sexual infantil en sus entornos digitales.
Esta guía incluye sistemas para que los usuarios puedan comunicar posibles casos de abuso, herramientas de detección de contenidos, procedimientos para revisar y denunciar posibles casos y recomendaciones para proteger a los profesionales que revisan contenidos sensibles, entre otras cuestiones.
Por otra parte, ha anunciado nuevas herramientas y opciones de formación para unidades policiales especializadas en protección infantil. Entre las que se incluyen complementos y herramientas específicas para investigaciones, capacidad de análisis de grandes volúmenes de datos y formación sobre el uso de IA en investigaciones.