Cuando Jennifer Watkins recibió un mensaje de YouTube anunciando el cierre de su canal, al principio no se preocupó. Después de todo, ella no usó YouTube.
Sin embargo, sus gemelos de 7 años estaban usando una tableta Samsung conectada a su cuenta de Google para ver contenido infantil y hacer videos de YouTube de ellos mismos haciendo bailes tontos. Pocos vídeos han sido vistos más de cinco veces. Pero el vídeo que metió en problemas a Watkins, realizado por uno de sus hijos, fue diferente.
“Aparentemente era un video de su trasero”, dijo Watkins, quien nunca lo ha visto. “Un compañero lo retó a hacer un video desnudo”.
YouTube, propiedad de Google, cuenta con sistemas basados en inteligencia artificial que revisan cada minuto los cientos de horas de vídeo subidos al servicio. En ocasiones, el proceso de análisis puede salir mal y etiquetar a personas inocentes como abusadores de menores.
El New York Times ha documentado otros episodios en los que la vida digital de los padres se vio trastornada por fotos y vídeos de sus hijos desnudos marcados por los sistemas de inteligencia artificial de Google y considerados ilícitos por revisores humanos. Como resultado, la policía investigó a algunos padres.
El «video desnudo» en el caso de la Sra. Watkins, publicado en línea en septiembre, fue señalado en cuestión de minutos como posible explotación sexual de un niño, una violación de los términos de servicio de Google con consecuencias muy graves.
La Sra. Watkins, una trabajadora médica que vive en Nueva Gales del Sur, Australia, pronto descubrió que no tenía acceso no sólo a YouTube, sino a todas sus cuentas de Google. Dijo que perdió el acceso a sus fotos, documentos y correos electrónicos, lo que significa que no podía recibir mensajes sobre su horario de trabajo, ver sus extractos bancarios o «pedir un batido espeso» a través de su aplicación McDonald’s, en la que inicia sesión con su cuenta de Google. .
Su cuenta eventualmente sería eliminada, le informó una página de inicio de sesión de Google, pero podía apelar la decisión. Hizo clic en el botón Iniciar llamada y escribió en un cuadro de texto que sus hijos de 7 años pensaban que «los traseros son divertidos» y que ellos eran responsables de publicar el video en línea.
«Me está perjudicando económicamente», añadió.
Los defensores de los niños y los legisladores de todo el mundo han estado presionando a las empresas de tecnología para que detengan la difusión de imágenes abusivas en línea mediante el monitoreo de dicho material en sus plataformas. Muchos proveedores de comunicaciones ahora escanean fotografías y videos grabados y compartidos por sus usuarios en busca de imágenes conocidas de abuso que hayan sido denunciadas a las autoridades.
Google también quería poder marcar contenido no publicado. Hace unos años, la empresa desarrolló un algoritmo (entrenado en imágenes conocidas) que busca identificar nuevo hardware operativo; Google lo ha puesto a disposición de otras empresas, incluidas Meta y TikTok.
Después de que un empleado confirmó que el video publicado por el hijo de la Sra. Watkins era problemático, Google lo reportó al Centro Nacional para Niños Desaparecidos y Explotados, una organización sin fines de lucro que sirve como cámara de compensación del gobierno federal para el contenido reportado. Luego, el centro puede agregar el video a su base de datos de imágenes conocidas y decidir si reportarlo o no a las autoridades locales.
Google es uno de los principales reporteros de “aparente pornografía infantil”, según las estadísticas del centro nacional. Google presentó más de dos millones de informes el año pasado, mucho más que la mayoría de las empresas de comunicaciones digitales, pero menos que el número presentado por Meta.
(Es difícil juzgar la gravedad del problema del abuso infantil basándose únicamente en números, dicen los expertos. En un estudio de una pequeña muestra de usuarios marcados por compartir imágenes inapropiadas de niños, los científicos de datos de Facebook dijeron que más del 75 por ciento «no demuestran malicia»). intención». Los usuarios incluyeron adolescentes en relaciones románticas que compartían imágenes íntimas de ellos mismos y personas que compartían un «meme de los genitales de un niño siendo mordido por un animal porque piensan que es gracioso»).
Apple ha resistido la presión para escanear iCloud en busca de material de explotación. Un portavoz señaló una carta que la compañía envió a un grupo de defensa este año expresando preocupaciones sobre «la seguridad y privacidad de nuestros usuarios» e informando «que partes inocentes han sido arrastradas a redes distópicas».
El otoño pasado, Susan Jasper, directora de confianza y seguridad de Google, escribió en una publicación de blog que la compañía planeaba actualizar su proceso de apelaciones para «mejorar la experiencia del usuario» para las personas que «piensan que tomamos malas decisiones». En un cambio importante, la empresa ahora proporciona más información sobre por qué se suspendió una cuenta, en lugar de una notificación genérica sobre una «violación grave» de las políticas de la empresa. A la señora Watkins, por ejemplo, le dijeron que la explotación infantil era la razón por la que estaba excluida.
De todos modos, las repetidas apelaciones de la Sra. Watkins fueron rechazadas. Tenía una cuenta paga de Google, que le permitía a ella y a su esposo intercambiar mensajes con agentes de servicio al cliente. Pero en correspondencia digital revisada por The Times, los agentes dijeron que el video, aunque fue un acto inconsciente de un niño, aún violaba las políticas de la empresa.
El castigo draconiano por un vídeo tonto parecía injusto, afirmó Watkins. Se preguntó por qué Google no pudo advertirle antes de cortarle el acceso a todas sus cuentas y a más de 10 años de recuerdos digitales.
Después de más de un mes de intentos fallidos de cambiar la opinión de la empresa, la Sra. Watkins se puso en contacto con The Times. Un día después de que un periodista preguntara sobre su caso, su cuenta de Google fue restaurada.
«No queremos que nuestras plataformas se utilicen para poner en peligro o explotar a los niños, y existe una demanda generalizada de que las plataformas de Internet tomen las medidas más enérgicas posibles para detectar y prevenir la pornografía infantil», dijo la compañía en un comunicado, utilizando un acrónimo ampliamente utilizado. Se utiliza para referirse a la actividad sexual que involucra a niños. material abusivo. «En este caso, entendemos que el contenido infractor no se subió de forma maliciosa». La empresa no tuvo respuesta sobre cómo escalar una denegación de llamada más allá de enviar un correo electrónico a un periodista del Times.
Google está en una posición difícil para responder a este tipo de llamadas, dijo Dave Willner, investigador del Centro de Política Cibernética de la Universidad de Stanford que ha trabajado en confianza y seguridad en varias grandes empresas tecnológicas. Incluso si una foto o un vídeo son inocentes en su origen, podrían compartirse de forma maliciosa.
«Los pedófilos compartirán imágenes que los padres han tomado sin causar daño o las juntarán en colecciones porque sólo quieren ver a niños desnudos», dijo Willner.
El otro desafío es el gran volumen de contenido potencialmente explotador señalado por Google.
«Es simplemente un problema muy, muy difícil de resolver, de regular el juicio de valor a esta escala», dijo Willner. “Toman cientos de miles, si no millones, de decisiones al año. Cuando lances los dados tantas veces, pondrás ojos de serpiente.
Dijo que las dificultades de Watkins después de perder el acceso a Google eran «un buen argumento para ampliar la vida digital» y no depender de una sola empresa para tantos servicios.
La Sra. Watkins aprendió una lección diferente de esta experiencia: los padres no deben usar su propia cuenta de Google para las actividades de sus hijos en Internet, sino que deben crear una cuenta dedicada, una opción que recomienda Google.
Todavía no ha creado una cuenta de este tipo para sus gemelos. Ahora ya no tienen acceso a Internet.
Audio producido por Jack D’Isidoro.
