En Google siempre nos hemos esforzado por evitar la difusión de material de abuso sexual infantil. Las organizaciones de protección de la infancia y los gobiernos esperan (y en muchos casos exigen) acertadamente que actuemos para eliminarlo de nuestros sistemas. Por eso, cuando encontramos material de abuso sexual infantil en nuestras plataformas lo eliminamos, lo denunciamos y, a menudo, suspendemos la cuenta.
Aunque el material de abuso sexual infantil representa una parte muy pequeña del que se sube y se comparte en nuestras plataformas, nos tomamos muy en serio las implicaciones tanto de las infracciones por uso de este material como de la suspensión de cuentas. Nuestro objetivo es evitar los abusos en nuestras plataformas y minimizar el riesgo de suspender una cuenta por error. Hoy compartimos más información sobre cómo detectamos este contenido dañino y las medidas que estamos tomando para ser más transparentes sobre nuestros procesos con los usuarios.
Cómo detectamos el material de abuso sexual infantil
Nos basamos en dos tecnologías igualmente importantes para ayudarnos a identificar de forma proactiva material de abuso sexual infantil: la coincidencia de hash y la inteligencia artificial (IA). También tenemos un equipo de revisores de contenido y expertos en la materia altamente especializados y formados que ayudan a asegurar que nuestra tecnología proporcione resultados precisos.
Esta combinación nos permite detectar material de abuso sexual infantil en nuestras plataformas a gran escala con una proporción de falsos positivos extremadamente baja.
Cómo utilizamos la coincidencia de hash para identificar material de abuso sexual infantil conocido
Nuestros sistemas marcan automáticamente mediante tecnología de coincidencia de hash el material de abuso sexual infantil identificado previamente. Esta tecnología asigna a las imágenes y vídeos una firma digital única (un «hash») y la compara con una base de datos de firmas conocidas. Si ambas coinciden, se considera que el contenido es el mismo o muy similar.
El hash se obtiene de diversas fuentes de gran confianza, como la Internet Watch Foundation (IWF) y el National Center for Missing and Exploited Children (NCMEC). El NCMEC aloja un servicio de intercambio de hash que utilizan empresas tecnológicas y ONGs especializadas de todo el mundo. Este repositorio sirve como punto de partida, pero revisamos cada hash de supuesto material de abuso sexual infantil de forma independiente para confirmar su exactitud. Una vez que confirmamos que es material de abuso sexual infantil, lo introducimos en nuestros sistemas de detección.
La inmensa mayoría de las imágenes denunciadas por Google (aproximadamente el 90 %) coinciden con material de abuso sexual infantil identificado previamente, y gran parte de este material ya está en la base de datos del NCMEC.
Cómo utilizamos la inteligencia artificial para identificar nuevo contenido
Aunque la coincidencia de hash nos ayuda a encontrar material de abuso sexual infantil conocido, utilizamos la inteligencia artificial para marcar nuevo contenido muy similar a patrones de material de abuso sexual infantil confirmados previamente. Nuestros sistemas están diseñados específicamente para reconocer imágenes inofensivas, como puede ser la de un niño jugando en la bañera o en el patio, que no se marcarán. Un equipo especializado de personal cualificado también revisa cada una de las nuevas imágenes marcadas, para confirmar que es material de abuso sexual infantil antes de denunciarlo.
La detección rápida de nuevas imágenes implica que la probabilidad de identificar y proteger de más abusos a los niños que están sufriendo abuso sexual hoy es mucho mayor. Y para ayudar a promover la seguridad en la Web, proporcionamos a otras empresas y ONGs acceso a la tecnología de detección y procesamiento a través de nuestro
kit de herramientas de seguridad infantil. Esto incluye nuestra API Content Safety, que ayuda a nuestros partners a priorizar y revisar más rápidamente el contenido que tiene una gran probabilidad de ser abusivo. Solo en los últimos 30 días, la
API Content Safety ha ayudado a nuestros partners a procesar más de cuatro mil millones de elementos de material de abuso sexual infantil. Con el kit de herramientas, los partners también pueden obtener una licencia de
nuestra tecnología CSAI Match para detectar material de vídeo de abuso sexual infantil conocido en sus plataformas.
Nuestros revisores de contenido especializados Aunque la tecnología es esencial para la lucha contra el material de abuso sexual infantil a gran escala, los revisores humanos también desempeñan un papel fundamental para confirmar las coincidencias de hash y el contenido descubierto mediante IA. Los miembros de nuestro equipo aportan una gran experiencia en este trabajo y en derecho, protección y defensa de la infancia, trabajo social y ciberinvestigaciones, entre otras disciplinas. Están especialmente formados tanto en el ámbito de nuestra política como en lo que legalmente constituye material de abuso sexual infantil. Actualizamos regularmente esta formación y nuestras directrices después de consultar con asesores jurídicos, expertos independientes y profesionales médicos.
Sabemos que se trata de un trabajo increíblemente sensible y disponemos de una serie de medidas para proteger el bienestar físico y mental de los revisores. Nuestros equipos tienen acceso a herramientas, espacios de trabajo, recursos y experiencia profesional, incluido el asesoramiento.
Remitimos el contenido al NCMEC
Tras este proceso de revisión, denunciamos las imágenes identificadas como material de abuso sexual infantil al
NCMEC, tal y como exige la ley estadounidense. El NCMEC evalúa la denuncia y puede decidir remitir el caso a un organismo público encargado de velar por el cumplimiento de las leyes pertinentes. Si este organismo decide investigar más a fondo la denuncia del NCMEC, las solicitudes de información adicional de Google deben realizarse mediante un proceso legal válido o de acuerdo con las leyes aplicables. Puedes obtener más información
aquí sobre cómo gestionamos este tipo de solicitudes.
La transparencia es muy importante para nosotros al llevar a cabo este trabajo. Hoy hemos actualizado nuestro
Informe de Transparencia con los últimos datos sobre nuestros esfuerzos de detección e información. En el primer semestre de este año presentamos más de un millón de denuncias al NCMEC sobre contenido que cumplía la definición legal de material de abuso sexual infantil y, cuando procedió, suspendimos las cuentas de Google asociadas a ese contenido (aproximadamente 270.000 cuentas).
Al utilizar material de abuso sexual infantil detectado y confirmado para identificar material idéntico o similar que se suba o comparta en nuestras plataformas, mantenemos una proporción de falsos positivos increíblemente baja. Sin embargo, si alguien cree que su cuenta se ha desactivado por error, incluso si se debe a contenido marcado como material de abuso sexual infantil, puede apelar la decisión. Un miembro de nuestro equipo de seguridad infantil revisa la apelación y, si descubrimos que hemos cometido un error, restauramos la cuenta lo antes posible.
Mejoramos nuestros procesos
Evitar el material de abuso sexual infantil en nuestras plataformas es un trabajo increíblemente importante y es un área en la que seguiremos invirtiendo. Al mismo tiempo, somos conscientes de que podemos mejorar la experiencia de usuario cuando las personas acuden a nosotros con preguntas sobre sus cuentas o creen que hemos tomado decisiones equivocadas. Por ejemplo, estamos trabajando activamente en formas de aumentar la transparencia y proporcionar razones más detalladas para las suspensiones de cuentas (al mismo tiempo que nos aseguramos de no comprometer la seguridad de los niños ni interferir con posibles investigaciones de los organismos públicos encargados de velar por el cumplimiento de las leyes). Y también actualizaremos nuestro proceso de apelación para permitir que los usuarios aporten aún más contexto sobre sus cuentas, lo que incluye compartir más información y documentación de profesionales independientes relevantes o de organismos públicos encargados de velar por el cumplimiento de las leyes, para ayudarnos a conocer mejor el contenido detectado en la cuenta.
Seguiremos explorando otras formas de equilibrar la prevención de la difusión de este contenido dañino en nuestras plataformas con una experiencia de asistencia más sencilla para todos los usuarios.
Publicado por Susan Jasper, vicepresidenta de Operaciones de Confianza y Seguridad
source
