A menudo nos preguntan cómo decidimos dónde establecer nuestras líneas rojas o por qué a veces es necesario tanto tiempo para desarrollar y poner en práctica nuevas políticas (
aquí puedes leer más sobre cómo desarrollamos nuestro trabajo en materia de responsabilidad). Este artículo explica cómo elaboramos nuestras políticas y qué proceso seguimos hasta ponerlas en práctica.
¿Cuándo determinamos que es necesario poner al día nuestras políticas?
El mundo se mueve muy deprisa y nuestras políticas no pueden quedarse atrás. Por eso las revisamos periódicamente para garantizar que — al igual que las leyes rigen en nuestra sociedad — reflejan los cambios que se van produciendo tanto dentro como fuera de nuestra plataforma. Vaya por delante que la inmensa mayoría de los contenidos que se publican en YouTube cumplen nuestras normas. No obstante, no dejamos de comprobar posibles fisuras o riesgos que pueden poner a prueba nuestras políticas de diferentes formas.
La evolución de nuestras políticas tiene un objetivo fundamental, evitar daños graves en el mundo real. Pero eso tampoco significa que eliminemos de YouTube cualquier contenido ofensivo, ya que en general creemos que los debates abiertos y la libertad de expresión son positivos para la sociedad. Lo que sí hacemos es trazar cuidadosamente una línea que corte el paso a contenidos susceptibles de causar daños graves a nuestros usuarios o a la plataforma.
Eso incluye distintas formas de daños físicos. Por ejemplo, cuando empezaron a proliferar bulos que relacionaban la tecnología 5G con la propagación de la COVID-19 y empezaron a
producirse daños en antenas de telefonía móvil por todo el Reino Unido, actuamos con rapidez para detectar este tipo de contenidos. Tampoco permitimos información que pueda afectar gravemente a las instituciones democráticas; por ejemplo, información engañosa sobre los procesos electorales, como horarios falsos, lugares equivocados o requisitos para ejercer el derecho al voto.
Por otro lado, el proceso de revisión de nuestras políticas recibe aportaciones de ONGs, académicos y expertos de diferentes países, que representan todos los puntos de vista. Su ayuda es esencial para advertirnos de nuevos problemas o para hacernos entender en profundidad cuestiones complejas que exigen cambios delicados. Por poner un ejemplo: al principio de la pandemia definimos nuestras políticas sobre desinformación en materia de COVID-19 con la ayuda de autoridades sanitarias tales como el Centro de Control de Enfermedades y la OMS. En fases posteriores, cuando estos organismos suavizaron sus recomendaciones sobre uso de mascarillas y distancia social, nosotros pusimos al día las políticas aplicables a los contenidos que cuestionaban la eficacia de las mascarillas y el distanciamiento social.
¿Cuándo decidimos “hasta aquí”?
Cuando identificamos un área que exige una actualización de nuestras políticas, entra en escena nuestro equipo de Confianza y Seguridad para desarrollar una solución a medida. Lo primero es evaluar un par de aspectos. ¿Con qué frecuencia aparece este tipo específico de contenido dañino en YouTube (y cuál es su potencial de crecimiento)? ¿Cómo los gestionan las Normas de la comunidad actuales?
A continuación, visionamos docenas, y en ocasiones incluso cientos de vídeos para entender las implicaciones que tendrían diferentes cambios en nuestras políticas. Nunca cambiamos una norma por un solo vídeo. Hay que pensar en el impacto de los posibles cambios en todos los vídeos. Es decir, qué vídeos se eliminarían y cuáles se mantendrían con la nueva norma. Después de este proceso de revisión exhaustiva, el equipo discute distintas líneas políticas, documentadas con ejemplos de vídeos que se eliminarían y que se aceptarían en cada caso. También se discuten distintas posibilidades de aplicación, cómo eliminar vídeos frente a
restringir el acceso según los criterios de edad.
De entre todas esas posibilidades, se selecciona una opción preferida, que todavía se somete a nuevas rondas de evaluación. En esta fase, tratamos de determinar si la propuesta cumple varios objetivos clave:
- Si ofrece un equilibrio adecuado entre mitigar daños graves en el mundo real y el deseo de libertad de expresión.
- Si se presta a que los miles de moderadores de contenidos de todo el mundo la apliquen de forma coherente. Cuando estamos convencidos de que se cumplen los objetivos, la propuesta se eleva a un grupo ejecutivo formado por directivos de la empresa.
La aprobación final proviene del máximo nivel directivo, con participación del Chief Product Officer y el CEO de YouTube. Y si en algún momento se produce un desacuerdo entre los equipos sobre dónde debe trazarse la línea, enviamos la política de vuelta a la casilla de salida.
¿Quién da su opinión durante la elaboración y la aplicación de las políticas?
A lo largo del proceso de elaboración de políticas, colaboramos estrechamente con expertos de prestigio en cuestiones como los discursos de odio o el acoso. También colaboramos con distintos organismos públicos en otras cuestiones de primer orden, como el extremismo violento o la seguridad infantil.
Igualmente, recurrimos a expertos que nos ayudan a hacer proyecciones de cómo podrían divulgarse contenidos nocivos en nuestra plataforma como consecuencia de sucesos globales. También nos señalan grietas en nuestros sistemas que podrían ser aprovechadas por agentes malintencionados, o nos hacen recomendaciones de cara a nuevas actualizaciones. Y, al igual que en el caso de la COVID-19, nos aportan información para adaptar nuestras políticas en situaciones en donde los criterios pueden cambiar con rapidez.
Estas asociaciones son especialmente importantes a la hora de informar acerca de la aplicación de nuestras políticas a escala regional, porque a menudo hay que conocer determinados idiomas y culturas para poner los contenidos dentro de contexto de una forma adecuada. Por ejemplo, durante el golpe de Estado en Myanmar en 2021, trabajamos estrechamente con expertos para identificar casos de incitación al odio y la violencia por motivos étnicos y religiosos. Esa colaboración nos permitió eliminar rápidamente de nuestra plataforma los contenidos que incumplían nuestras políticas.
¿Intentamos anticiparnos a cuestiones emergentes?
La gente suele pensar que la moderación de contenidos es, por naturaleza, una actividad reactiva; es decir, que solo retiramos contenidos cuando salta una alerta en nuestros sistemas o cuando alguien protesta. Pero, en realidad, el grueso de nuestra labor tiene la vista puesta en el futuro. Contamos con un largo proceso diseñado para poner a nuestros equipos sobre aviso de posibles dificultades antes de que aterricen en nuestra plataforma o se generalicen en ella.
Esta visibilidad —que consideramos muy valiosa— es responsabilidad de nuestro Intelligence Desk, un equipo que forma parte de la división de Confianza y Seguridad de YouTube. Este equipo de analistas especializados está integrado por expertos en inteligencia artificial. Su misión consiste en detectar tendencias con potencial para incumplir nuestras normas —desde la desinformación hasta desafíos peligrosos para el conjunto de Internet— y los riesgos que acarrean. Aparte de eso, llevan un seguimiento constante de amenazas tales como las teorías conspirativas extremistas; en ese sentido, monitorizan su popularidad en los medios y evalúan cómo van mutando a lo largo del tiempo.
Todos estos datos se emplean para sopesar si las políticas actuales o las modificaciones a futuro bastan para gestionar estas nuevas amenazas. Así, por ejemplo, la evidencia acumulada por el Intelligence Desk nos ha servido para
actualizar nuestras políticas sobre incitación al odio y sobre acoso, con el fin de atajar teorías conspirativas nocivas en nuestra plataforma.
¿Cómo sabemos que las políticas se aplican de forma coherente?
La adopción de una nueva política es un esfuerzo colaborativo entre seres humanos y la tecnología de aprendizaje automático. En términos prácticos, eso significa que para aplicar con éxito una política, las personas y las máquinas deben remar en la misma dirección, para revisar los contenidos con altos niveles de precisión.
Lo primero que hacemos es suministrar a nuestro equipo más experimentado de moderadores las directrices de aplicación (es decir, una explicación detallada de lo que hace que un determinado contenido no cumpla nuestras normas), y les pedimos que hagan una distinción entre materiales aceptables y no aceptables. Si, con la ayuda de esa directrices, ya alcanzan un nivel de precisión muy alto, ampliamos el grupo de pruebas con cientos de moderadores de diferentes orígenes, idiomas y grados de experiencia.
En este punto, ponemos en marcha un proceso de revisión de las directrices, con el fin de que esta base más amplia y diversa de moderadores pueda interpretarlas adecuadamente. Este proceso puede durar varios meses, y no se considera completo hasta que el grupo más amplio alcanza un grado de precisión similar al del grupo más experimentado. Estos resultados nos ayudan a entrenar nuestra tecnología de aprendizaje automático que, a fin de cuentas, es la que detecta contenidos potencialmente no conformes a escala masiva. Al igual que hacemos con nuestros moderadores de contenidos, probamos los modelos para verificar si tienen contexto suficiente para hacer valoraciones precisas de los contenidos que deben remitir al individuo encargado de la revisión.
Una vez completado este periodo de pruebas, es posible lanzar la nueva política. No obstante, en los meses siguientes continuamos mejorando nuestra política. Cada semana, los directores de Confianza y Seguridad se reúnen con los responsables de asegurar la calidad de todo el mundo —que son quienes supervisan los equipos de moderación de contenidos— para comentar decisiones especialmente espinosas y revisar la calidad con que aplicamos las políticas. Si es necesario, se hacen retoques de las directrices para subsanar deficiencias o para aportar aclaraciones sobre esos casos que están en el límite.
¿Cómo es la colaboración entre humanos y máquinas a la hora de aplicar nuestras políticas?
Una vez que hemos entrenado los modelos para identificar contenidos potencialmente transgresores, los moderadores siguen desempeñando una función esencial en el proceso de aplicación de las políticas. Las herramientas de aprendizaje automático hacen dos cosas: identifican a gran escala contenidos que, potencialmente, incumplen las Normas de la comunidad, y los seleccionan para que sean revisados por los moderadores de contenido quienes se encargan entonces de confirmar si los contenidos deben o no ser eliminados.
Esta estrategia colaborativa ayuda a afinar la precisión de nuestros modelos a lo largo del tiempo ya que, en función del feedback de los moderadores, los modelos continúan aprendiendo y adaptándose. Esta es la forma de gestionar la ingente cantidad de contenidos que se suben a YouTube (más de 500 horas de contenidos cada minuto), sin perder de vista los matices que determinan si un contenido es aceptable o no.
Por ejemplo, un discurso de Hitler en los Congresos de Núremberg sin ningún contexto adicional seguramente viola
nuestra política de incitación al odio. Ahora bien, si ese mismo discurso forma parte de un documental que condena las acciones de los nazis, probablemente se permitiría según nuestras
directrices EDSA (contenidos educativos, documentales, científicos y artísticos). En este tipo de contenidos se tiene en cuenta el contexto en el que se inscribe un material que, en otras circunstancias, no sería aceptable.
Evidentemente, a una herramienta tecnológica le puede resultar más complicado hacer esta distinción, mientras que el moderador de contenidos puede captar más fácilmente el contexto adicional. Esta es una de las razones por las que la aplicación de nuestras normas es una responsabilidad esencialmente compartida, y también pone de manifiesto por qué el juicio humano siempre será una parte importante de nuestros procesos. En la mayoría de categorías de contenidos potencialmente infractores en YouTube, los modelos se limitan a marcar un contenido para que un moderador lo revise, antes de adoptar cualquier acción.
¿Cómo medimos el éxito?
Nuestra labor tiene una doble finalidad: hacer respetar nuestras Normas de la comunidad y, al mismo tiempo, cumplir nuestra misión de albergar en YouTube nuevas voces y comunidades. No es fácil reducir el éxito de esa labor a un solo indicador. Lo que sí hacemos es escuchar todas las sugerencias de mejora de las partes interesadas y los miembros de nuestra comunidad. Y procuramos ofrecer transparencia en cuanto a nuestros sistemas y procesos (de hecho, este blog es parte de ese esfuerzo).
Una métrica que publicamos sobre la efectividad de nuestras acciones de cumplimiento es el
índice de visualizaciones infractoras, que expresa el número de visualizaciones en YouTube de contenidos que incumplen nuestras normas. Entre julio y septiembre de este año, esa cifra osciló entre el 0,10% y el 0,11%; es decir, por cada 10.000 visualizaciones, 10 u 11 correspondieron a contenidos que incumplían las Normas de la comunidad.
También hacemos un
seguimiento del número de “apelaciones” que presentan los creadores cuando eliminamos sus vídeos (este es un recurso a disposición de todos los creadores de YouTube), ya que nos aporta información sobre la precisión de nuestros sistemas. Por ejemplo, entre julio y septiembre de este año eliminamos más de 5,6 millones de vídeos por infringir las Normas de la comunidad y recibimos aproximadamente 271.000 apelaciones por ello. Después de tramitarlas, dimos la razón a los creadores en unos 29.000 casos.
Evidentemente, las métricas tales como el número de apelaciones, las decisiones a favor de los creadores o el índice de visualizaciones infractoras no son una solución perfecta para valorar ni la precisión ni la coherencia, pero son fundamentales para evaluar el éxito de una forma comparativa y a largo plazo.
Las normas de la comunidad se aplican a realidades como el lenguaje y la expresión que, por su propia naturaleza, mutan con el tiempo. Por tanto, estamos abocados a revisar con regularidad las líneas de nuestras políticas, para que sus límites resulten adecuados en todo momento. En los próximos meses seguiremos explicando cómo es ese proceso de adaptación, para mantener informada a nuestra comunidad.
Publicado por Matt Halprin, Vice President, Global Head of Trust & Safety y Jennifer Flannery O’Connor, Vice President, Product Management
