La ciudad de Nueva York se convertirá en el primer municipio de EE. UU. en regular las herramientas de inteligencia artificial utilizadas en la contratación. La pregunta es, ¿su nueva ley realmente hará algún bien?
La regulación, la Ley Local 144, que entrará en vigencia en los próximos meses, establece un marco que requeriría que los departamentos de recursos humanos prueben sus herramientas de contratación de inteligencia artificial para detectar sesgos y define situaciones en las que las empresas deben informar a los solicitantes que están utilizando las herramientas. Pero hay un gran problema, según los defensores: la Ley Local 144 ha sido diluida y plagada de lagunas, sentando un precedente peligroso que permitirá que más de estas herramientas escapen al escrutinio.
Las herramientas de decisión de empleo automatizadas (AEDT, por sus siglas en inglés) están apareciendo rápidamente en cada etapa del reclutamiento laboral: un algoritmo decide si mostrarle un anuncio para un trabajo. Un bot de IA revisa su currículum en busca de palabras clave. Un juego de computadora trata de olfatear tus rasgos de personalidad. En la entrevista de trabajo, sus respuestas emocionales son evaluadas por un software de audio y reconocimiento facial.
La legislación laboral existente no aborda directamente esta afluencia de tecnología de contratación de IA, y eso es un problema. Los proveedores afirman que las máquinas son más objetivas que los humanos, pero los sistemas de aprendizaje automático a menudo terminan replicando formas preexistentes de sesgo. Cuando Amazon desarrolló un motor de reclutamiento de IA en 2018, se desechó después de que el motor aprendiera a favorecer a los candidatos masculinos. Los defensores de los derechos dicen que algunas nuevas evaluaciones computarizadas están inherentemente en contra de las personas con discapacidades. Y los investigadores dicen que las herramientas que se centran en el habla y los movimientos corporales de un solicitante no son más que pseudociencia.
El peligro de la IA no es que sea necesariamente más sesgada que las personas, sino que es más probable que sus decisiones escapen a la responsabilidad. Con cualquier forma de discriminación, «estas herramientas pueden amplificarla y hacerla opaca y ponerla en una caja negra y operarla a escala, donde se oscurece aún más y la mueve de un individuo a un nivel sistémico muy diferente», dice Daniel. Schwarz, investigador de políticas en la Unión de Libertades Civiles de Nueva York.
Desafortunadamente, el alcance de la Ley Local 144 es demasiado limitado para regular la mayoría de las herramientas de contratación de IA que existen.
Las mayores críticas a la Ley Local 144 se centran en cómo define una AEDT. La ley, aprobada por el Concejo Municipal de Nueva York en 2020, inicialmente definió los AEDT como procesos computacionales que “ayudan o reemplazan sustancialmente” las decisiones de empleo humano. Pero en las últimas semanas, el Departamento de Protección al Consumidor y al Trabajador de Nueva York redujo la definición para cubrir explícitamente solo las herramientas que superan otros criterios de contratación; en otras palabras, herramientas que de alguna manera tienen más voz que los tomadores de decisiones humanos sobre si un candidato obtiene un trabajo. .
Esa es una situación que casi nunca ocurre, o al menos es algo que ninguna empresa admitiría, dice Matthew Scherer, asesor principal de políticas del Centro para la Democracia y la Tecnología, una organización sin fines de lucro. «Hace que sea demasiado fácil que haya una demanda colectiva, si tienes un proceso que dice: ‘Esta máquina te dice qué hacer, y tú haces lo que esa máquina te dice todo el tiempo’. Cualquier empresa sería Es estúpido establecer su proceso de una manera que estaría cubierta por esta ley”.
Incluso si una herramienta estuviera cubierta por la Ley Local 144, una empresa no tendría que hacer mucho para cumplirla. Un borrador anterior del proyecto de ley habría requerido que las empresas auditaran sus AEDT para todas las formas de discriminación bajo la ley aplicable (aunque no explicaba cómo). Pero la versión final aprobada por el consejo de la ciudad fue «obscenamente diluida», dice Scherer: pide a los vendedores que realicen una prueba estadística simple para cualquier discriminación basada en la raza, el género y el origen nacional. En ese sentido, la ley “no requiere que los proveedores hagan nada más allá de lo que ya estaban obligados a hacer según la ley federal”, dice.
Eso es ciertamente conveniente para las empresas. Schwarz, de la Unión de Libertades Civiles de Nueva York, dice que la versión de la Ley Local 144 que está a punto de entrar en vigencia es básicamente un regalo para los proveedores y cabilderos tecnológicos. “Hemos visto que esto sucedió en California, vimos que esto sucedió en Nueva York, donde los proveedores presionaban específicamente marcos débiles para abordar las herramientas de decisión de empleo automatizadas, bajo las cuales pueden operar y vender sus herramientas de una manera fácil sin proporcionar la barandillas que realmente se necesitan”, dice Schwarz. “Permite que los AEDT tengan más o menos rienda suelta en la ciudad, lo que le da un sello de goma a su despliegue”.
El Departamento de Protección al Consumidor y al Trabajador de la ciudad no ha abordado las críticas directamente, pero el portavoz de la agencia, Michael Lanza, dijo en un comunicado: “Esta es la primera ley de su tipo que requiere sopesar todos los aportes de todas las partes interesadas para garantizar la equidad y eficacia.» Agregó que la agencia “está considerando cuidadosamente todos los comentarios públicos que recibimos, y planeamos finalizar nuestra regla y comenzar a aplicarla en los próximos meses”.
Los defensores dicen que el problema no es solo que la Ley Local 144 sea una oportunidad perdida. Es que, como la primera regulación de su tipo, las reglas de contratación de IA de la ciudad de Nueva York establecerán un punto de referencia profundamente defectuoso sobre cómo debería ser la regulación. “Esta no es un área en la que podamos apresurarnos y donde algo es mejor que nada”, dice Schwarz. “Porque entonces se verá como ya abordado, y la atención se mueve a otra parte. Y luego se olvida, y será difícil corregirlo después”.
