La ciudad de Nueva York exigirá auditorías sesgadas de la tecnología de recursos humanos de tipo IA

Tecnología

La ciudad de Nueva York aprobó una ley única en su tipo que prohibirá a los empleadores utilizar inteligencia artificial y tecnologías basadas en algoritmos para el reclutamiento, la contratación o la promoción sin que esas herramientas se auditen primero en busca de sesgos.

El alcalde saliente de la ciudad de Nueva York, Bill de Blasio, permitió que la legislación se convirtiera en ley sin una firma el 10 de diciembre. Entra en vigencia el 2 de enero de 2023 y se aplica solo a las decisiones de selección de candidatos para empleo o empleados para promoción que sean residentes de Nueva York, pero es un presagio de lo que vendrá para los empleadores de todo el país.

Si los empleadores de la ciudad de Nueva York están «utilizando una herramienta de selección informada por IA, ya sea una evaluación previa al empleo o entrevistas en video puntuadas por IA o alguna otra herramienta de selección que utilice IA, es probable que esté sujeta a esta nueva ordenanza», dijo Mark Girouard, un abogado en la oficina de Minneapolis de Nilan Johnson Lewis quien, como parte de su práctica, asesora a los empleadores sobre las evaluaciones previas al empleo.

Agregó que «deberán comenzar a contratar a un tercero para que realice auditorías de sesgo de esas herramientas para probar el impacto dispar de la herramienta, una política neutral que podría conducir a la discriminación, por motivos de raza, etnia o sexo».

La ley define las herramientas de decisión de empleo automatizadas como «cualquier proceso computacional, derivado del aprendizaje automático, el modelado estadístico, el análisis de datos o la inteligencia artificial», que puntúa, clasifica o hace una recomendación con respecto a los candidatos y se utiliza para ayudar o reemplazar la decisión de un empleador. -proceso de fabricación.

«La definición es muy amplia», dijo Girouard. «No está claro si el estatuto captura solo las herramientas de IA puras o incluye un conjunto más amplio de herramientas de selección. Si un empleador usa una prueba de personalidad previa al empleo tradicional, por ejemplo, que se califica mediante un algoritmo basado en la ponderación y una combinación de componentes, podría incluirse, no estamos seguros «, dijo.

Matthew Jedreski, abogado de la oficina de Seattle de Davis Wright Tremaine y miembro del grupo de inteligencia artificial de la firma, agregó que la ley podría «capturar innumerables tecnologías utilizadas por muchos empleadores, incluido el software que busca candidatos, realiza revisiones iniciales del currículum, ayuda a clasificar solicitantes o rastrea el desempeño de los empleados «.

Disposiciones de la ley

Según la ley, se prohibirá a los empleadores utilizar una herramienta de tipo IA para seleccionar candidatos o evaluar a los empleados, a menos que la tecnología haya sido auditada en busca de sesgos no más de un año antes de su uso y un resumen de los resultados de la auditoría se haya puesto a disposición del público. en el sitio web del empleador.

Girouard dijo que no está claro cuándo y con qué frecuencia debería actualizarse la auditoría de sesgo y si la auditoría está destinada a cubrir el proceso de contratación del empleador junto con la herramienta, o la herramienta en sí en general.

Los empleadores que no cumplan pueden estar sujetos a una multa de hasta $ 500 por una primera infracción y luego ser sancionados con multas de entre $ 500 y $ 1,500 diarios por cada infracción posterior.

Frida Polli, cofundadora y directora ejecutiva de Pymetrics, una plataforma de búsqueda de talentos que utiliza la ciencia del comportamiento y la inteligencia artificial, es una de las que más apoya la reducción de los prejuicios en la tecnología.

Con ese fin, su empresa trabaja para asegurarse de que los algoritmos de su herramienta no tengan un impacto desigual.

«Tenemos un proceso por el que pasan los algoritmos antes de que se construyan que asegura que están por encima del umbral que constituye un impacto dispar», dijo. «Probamos eso y continuamos monitoreándolo una vez que se implementa».

Girouard dijo que la ley también requiere que los empleadores notifiquen a los candidatos antes de usar la tecnología y revelen las calificaciones o características que la herramienta está evaluando.

«El requisito de explicar cómo la herramienta analiza las diferentes características probablemente plantee desafíos particulares para los empleadores que usan software creado por proveedores, ya que estos proveedores a menudo protegen cómo funcionan sus herramientas como secretos comerciales o bajo acuerdos de confidencialidad», dijo Jedreski.

Los candidatos y empleados también pueden solicitar un «proceso alternativo o acomodación» en lugar de ser evaluados por la tecnología.

Girouard dijo que la ley de la ciudad de Nueva York ilustra ciertas tendencias predominantes que los empleadores deben conocer, incluido un enfoque en la transparencia, la importancia de la explicabilidad (debe tener alguna característica o calificación relacionada con el trabajo que se está calificando) y, cada vez más, el concepto del consentimiento informado, ya sea la capacidad de optar por no participar o al menos el requisito de notificar a los candidatos que se está utilizando IA, dijo.

La ley de la ciudad de Nueva York es la punta del iceberg de lo que se avecina, dijo Girouard. La Comisión de Igualdad de Oportunidades en el Empleo de EE. UU. Señaló recientemente que intensificaría su examen de las herramientas de tipo IA. Pero hasta que la agencia publique pautas formales, los estados y municipios continuarán llenando el vacío, dijo.

‘Un buen paso’

La versión final aprobada de la ley de la ciudad de Nueva York generó una variedad de respuestas, incluso entre los defensores de un mayor escrutinio de la tecnología de inteligencia artificial que la habían defendido desde el principio.

Polli apoya la ley, calificándola de «un buen paso en la dirección correcta».

Se incluyen varios elementos importantes, dijo, incluidas las disposiciones sobre la notificación de candidatos, la transparencia con respecto a los datos que se están evaluando y las pruebas de impacto dispar.

«En este momento, no hay lugar a donde ir para ver los distintos umbrales de impacto de las diferentes plataformas y cómo se comparan», dijo. «No existe una calificación pública de estos productos de ninguna manera. Los informes públicos serán útiles para que los empleadores tomen mejores decisiones y para informar al público en general acerca de dónde se ubican muchas de estas tecnologías».

Julia Stoyanovich, profesora de informática y ciencia de datos en la Universidad de Nueva York y directora fundadora del Center for Responsible AI de la escuela, también ve la ley como un «desarrollo positivo sustancial», especialmente los componentes de divulgación que informan a los candidatos sobre lo que se está haciendo.

«La ley respalda el consentimiento informado, que es fundamental, y hasta la fecha ha faltado por completo», dijo. «Y también apoya al menos una forma limitada de recurso, lo que permite a los candidatos buscar adaptaciones o desafiar el proceso».

‘Profundamente defectuoso’

Pero algunos activistas de derechos digitales expresaron su decepción con el producto legislativo final.

El Centro para la Democracia y la Tecnología (CDT) en Washington, D.C., lo calificó como un estándar «profundamente defectuoso» y «debilitado» que no va lo suficientemente lejos como para frenar el sesgo de la tecnología de inteligencia artificial en el empleo.

«El proyecto de ley de la ciudad de Nueva York podría haber sido un modelo a seguir por las jurisdicciones de todo el país, pero en cambio, es una oportunidad perdida que no responsabiliza a las empresas y deja sin abordar formas importantes de discriminación», dijo Matthew Scherer, asesor principal de políticas. para la privacidad del trabajador en CDT.

Scherer dijo que lo peor de la legislación revisada, en comparación con su borrador original, es que solo requiere que las empresas auditen la discriminación por motivos de raza o género, ignorando otras formas de discriminación. En lugar de evaluar el cumplimiento de una herramienta con todas las leyes contra la discriminación que cubren la gama de características protegidas, la ley no requiere que los empleadores hagan nada que no estén obligados a hacer, dijo.

«El efecto principal de las revisiones es, por lo tanto, aliviar a los empleadores de cualquier incentivo para verificar otras formas de discriminación, como la discriminación contra trabajadores discapacitados, mayores o LGBTQ +», dijo.

Polli respondió que el desafío de incluir la edad y la discapacidad para las pruebas de impacto dispares es «que no obtenemos esa información de los candidatos; es ilegal preguntarle a un candidato sobre una discapacidad», dijo. «Estoy de acuerdo en que debería haber mejores salvaguardas, y hemos creado una solución alternativa en Pymetrics, utilizando tasas pasadas de personas que seleccionaron adaptaciones frente a las que no lo hicieron, pero estos son desafíos reales que debemos descubrir cómo superar».

La versión final de la ley también tiene un alcance más limitado para quién y qué cubre, dijo Ridhi Shetty, asesor de políticas del CDT. «Se aplica sólo a la contratación y la promoción», dijo. «Esto deja fuera del alcance de la ley muchas decisiones laborales sustanciales que impactan dramáticamente la vida de los trabajadores, incluidas las relacionadas con la compensación, la programación y las condiciones laborales. También se aplica solo a los trabajadores que son residentes de la ciudad de Nueva York, en lugar de a todos los empleados de los empleadores de la ciudad de Nueva York. Dado el gran volumen de empleados que no son residentes de la ciudad de Nueva York empleados por empleadores de la ciudad de Nueva York, esto representa una reducción significativa de la aplicabilidad de la ley».

El CDT también cree que los requisitos de notificación y divulgación son vagos. «No existe un mecanismo para garantizar que las pruebas alternativas o las solicitudes de adaptación se consideren seriamente, y mucho menos se ofrezcan de manera justa», dijo Scherer.

Stoyanovich dijo que entiende los argumentos críticos de la ley, pero ve su aprobación «como una oportunidad para que todos, colectivamente, descubramos cómo poner en práctica los requisitos muy necesarios de la auditoría de sesgos y de la divulgación pública en el dominio de la contratación algorítmica. sólo puede resolver esto actuando, no sentándose y permitiendo que las herramientas de contratación algorítmica se sigan utilizando, sin ningún tipo de supervisión ni responsabilidad”.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *