Los candidatos rara vez saben cuándo las herramientas ocultas de inteligencia artificial rechazan sus currículums o analizan sus entrevistas en video. Pero los residentes de la ciudad de Nueva York pronto podrían tener más voz sobre las computadoras que toman decisiones detrás de escena sobre sus carreras.
Un proyecto de ley aprobado por el ayuntamiento a principios de noviembre prohibiría a los empleadores utilizar herramientas de contratación automatizadas a menos que una auditoría anual de prejuicios pueda demostrar que no discriminarán en función de la raza o el género del solicitante. También obligaría a los fabricantes de esas herramientas de inteligencia artificial a revelar más sobre su funcionamiento opaco y les daría a los candidatos la opción de elegir un proceso alternativo, como un humano, para revisar su aplicación.
Los defensores lo comparan con otra regla pionera de la ciudad de Nueva York que se convirtió en un abanderado nacional a principios de este siglo, una que requería que las cadenas de restaurantes contaran con un conteo de calorías en los elementos de su menú.
Sin embargo, en lugar de medir la salud de las hamburguesas, esta medida tiene como objetivo abrir una ventana a los complejos algoritmos que clasifican las habilidades y personalidades de los solicitantes de empleo en función de cómo hablan o escriben. Más empleadores, desde cadenas de comida rápida hasta bancos de Wall Street, confían en estas herramientas para acelerar el reclutamiento, la contratación y las evaluaciones del lugar de trabajo.
«Creo que esta tecnología es increíblemente positiva, pero puede producir muchos daños si no hay más transparencia», dijo Frida Polli, cofundadora y directora ejecutiva de la startup Pymetrics de Nueva York, que utiliza la inteligencia artificial para evaluar las habilidades laborales a través de un juego. evaluaciones en línea. Su empresa presionó por la legislación, que favorece a empresas como Pymetrics que ya publican auditorías de equidad.
Pero a algunos expertos en inteligencia artificial y activistas de derechos digitales les preocupa que no vaya lo suficientemente lejos para frenar el sesgo, y dicen que podría establecer un estándar débil para que los reguladores y legisladores federales reflexionen mientras examinan formas de controlar las aplicaciones dañinas de inteligencia artificial que exacerban las desigualdades. en sociedad.
“El enfoque de la auditoría de sesgos es bueno. El problema es que la ciudad de Nueva York adoptó un estándar muy débil y vago para lo que parece”, dijo Alexandra Givens, presidenta del Center for Democracy & Technology. Dijo que las auditorías podrían terminar dando a los proveedores de inteligencia artificial una «hoja de parra» para construir productos de riesgo con el sello de la ciudad.
Givens dijo que también es un problema que la propuesta solo tiene como objetivo proteger contra los prejuicios raciales o de género, dejando de lado el prejuicio más difícil de detectar contra las discapacidades o la edad. Ella dijo que el proyecto de ley se suavizó recientemente para que efectivamente solo les pida a los empleadores que cumplan con los requisitos existentes según las leyes de derechos civiles de los EE. UU. Que prohíben las prácticas de contratación que tienen un impacto dispar por motivos de raza, etnia o género. La legislación impondría multas a los empleadores o agencias de empleo de hasta $ 1,500 por infracción, aunque se dejará a los proveedores realizar las auditorías y mostrarles a los empleadores que sus herramientas cumplen con los requisitos de la ciudad.
El Concejo Municipal votó 38-4 para aprobar el proyecto de ley el 10 de noviembre, dando un mes para que el alcalde saliente Bill De Blasio lo firmara, lo vetara o lo dejara entrar en ley sin firmar. La oficina de De Blasio dice que apoya el proyecto de ley, pero no ha dicho si lo firmará. Si se promulga, entraría en vigencia en 2023 bajo la administración del alcalde electo Eric Adams.
Julia Stoyanovich, profesora asociada de ciencias de la computación que dirige el Centro de Inteligencia Artificial Responsable de la Universidad de Nueva York, dijo que las mejores partes de la propuesta son los requisitos de divulgación para que las personas sepan que están siendo evaluadas por una computadora y hacia dónde van sus datos.
“Esto arrojará luz sobre las características que utilizan estas herramientas”, dijo.
Pero Stoyanovich dijo que también estaba preocupada por la efectividad de las auditorías de sesgo de las herramientas de inteligencia artificial de alto riesgo, un concepto que también está siendo examinado por la Casa Blanca, agencias federales como la Comisión de Igualdad de Oportunidades en el Empleo y legisladores en el Congreso y el Parlamento Europeo.
“La carga de estas auditorías recae en los proveedores de las herramientas para demostrar que cumplen con un conjunto rudimentario de requisitos que son muy fáciles de cumplir”, dijo.
Es probable que las auditorías no afecten a las herramientas de contratación internas que utilizan los gigantes tecnológicos como Amazon. Hace varios años, la compañía abandonó el uso de una herramienta de escaneo de currículums después de descubrir que favorecía a los hombres para los roles técnicos, en parte porque estaba comparando candidatos con la fuerza laboral tecnológica dominada por hombres de la compañía.
Ha habido poca oposición al proyecto de ley por parte de los proveedores de contratación de IA más utilizados por los empleadores. Uno de ellos, HireVue, una plataforma para entrevistas de trabajo en video, dijo en un comunicado esta semana que acogió con satisfacción la legislación que «exige que todos los proveedores cumplan con los altos estándares que HireVue ha respaldado desde el principio».
La Cámara de Comercio de la Gran Nueva York dijo que es poco probable que los empleadores de la ciudad vean las nuevas reglas como una carga.
«Se trata de transparencia y los empleadores deben saber que las empresas contratantes están utilizando estos algoritmos y software, y los empleados también deben ser conscientes de ello», dijo Helana Natt, directora ejecutiva de la cámara.
