ChatGPT discrimina por raza y género según el nombre de usuario en el 0,1% de las interacciones
Un estudio de OpenAI muestra que ChatGPT exhibe sesgos mínimos en interacciones basadas en nombres, destacando mejoras con modelos más recientes. Se enfatiza la importancia de abordar los sesgos en IA. Resumen del artículo publicado en technologyreview.es y recomendado por Digital Skills Institute el 25 de marzo de 2025.
Un estudio realizado por OpenAI ha revelado la presencia de sesgos en el chatbot ChatGPT en relación con nombres que sugieren características raciales o de género. Aunque dichos sesgos se registran en solo entre el 0,1% y el 1% de las interacciones, el elevado volumen de usuarios, que asciende a 200 millones semanalmente, puede amplificar su impacto. Este fenómeno persiste a pesar de los esfuerzos realizados para mejorar los modelos lingüísticos bajo los cuales funcionan los chatbots.
Históricamente, la cuestión de los sesgos en inteligencia artificial ha preocupado a expertos en ética y tecnología. Se ha observado cómo estos sesgos pueden afectar decisiones esenciales como la contratación o la distribución de préstamos. El surgimiento de los chatbots añade un nuevo nivel de complejidad, ya que las interacciones son más personales y directas, desafiando la idea de imparcialidad en “primera persona”.
Los investigadores Alex Beutel y Adam Kalai han analizado cómo el conocimiento del nombre del usuario puede influir en la respuesta de ChatGPT. Sus hallazgos indican que las respuestas pueden variar considerablemente, dependiendo de las connotaciones culturales asociadas a ciertos nombres. Aunque estos sesgos sean poco comunes, pueden perpetuar estereotipos, evidenciándose en distintas recomendaciones según el contexto del nombre.
OpenAI ha utilizado un modelo lingüístico dedicado a la investigación para examinar interacciones y ha observado que versiones más recientes, como GPT-4o, han logrado reducir la frecuencia de sesgos en comparación con modelos anteriores. Sin embargo, el proceso de aprendizaje por refuerzo puede contribuir a la manifestación de estos sesgos al incentivar respuestas que maximicen la satisfacción del usuario, a veces basándose en inferencias incorrectas.
Además, se plantea la necesidad de analizar características adicionales del usuario para comprender mejor cómo influyen en las respuestas generadas. El investigador Vishal Mirza destaca que abordar el problema del sesgo requiere una perspectiva más integral, ya que los diferentes tipos de imparcialidad están interrelacionados. Su trabajo revela que modelos de empresas prominentes continúan mostrando sesgos, lo que subraya la importancia de un enfoque colaborativo y transparente para mitigar estas cuestiones en sistemas de inteligencia artificial.
