GPT-4 aprueba el examen de barra con calificación sobresaliente

Investigadores del campo de la inteligencia artificial han sometido a GPT-4, el último modelo de lenguaje desarrollado por OpenAI, al Examen Uniforme de Barra de Estados Unidos, obteniendo una puntuación de 297 de 400, por encima del umbral de aprobación establecido en la mayoría de los estados. Este desempeño marca un avance significativo respecto a GPT-3.5, que en pruebas comparables alcanzó un resultado promedio un 26 % inferior, consolidando la superioridad de la arquitectura y el entrenamiento de GPT-4 en contextos de razonamiento complejo y aplicación de conocimientos jurídicos.

El estudio, conducido por un equipo interdisciplinario de desarrolladores de IA y expertos legales, analizó no solo las respuestas de opción múltiple, sino también los ensayos escritos por el modelo. En las secciones de redacción, GPT-4 obtuvo un puntaje promedio de 4.2 sobre 6, demostrando capacidad para estructurar argumentos jurídicos y aplicar precedentes de forma coherente, aunque aún con breves imprecisiones en la referencia de citas específicas.

Entre los hallazgos clave destaca la habilidad de GPT-4 para interpretar preguntas hipotéticas complejas sobre responsabilidad profesional y ética legal, aspectos en los que mostró un razonamiento más cercano al de un candidato humano. Sin embargo, los autores subrayan que, pese a este avance, el modelo carece de verdadera conciencia jurídica y sugiere que, al menos por ahora, su uso más adecuado se encuentre en tareas de asistencia —como la generación de borradores de documentos, la identificación de jurisprudencia relevante o el repaso de argumentos— más que en reemplazar completamente la formación y el juicio de abogados licenciados.

Las implicaciones de estos resultados son amplias: por un lado, abren la puerta a herramientas de soporte para despachos y departamentos legales, que podrían acelerar la revisión de contratos, la preparación de casos y la formación de nuevos abogados. Por otro, plantean debates sobre la regulación de sistemas de IA en el ejercicio profesional del Derecho, la necesidad de estándares éticos y la responsabilidad de los desarrolladores ante posibles sesgos o errores de interpretación.

En palabras de uno de los coautores, “GPT-4 representa un hito en la aplicación de modelos de lenguaje a disciplinas que requieren razonamiento riguroso, pero su adopción debe ir acompañada de supervisión experta y marcos regulatorios claros”.

Para profundizar en la metodología, resultados y análisis detallado, invitamos a consultar el documento completo en la revista Philosophical Transactions of the Royal Society A https://royalsocietypublishing.org/doi/10.1098/rsta.2023.0254