- El examen estandarizado pone a prueba los conocimientos en múltiples disciplinas médicas, desde la ciencia básica a la bioquímica, pasando por el razonamiento diagnóstico y la bioética.
El sistema de inteligencia artificial ChatGPT obtuvo resultados de aprobado o casi aprobado en el examen para obtener la licencia médica en Estados Unidos, según un estudio publicado el jueves.
“Alcanzar la puntuación de aprobado en este examen de expertos notoriamente difícil, y hacerlo sin ningún refuerzo humano, marca un hito notable en la maduración de la IA [Inteligencia Artificial] clínica”, señalan los autores del estudio publicado en la revista PLOS Digital Health.
“Estos resultados sugieren que los grandes modelos lingüísticos pueden ayudar en la educación médica y, potencialmente, en la toma de decisiones clínicas”, añadieron.
ChatGPT, que es capaz de producir ensayos, poemas y códigos de programación en cuestión de segundos, fue desarrollado por OpenAI, una startup con sede en California fundada en 2015 con financiación inicial de Elon Musk, entre otros.
Microsoft invirtió 1.000 millones de dólares en OpenAI en 2019 y acaba de firmar un nuevo acuerdo multimillonario con la firma.
Para el estudio, los investigadores de AnsibleHealth, con sede en California, probaron el rendimiento de ChatGPT en un examen de licencia de tres partes realizado por estudiantes de medicina y médicos en formación en Estados Unidos.
El examen estandarizado pone a prueba los conocimientos en múltiples disciplinas médicas, desde la ciencia básica a la bioquímica, pasando por el razonamiento diagnóstico y la bioética.
El sistema de IA se probó con 350 de las 376 preguntas públicas de la versión de junio de 2022 del examen, según el estudio, y el chatbot no recibió ninguna formación especializada previa.
Se eliminaron las preguntas basadas en imágenes.
ChatGPT obtuvo una puntuación de entre el 52,4 % y el 75 % en las tres partes del examen. La puntuación para graduar está en torno al 60 %.
Las preguntas se presentaron a ChatGPT en varios formatos, incluyendo algunas abiertas como “¿Cuál sería el diagnóstico del paciente basado en la información proporcionada?”.
También había otras de opción múltiple como “¿Cuál de los siguientes patógenos es la causa principal del estado del paciente?”.
Según el estudio, dos médicos que no se conocían entre sí revisaron las respuestas para establecer las calificaciones finales.
Un experto externo, Simon McCallum, profesor titular de ingeniería de software en la Universidad Victoria de Wellington, Nueva Zelanda, apuntó que Google ha obtenido resultados alentadores con una herramienta médica de IA conocida como Med-PaLM.
“Puede que ChatGPT apruebe el examen, pero Med-PaLM es capaz de aconsejar a los pacientes tan bien como un médico general profesional”, afirma McCallum. “Y ambos sistemas están mejorando”.
ChatGPT también resultó útil a los autores del estudio sobre exámenes médicos de otra forma: utilizaron el chatbot para ayudar a redactarlo, dijo la coautora Tiffany Kung.
