Améliorer un compte rendu d’un examen radiologique est possible grâce à la dernière version de ChatGPT : La GPT-4

Mais pour l’instant un travail scientifique récent vient indiquer les limites de l’application du ChatGPT dans la réalisation des comptes rendus d’examens liés à l’imagerie médicale.

Au jour d’aujourd’hui, la précision d’un compte rendu radiologique relève de la compétence et de l’expertise du médecin radiologue.

Pour évaluer les performances de l’application ChatGPT sur les comptes rendus de radiologie et explorer ses forces et ses limites, les résultats d’une récente étude canadienne viennent d’être publiés dans la revue Radiology.

L’étude a utilisé 150 questions à choix multiples conçues pour correspondre au style, au contenu et à la difficulté des examens du Canadian Royal College and American Board of Radiology.

Le Dr Rajesh Bhayana, auteur de cette étude, précise que cette recherche donne un aperçu des performances de ChatGPT dans un contexte de radiologie, soulignant l'incroyable potentiel des grands modèles de langage, ainsi que les limitations actuelles qui le rendent peu fiable.

Les chercheurs ont découvert que ChatGPT basé sur GPT-3.5 répondait correctement à 69 % des questions (104 sur 150), proche de la note de passage de 70 % utilisée par le Canadian Royal College.

Le modèle a relativement bien fonctionné sur les questions nécessitant une réflexion d'ordre inférieur mais a eu du mal avec les questions impliquant une réflexion d'ordre supérieur

Plus précisément, il a eu du mal avec des questions impliquant la description des résultats d'imagerie ou le calcul de la classification.

Ses faibles performances sur les questions de réflexion d'ordre supérieur n'étaient pas surprenantes étant donné son manque de préformation spécifique à la radiologie.

Des résultats déroutants pour GPT-4

Mais il existe désormais GPT-4, qui a été publié en mars 2023 sous une forme limitée, affirmant spécifiquement avoir des capacités de raisonnement avancées améliorées par rapport à GPT-3.5.

Les résultats suggèrent que les capacités de raisonnement avancé améliorées revendiquées par GPT-4 se traduisent par des performances améliorées dans un contexte de radiologie.

Ils suggèrent également une meilleure compréhension contextuelle de la terminologie spécifique à la radiologie, y compris les descriptions d'imagerie, ce qui est essentiel pour permettre de futures applications en aval.

« Notre étude démontre une amélioration impressionnante des performances de ChatGPT en radiologie sur une courte période, soulignant le potentiel croissant des grands modèles de langage dans ce contexte », indique l’auteur de l’étude Dr Bhayana.

« Nous avons d'abord été surpris par les réponses précises et confiantes de ChatGPT à certaines questions difficiles de radiologie, mais ensuite tout aussi surpris par certaines affirmations très illogiques et inexactes », poursuit le Dr Bhayana.

La tendance dangereuse de ChatGPT à produire des réponses inexactes, appelées hallucinations, est moins fréquente dans GPT-4, mais limite toujours la convivialité dans la formation et la pratique médicales à l'heure actuelle.

Au jour d’aujourd’hui, ChatGPT est mieux utilisé pour susciter des idées, aider à démarrer le processus de rédaction médicale ou de compte rendu radiologique et de résumer les données.

S'il est utilisé pour un rappel rapide des informations techniques radiologiques, cela doit toujours être vérifié.