Par Vivaldo José Breternitz
ChatGPT Health est une version spécialisée de ChatGPT créée par OpenAI pour répondre aux questions de santé et de bien-être.
Lancé en janvier de cette année, il permet aux gens de connecter leurs dossiers médicaux et leurs applications de santé, offrant en théorie des réponses personnalisées, avec confidentialité et sécurité.
L'Icahn School of Medicine est l'une des principales écoles de médecine privées aux États-Unis, située à New York et fait partie du système de santé du Mont Sinaï. Il est reconnu internationalement pour son excellence en matière d’enseignement, de recherche et de soins cliniques.
Un groupe de chercheurs d'Icahn, dirigé par l'urologue Ashwin Ramaswamy, a évalué ChatGPT Health en termes de sécurité. Ramaswamy a déclaré : « Nous voulions répondre à une question fondamentale mais cruciale : si une personne rencontre une véritable urgence médicale et se tourne vers ChatGPT Health, le système lui dira-t-il clairement de consulter immédiatement un médecin ?
Pour ce faire, les chercheurs ont testé la capacité du logiciel à effectuer un dépistage, un processus qui évalue la gravité de l'état d'un patient. Le résultat a montré que ChatGPT Health a sous-estimé 52 % des cas d’urgence, conseillant par exemple aux patients souffrant d’acidocétose diabétique ou d’insuffisance respiratoire imminente de consulter un médecin dans un délai compris entre 24 et 48 heures, au lieu de les envoyer directement aux urgences.
En cas d'insuffisance respiratoire, le système reconnaissait les symptômes comme des signes avant-coureurs, mais rassurait le patient en lui conseillant de se contenter de surveiller la situation, sans lui recommander de soins immédiats. Les situations plus « classiques », comme les accidents vasculaires cérébraux ou les réactions anaphylactiques, ont été correctement dépistées. Toutefois, pour les chercheurs, les scénarios les plus subtils, précisément ceux dans lesquels le jugement clinique est essentiel, sont ceux dans lesquels le système échoue.
Le lancement de ChatGPT Health est intervenu après qu'OpenAI a révélé que plus de 40 millions de personnes se tournaient quotidiennement vers le chatbot pour obtenir des conseils en matière de santé. Selon l’entreprise elle-même, 70 % de ces conversations ont eu lieu en dehors des heures d’ouverture habituelles des cliniques, et aux États-Unis, plus de 580 000 consultations hebdomadaires provenaient de régions appelées « déserts hospitaliers », des zones situées à plus de 30 minutes des hôpitaux.
Également en cas de risque de suicide, les résultats de ChatGPT Health n'ont pas été bons, rappelant qu'OpenAI a fait face à des poursuites intentées par des familles qui accusaient ses chatbots d'avoir contribué à des cas de suicide.
Dans ces cas, les chercheurs ont conclu que les avertissements de risque de suicide donnés par le système sont incohérents, ces avertissements étant donnés plus fréquemment dans des scénarios à faible risque que lorsque quelqu'un décrit exactement comment il avait l'intention de se faire du mal – ce type de rapport indique un danger immédiat et grave.
Commentant les résultats de l'enquête, OpenAI a fait des déclarations ambiguës, affirmant que ChatGPT dans son ensemble devrait être considéré comme un projet en évolution, avec des mises à jour de sécurité en cours.
La société a également émis des réserves quant à la méthodologie utilisée dans la recherche et a conclu en affirmant que ChatGPT Health est disponible sur une base limitée, avec un accès via une liste d'attente.
*Vivaldo José Breternitz est docteur en sciences de l'Université de São Paulo, professeur, consultant et membre de la Congrégation de la Faculté de Médecine de Jundiaí.
