Par Roberto Cruz
L’intelligence artificielle fait déjà partie de la routine des hôpitaux, prenant en charge tout, du dépistage aux décisions cliniques plus complexes. Le problème est que l’adoption va plus vite que la définition de la responsabilité. Aujourd’hui, il est encore difficile de répondre clairement : qui est responsable d’une décision ou d’une erreur influencée par l’IA en milieu hospitalier ?
Les cas internationaux permettent de mesurer ce risque. L’un des systèmes les plus discutés concerne le système Epic Sepsis Model, utilisé dans les hôpitaux aux États-Unis. Une étude publiée dans JAMA Internal Medicine a révélé que le système n’identifiait pas une partie pertinente des patients à risque. Dans un autre exemple, également aux États-Unis, les algorithmes utilisés par les prestataires de soins de santé étaient racistes, donnant la priorité aux patients blancs par rapport aux patients noirs présentant des conditions équivalentes. En général, ces cas montrent que les erreurs de l’IA peuvent présenter des risques pour la vie et l’intégrité des hôpitaux.
Au Brésil, le scénario reste marqué par l'incertitude. En cas de problème, une chaîne diffuse de responsabilités se forme : le médecin qui a utilisé l'outil, l'hôpital qui l'a mis en œuvre et le fournisseur qui l'a développé. Le Conseil fédéral de la médecine (CFM) a précisé que le médecin ne peut pas transférer sa responsabilité technique à l'IA, mais cela ne résout pas toute la complexité. Il manque une délimitation plus objective entre les différents acteurs. L’Agence nationale de veille sanitaire (Anvisa) progresse dans la réglementation des logiciels médicaux, mais il existe encore un écart entre ce que prédit la norme et ce qui se passe dans la pratique.
Les conséquences de cet écart apparaissent à trois niveaux. Le premier est clinique. Les systèmes d’IA fonctionnent sur la base de données historiques et comportent des biais, ce qui peut compromettre la précision dans des contextes autres que ceux dans lesquels ils ont été formés. La seconde est systémique. The so-called automation bias, the tendency to rely too much on automated systems, leads overworked professionals to blindly trust the shortcuts that Artificial Intelligence provides. Le troisième est institutionnel. Lorsqu’il existe une dépendance excessive à l’égard d’un système sans validation adéquate, l’hôpital s’expose à des risques juridiques et à une atteinte à sa réputation.
Dans ces conditions, cela n’a aucun sens de concentrer la responsabilité sur un seul point. Le modèle le plus cohérent est celui de la responsabilité partagée, avec des rôles bien définis. Le médecin est responsable de la décision clinique finale et de l’utilisation critique de l’outil. L'hôpital est responsable du choix, de la validation et de la gouvernance du système dans son contexte. Le fournisseur doit garantir la transparence sur le fonctionnement, les limites et les performances du modèle.
Pour que ce modèle fonctionne, l’adoption de l’IA doit être structurée. La première étape est la gouvernance, avec un comité multidisciplinaire pour valider les systèmes avant leur mise en œuvre, en tenant compte du profil des patients et du contexte clinique de l'établissement. En parallèle, il est nécessaire d'établir une relation continue avec les fournisseurs, avec veille, transparence entre les limites des technologies et revue des performances. Un autre point est la formation, avoir des connaissances en IA appliquée, garantir que les équipes sachent interpréter les probabilités, reconnaître les limites et identifier les situations hors du standard attendu par le système.
La tendance est à l’avancement de la réglementation, avec des lignes directrices plus spécifiques pour les applications à haut risque qui seront créées par Anvisa et CFM. Pourtant, aucune norme ne résout le problème à elle seule. L’IA ne remplace pas le jugement médical, mais elle l’influence. Et l’influence sans responsabilité définie augmente les risques.
En milieu hospitalier, où l’impact est direct sur la vie des patients, la réflexion sur les limites de l’IA devient une priorité dans l’opération. Parce que, lorsque l’erreur se produit – et elle se produira – le manque de clarté quant à savoir qui en est responsable rend plus difficile la gestion de ses conséquences.
*Roberto Cruz est co-PDG de Pixeon.
