Lorsque l’on applique ce concept à l’intelligence artificielle, la logique ne change pas. La gouvernance de l'IA est l'ensemble des politiques, des rôles, des processus et des organes décisionnels qui garantissent qu'une technologie est adoptée de manière sûre, éthique et traçable. En santé, où l’erreur a un coût humain, cette gouvernance cesse d’être un différenciateur de bonnes pratiques et devient une condition de la sécurité des soins.
Pourquoi les soins de santé ont besoin de leur propre gouvernance pour l'IA
Les établissements de santé opèrent déjà sous plusieurs niveaux de gouvernance organisationnelle, clinique, de données, de qualité et de conformité. L’IA imprégnera probablement toutes ces structures, tout en en ayant besoin comme fondement.
Un algorithme d’aide au diagnostic mobilise la gouvernance clinique ; un modèle qui traite les données des dossiers médicaux mobilise la gouvernance des données ; un outil acquis auprès de tiers mobilise la conformité, les contrats, entre autres.
Sans cette structure, ce qui est installé est ce que nous appelons aujourd'hui IA de l'Ombrec’est-à-dire l’utilisation non autorisée, non cartographiée et non supervisée d’outils d’intelligence artificielle, souvent avec de bonnes intentions, mais sans aucune validation sur l’origine des données, la fiabilité du modèle, les limites d’utilisation ou les implications éthiques et juridiques impliquées.
Et tout cela représente un risque pour le patient, qui peut être exposé à une recommandation non validée ; pour le médecin, qui est individuellement responsable d'une décision prise avec l'appui d'un outil que l'établissement n'a jamais évalué ; et pour l'établissement, qui peut être tenu responsable d'un événement indésirable résultant d'une utilisation qu'il n'a pas autorisé, mais qu'il n'a pas non plus empêché.
Gouverner l’IA dans les soins de santé est un exercice de protection sur trois fronts simultanés : protéger le patient, protéger les professionnels et protéger l’institution.
Les piliers de la gouvernance de l’IA
Structurer cette gouvernance nécessite au moins trois éléments liés entre eux :
- Rôles et responsabilités. Il faut nommer qui propose l’utilisation d’une IA, qui l’évalue techniquement, qui l’approuve, qui la suit après mise en œuvre et qui répond en cas d’échec. Chaque rôle comporte une responsabilité concrète : le développeur est responsable de la qualité et de la transparence de l'algorithme ; l'établissement est responsable de l'adaptation de l'usage à son contexte et d'un encadrement permanent ; le professionnel de santé est responsable du jugement clinique final, qu’aucune IA ne remplace.
- Politique institutionnelle formelle. Chaque établissement de santé a besoin d’un document évolutif qui établit, outre les rôles et responsabilités, quelles catégories d’IA peuvent être utilisées, dans quelles conditions, quel est le degré de risque et quel niveau de supervision humaine. La politique est ce qui transforme la gouvernance d’une simple intention en un processus concret et vérifiable.
- Comité d'évaluation multidisciplinaire. C’est le noyau opérationnel de la gouvernance : une instance formelle, dotée d’un pouvoir de décision, par laquelle doit passer tout outil d’IA avant d’être adopté et qui continue d’être surveillée après son acquisition.
Le comité comme porte d’entrée et non comme obstacle
Aucune IA ne devrait être mise en service dans un établissement de santé sans passer par ce comité. Non pas parce qu'il faut ralentir l'innovation, mais parce que toute technologie qui participe, directement ou indirectement, à une décision concernant la santé d'une personne, doit être connue, testée et formellement autorisée.
La réussite du comité signifie que l'outil a été évalué quant à l'origine et à la qualité des données qui l'ont formé, aux risques de biais, aux limites d'utilisation, au respect de la LGPD, à la classification des risques et à son réelle adéquation à la pratique clinique de l'établissement. Cela signifie également qu'il existe une personne officielle responsable de cette autorisation et qu'il existe un processus de surveillance continue.
C’est ce processus, et non l’interdiction générique de l’utilisation de l’IA, qui ferme la porte à IA de l'Ombre. Les professionnels de santé ne cessent de rechercher le soutien des outils d’IA, mais ils commencent à le faire de manière supervisée, lorsque l’institution propose un parcours clair, agile, fiable et sûr.
La bioéthique comme critère
Autoriser l’utilisation de la technologie de l’IA dans les soins de santé nécessite des preuves et des preuves scientifiques. Il appartient au comité d’exiger que chaque outil prouve, avec des tests statistiques robustes, son efficacité et sa précision avant toute utilisation clinique. La sensibilité, la spécificité, les taux de faux positifs et de faux négatifs, les performances dans les sous-groupes de population, les comportements en dehors de l'échantillon de formation sont des principes bioéthiques qui sous-tendent les bonnes pratiques.
La bienfaisance exige que la technologie démontre, à l’aide de données, qu’elle apporte réellement des avantages aux soins. La non-malfaisance nécessite de connaître les limites et les modes de défaillance de l’algorithme avant de l’appliquer dans la vraie vie.
Le problème précédent : sans Data Governance, il n’y a pas de gouvernance de l’IA
Il y a cependant une étape qui précède toute cette discussion : la gouvernance des données. Si l’institution ne veille pas à la qualité, à l’intégrité, à la représentativité et à la traçabilité des données qu’elle produit et stocke, aucun comité, aucune politique et aucune exigence statistique ne pourront garantir la qualité des résultats délivrés par une IA. En d’autres termes, mauvaises données en entrée, mauvais résultat en sortie, quelle que soit la sophistication du modèle. C'est la notion de les ordures entrent, les ordures sortent.
Gouverner l’IA sans d’abord gouverner les données, c’est construire une maison sophistiquée sur des fondations qui n’étaient pas préparées à la soutenir. La gouvernance des données est le fondement sans lequel toute la structure de gouvernance de l’IA est compromise.
Le paradoxe ultime : plus de technologie nécessite plus d’humanité
Il y a un paradoxe qui doit entrer dans cette équation, et qui est peut-être le plus important de tous : plus la technologie avance, plus les compétences humaines seront requises de nous. Jugement clinique, écoute, communication empathique, esprit critique face à une recommandation algorithmique, la technologie ne remplace rien de tout cela.
Par conséquent, un programme sérieux de gouvernance de l’IA dans le domaine de la santé ne peut se limiter aux comités techniques et aux politiques. Il faut inclure, dans la même équation, le développement des personnes. Former des équipes prêtes à travailler aux côtés de l’IA et pas seulement selon ses recommandations fait autant partie de la gouvernance que la validation de l’exactitude statistique d’un modèle.
Gouverner la technologie sans prendre soin de ceux qui l’utilisent, c’est assurer le contrôle de la machine, mais ne pas en prendre soin. La véritable gouvernance de l’IA dans les soins de santé ne se mesure pas par la sophistication de l’algorithme, mais par la capacité humaine à l’utiliser avec jugement, éthique et responsabilité. En fin de compte, bien gouverner la technologie commence, paradoxalement, par bien gouverner ceux qui l’exploitent, autrement dit, prendre bien soin de ceux qui s’en soucient.
__________
La technologie dans le cadre de la gouvernance
Pour Caroline Zan, Commerciale chez evalmind, la gouvernance dépend de processus et de politiques bien définis, et la technologie choisie doit contribuer à leur réalisation dans la pratique. «Pour une adoption responsable de l'IA dans le domaine de la santé, disposer d'un outil favorisant la traçabilité, l'adaptation aux processus institutionnels et le contrôle est essentiel pour établir une relation sécurisée entre professionnels, institutions et fournisseurs dès le début d'un projet», déclare-t-il.
Par conséquent, elle préconise que les institutions donnent la priorité aux solutions qui naissent avec cette vision incorporée. C'est la proposition d'evalmind, une plateforme Eval qui a le concept de LGPD by design comme l'un de ses piliers. En pratique, cela signifie que de bonnes pratiques en matière de sécurité, de confidentialité et de gouvernance sont intégrées dans les processus mêmes dans lesquels l’IA est appliquée. Selon Carol, que ce soit dans des projets d'assistance ou administratifs, l'objectif est d'allier l'efficacité de l'IA avec l'observabilité, la traçabilité et le contrôle de son usage.
« Si gouverner l’IA signifie savoir où, comment, par qui et pour quoi elle est utilisée, la technologie elle-même doit offrir les conditions pour que cette gouvernance se réalise », conclut-il.
__________
