L’IA est désormais partout au sein des entreprises. De nombreux RSSI avec qui je parle se sentent coincés entre vouloir aller de l'avant et ne pas savoir par où commencer. La peur de se tromper, tant dans l’utilisation de l’IA que dans la sécurité de l’IA au sein de l’organisation, arrête souvent le processus avant qu’il ne commence. Cela dit, contrairement à d’autres grandes vagues technologiques comme le cloud, le mobile et le DevOps, nous avons en réalité la possibilité de mettre en place des garde-fous autour de l’IA. avant Cela devient complètement ancré dans tous les domaines de l’entreprise. C'est une opportunité unique que nous ne devrions pas laisser passer.
De la lassitude de l’IA à la clarté indispensable
Une grande partie de la confusion vient du mot « IA » lui-même. Nous utilisons la même étiquette pour parler d'un chatbot qui rédige des textes marketing et d'agents autonomes qui génèrent et mettent en œuvre des manuels de réponse aux incidents. Techniquement, ce sont tous deux des IA, mais les risques ne sont pas les mêmes. Le moyen le plus simple de dépasser le battage médiatique autour de l’IA est de la diviser en catégories en fonction du degré d’indépendance du système et des dommages qu’il pourrait causer en cas de problème.
D’un côté, nous avons l’IA générative, qui n’agit pas seule. Répondez aux invites. Créez du contenu. Aide à la recherche ou à la rédaction. La plupart des risques proviennent ici de personnes qui l'utilisent d'une manière qu'ils ne devraient pas : partage de données sensibles, collage de code propriétaire, fuite de propriété intellectuelle, etc. La bonne nouvelle est que ces problèmes sont gérables. Des politiques d'utilisation claires et acceptables, la formation des personnes sur ce qu'il ne faut pas inclure dans les outils GenAI et la mise en œuvre de contrôles techniques applicables permettront de gérer de nombreuses considérations de sécurité liées à l'IA générative.
Le risque augmente lorsque les entreprises permettent à GenAI d’influencer les décisions. Si les données sous-jacentes sont incorrectes, empoisonnées ou incomplètes, les recommandations basées sur ces données seront également incorrectes. C'est là que les RSSI doivent prêter attention à l'intégrité des données, et pas seulement à leur protection.
Ensuite, il y a l’autre extrémité du spectre : l’IA des agents. C’est là que les enjeux montent. Les systèmes d'agents ne se contentent pas de répondre aux questions : ils prennent des mesures. Parfois, ils prennent des décisions. Certains peuvent déclencher des flux de travail ou interagir avec des systèmes internes avec très peu d’implication humaine. Plus le système est indépendant, plus son impact potentiel est important. Et contrairement à GenAI, vous ne pouvez pas compter sur les « meilleures indications » pour résoudre le problème.
Si un agent IA se comporte mal, les conséquences peuvent être extrêmement rapides. C'est pourquoi les RSSI doivent désormais prendre de l'avance dans cette catégorie. Une fois que l’entreprise commence à s’appuyer sur des systèmes autonomes, il est presque impossible d’essayer d’incorporer des mesures de sécurité par la suite.
Pourquoi les RSSI ont vraiment un poste vacant ici
Si vous travaillez dans la sécurité depuis assez longtemps, vous avez probablement vécu au moins une vague technologique au cours de laquelle l'entreprise a progressé et où l'on a demandé à la sécurité de rattraper son retard. L'adoption du cloud est un exemple récent. Et une fois que le train a quitté la gare, il n’y a plus eu de retour en arrière et encore moins de ralentissement.
L’IA est différente. La plupart des entreprises – même les plus progressistes – sont encore en train de déterminer ce qu’elles attendent de l’IA et la meilleure façon de la mettre en œuvre. En dehors du secteur technologique, de nombreux dirigeants expérimentent sans véritable stratégie. Cela crée une fenêtre permettant aux RSSI de définir leurs attentes à l’avance.
C’est le moment de définir les « règles strictes », de déterminer quelles équipes examineront les demandes d’IA et d’établir une certaine structure autour de la façon dont les décisions sont prises. Les responsables de la sécurité ont aujourd’hui plus d’influence que lors des évolutions technologiques précédentes, et la gouvernance de l’IA est rapidement devenue l’une des responsabilités les plus stratégiques de ce poste.
Intégrité des données : essentielle au risque lié à l'IA
Lorsque les gens parlent de la triade de la CIA, l’« intégrité » a tendance à retenir le moins d’attention. Dans la plupart des organisations, les applications gèrent l’intégrité de manière silencieuse en arrière-plan. Mais l’IA change notre façon de voir les choses.
Si les données alimentant vos systèmes d'IA sont compromises, incomplètes, incorrectes ou manipulées, les décisions basées sur ces données peuvent avoir un impact sur les processus financiers, les chaînes d'approvisionnement, les interactions avec les clients ou même la sécurité physique. Le travail du RSSI consiste désormais à s'assurer que les systèmes d'IA sont basés sur des données fiables, et non plus uniquement sur des données protégées. Ces deux-là ne sont plus les mêmes.
Une approche simple et hiérarchisée de la gouvernance de l’IA
Pour comprendre les différents cas d'utilisation de l'IA, je recommande une approche par niveaux. Cela reflète le nombre d’entreprises qui gèrent déjà le risque de tiers : plus le risque est élevé, plus la surveillance et les contrôles sont appliqués.
Étape 1 : Catégoriser l'utilisation de l'IA
Un programme pratique de gouvernance de l'IA commence par catégoriser chaque cas d'utilisation en fonction de deux indicateurs principaux : le niveau d'autonomie du système et son impact potentiel sur l'entreprise. L'autonomie couvre un spectre allant de l'IA générative réactive à la prise de décision assistée, en passant par les systèmes d'agents humains dans la boucle et, finalement, par les agents d'IA totalement indépendants.
Chaque cas d'utilisation de l'IA doit être évalué en fonction de son impact sur l'entreprise, en catégorisant simplement l'impact comme faible, moyen ou élevé. Les systèmes à faible impact et à faible autonomie peuvent nécessiter seulement une surveillance légère, tandis que les cas d'utilisation à forte autonomie et à fort impact exigent une gouvernance formelle, un examen architectural rigoureux, une surveillance continue et, dans certains cas, une surveillance humaine explicite ou l'ajout d'un coupe-circuit. Cette approche structurée permet aux RSSI de déterminer rapidement quand des contrôles plus stricts sont nécessaires et quand des concepts tels que les principes de confiance zéro doivent être appliqués au sein des systèmes d'IA eux-mêmes.
Étape 2 : Définir les contrôles des enjeux pour toutes les IA
Une fois la classification des risques mise en œuvre, les RSSI doivent s’assurer que les contrôles critiques sont appliqués de manière cohérente dans toutes les mises en œuvre de l’IA. Quelle que soit la sophistication de la technologie, chaque organisation a besoin de politiques d'utilisation acceptables claires et applicables, d'une formation de sensibilisation à la sécurité qui traite des risques spécifiques à l'IA et de contrôles techniques qui empêchent les fuites de données et les comportements indésirables. La surveillance de base des activités anormales de l’IA garantit en outre que même les cas d’utilisation de l’IA générative à faible risque fonctionnent dans des limites sûres et prévisibles.
Étape 3 : Déterminer où aura lieu l’examen de l’IA
Une fois ces fondations établies, les organisations doivent déterminer où se déroulera réellement la gouvernance de l’IA. Le forum approprié dépend de la maturité organisationnelle et des structures existantes. Certaines entreprises peuvent intégrer les examens de l'IA dans un comité d'examen de l'architecture ou un comité de confidentialité ou de sécurité établi ; d’autres pourraient avoir besoin d’un organe de gouvernance de l’IA dédié et interfonctionnel. Quelle que soit la structure choisie, une surveillance efficace de l’IA nécessite la contribution des acteurs de la sécurité, de la confidentialité, des données, des aspects juridiques, des produits et des opérations. La gouvernance ne peut pas être l’affaire d’un seul service : l’impact de l’IA s’étend à l’ensemble de l’entreprise, tout comme sa surveillance.
Étape 4 : Établir des règles inviolables et des contrôles critiques
Enfin, avant qu’un cas d’utilisation de l’IA ne soit approuvé, l’organisation doit articuler ses règles non négociables et ses contrôles critiques. Ce sont les limites que les systèmes d’IA ne devraient jamais franchir, comme la suppression autonome de données ou l’exposition d’informations sensibles. Certains systèmes peuvent nécessiter une surveillance humaine explicite, et tout agent d’IA capable de contourner les mécanismes humains doit inclure un kill switch fiable.
Les principes du moindre privilège d’accès et du zéro confiance devraient également être appliqués au sein des systèmes d’IA, les empêchant d’hériter de plus d’autorité ou de visibilité que prévu. Ces règles doivent être dynamiques et évoluer à mesure que les capacités de l’IA et les besoins des entreprises évoluent.
L’IA n’est plus facultative, mais la bonne gouvernance ne peut pas l’être non plus
Les RSSI n'ont pas besoin de devenir des experts en apprentissage automatique ou de ralentir l'activité. Ce dont ils ont besoin, c’est d’un moyen clair et pratique d’évaluer les risques de l’IA et d’assurer la sécurité des choses à mesure que son adoption se développe. Décomposer l’IA en catégories compréhensibles, la combiner avec un modèle de risque simple et impliquer les bonnes personnes dès le début contribuera grandement à réduire les frais généraux.
L’IA va remodeler tous les recoins de l’entreprise. La question est de savoir qui façonnera l’IA. Pour la première fois depuis longtemps, les RSSI ont la possibilité de fixer les règles, sans se battre pour les faire respecter.
Carpe Diem!
Cet article est publié dans le cadre du réseau de contributeurs experts Foundry.
Voulez-vous nous rejoindre ?
