Forum InCyber 2024 : notre retour d’expérience
Sommaire
Notre retour d’expérience du Forum InCyber 2024
Comme chaque année, Néosoft était présent en tant que partenaire de la 16ème édition du Forum InCyber 2024. Cet événement qui avait lieu du 26 au 28 mars 2024 au Lille Grand Palais avait pour thème « Ready for AI ?« . Ce temps fort incontournable auquel les acteurs de la cybersécurité (experts, éditeurs, fournisseurs de service, chercheurs, formateurs, étudiants, etc.), les commerciaux, les recruteurs et les autres profils qui s’intéressent à ce métier en constante évolution, se donnent rendez-vous chaque année, afin d’échanger sur les enjeux technologiques et stratégiques, de présenter les résultats de leurs dernières recherches, mais aussi pour dénicher de nouvelles opportunités, commerciales ou professionnelles.
Le mode opératoire des attaquants ayant beaucoup évolué avec l’IA, qui ne cesse de progresser, les acteurs de la cybersécurité utilisent cette technologie dans leurs activités de prévention, de détection et de réponse aux incidents de sécurité. Se prémunir des attaques de plus en plus sophistiquées et plus accessibles au grand public avec l’avènement de l’IA, devient primordial et incite les acteurs de la cybersécurité à être proactifs et encore plus réactifs afin de se protéger efficacement.
Des sujets variés et liés à la cybersécurité ont été abordés aux conférences, aux tables rondes, ou aux démonstrations techniques.
Néosoft était exposant au Forum InCyber 2024 pour présenter ses savoir-faire et ses expertises, en participant en tant qu’intervenant à plusieurs prises de paroles. Nos experts ont également présenté le projet des « smarts cities », une démonstration autour des voitures autonomes dans une ville connectée. En simulant des attaques cyber, nos équipes ont démontré comment les solutions de détection mises en place les détectent via des règles implémentées sur un SIEM. Dans cet article, nous reviendrons sur certaines présentations des exposants qui nous ont marqués et qui ont suscité notre intérêt.
Panorama de la cybercriminalité
Ce mini panorama sur la cybercriminalité (présenté par Loic GUEZO vice-président du Clusif et Gérôme BILLOIS) est le fruit d’un groupe de travail d’environ 80 personnes restant à l’écoute de toute l’actualité autour de la cybersécurité. Il permet de suivre et anticiper au mieux les tendances en matière de cybercriminalité.
Cette conférence avait pour but principal la présentation de deux sujets marquants sur l’année 2023 « La géopolitique, extension du domaine de la lutte, la chine est dans la place » et « L’intelligence artificielle une opportunité pour les cyberattaquants ? ».
Le sujet autour de la géopolitique, suivi par le Clusif depuis 7 ans, est en constante évolution. Pour cette année 2023, la grande tendance a été le « HackBack » ou en d’autres termes le « Hacking de représailles » comme nommé par l’Union européenne.
Ce sujet est pour le moment principalement porté par les États-Unis. Il s’agit concrètement de revendiquer le droit de pouvoir attaquer en représailles lorsqu’une attaque a pu avoir lieu contre leurs infrastructures. Le gouvernement des États-Unis est en train de travailler sur un « executive order » donnant des pistes de développement de ce HackBack. Un exemple récent fait état de routeurs sous contrôle d’un groupe d’attaquants chinois que les autorités des États-Unis se sont autorisées à patcher pour limiter les potentiels backdoor et tenter de protéger les infrastructures fonctionnant avec ces routeurs.
Un autre phénomène intéressant a lieu en Australie où le sujet est porté, non pas par le gouvernement, mais par la population et plus précisément le tissu économique australien. En effet, ils ont demandé au gouvernement australien de prendre des mesures face aux intrusions informatiques massives en autorisant l’utilisation du HackBack. Une des mesures prises par le gouvernement australien est l’interdiction des caméras de vidéosurveillance fabriquées en chine. Elles sont globalement toutes basées sur le même firmware. La gestion des identifiants pour l’administration de ces caméras laissant à désirer, cela simplifie la prise en mains à distance de ces caméras. Il est alors fort probable qu’elles puissent être utilisées par un acteur chinois pour capter des images sur des sites sensibles australiens. De notre côté l’Union européenne commence à s’intéresser au sujet, sans être encore très active. A date, un rapport a été publié pour introduire le terme d’hacking de représailles. Le sujet est ouvert mais il nous reste à voir ce qui sera proposé dans les mois et années à venir.
Le second sujet sur les nouvelles opportunités apportées par l’intelligence artificielle dans le monde de la cybercriminalité a été traité en profondeur par le groupe de travail du Clusif. L’intelligence artificielle a un fonctionnement différent d’un service informatique classique. En effet, l’intelligence artificielle est un système différent, mais toujours attaquable. Ci-dessous la preuve avec quelques exemples :
- Une histoire amusante a eu lieu sur le site web de Chevrolet. Chevrolet avait décidé de mettre en place un chatbot afin de guider ses clients dans le choix d’une voiture de leur gamme, mais certains utilisateurs ont pu jouer avec ce chatbot et aller jusqu’à lui faire dire que Tesla proposait de meilleures voitures et qu’elles en valaient plus le coup qu’une Chevrolet ! Ou encore, aller plus loin en lui demandant de prendre un rendez-vous pour que vous puissiez essayer une Tesla ! Heureusement Chevrolet avait pensé à afficher un petit message d’avertissement en disant que toutes les informations proposées par le chatbot doivent être confirmées par un revendeur Chevrolet, nous pourrions alors nous demander à quoi sert ce chatbot s’il n’est pas fiable ?
- Dans un autre registre, un peu plus inquiétant des utilisateurs ont découvert un bug sur Chatgpt 3.5. L’exploitation de ce bug consistait à demander à Chatgpt d’écrire un mot en boucle et de façon ininterrompue. A un moment, Chatgpt rencontrait quelques erreurs et commençait alors à écrire des données randoms de sa base de données (des noms et prénoms, des numéros de téléphone…)
Ces informations n’avaient évidemment pas pour but d’être exposées hors de la base de données du chatbot. - Une autre famille d’attaque consiste à utiliser l’intelligence artificielle pour déchiffre des captchas, si vous tentez de demander à une IA de déchiffre un captcha, elle devrait vous signaler qu’elle ne peut pas le faire car ça lui est interdit. Une technique a alors été trouvée pour contourner cette interdiction. Cette technique consiste à prendre une capture d’écran du captcha, le coller sur l’image d’une amulette, montrer la photo à Chatgpt en lui demandant de nous aider à déchiffrer le message laissé par notre défunte grand-mère, visiblement Chatgpt pris d’empathie, serait alors plus à même de vous aider !
- Un autre exemple de manipulation de l’IA avec notre défunte grand-mère consistait à lui demander de nous lire des clés de licence Windows 10 comme le faisait notre grand-mère lorsque nous étions petits. Ces quelques exemples démontrent que l’empathie des IA semble être un bon moyen de contourner les règles et ainsi réussir à faire des choses normalement interdites.
- Une attaque plus inquiétante consistait à modifier ses données dans les moteurs de la supplychain. Par exemple, le nom du 1er homme à avoir marché sur la lune était modifié par Youri Gagarine. Cette démonstration remet en cause la fiabilité des informations que peuvent nous fournir les IA.
L’IA a aussi été utilisé par des cybercriminels avec par exemple WORM GPT ou encore fraude GPT. Ce sont des IA sans « barrière » pour limiter l’utilisation par exemple lors de demande de rédaction de mails de phishing convaincants.
Les IA ont permis de faire exploser les tentatives de phising dans des pays ou ces attaques étaient très peu développés, car elles utilisent des langues qui ne sont pas parlés par la majorité des cybercriminels. L’IA permet également d’améliorer grandement la qualité des deepfake. L’exemple d’un avocat américain qui a reçu un appel de son fils qui lui demandait de payer une caution à la suite d’un accident avec sa voiture. Ce dernier méfiant, n’est pas tombé dans le piège mais il s’en est fallu de peu.
L’Armageddon cyber n’a pas encore eu lieu. Les choses sont de plus en plus difficiles dans le cyber espace mais il faut continuer. Le cyber a fait la preuve de ses capacités non pas en attaque ou c’était déjà fait, mais également en défense !
Cherche IA résiliente pour systèmes critiques
L’IA est souvent perçue comme un atout pour la résilience globale grâce à l’automatisation de certaines tâches. Cependant, lorsqu’elle est intégrée à des systèmes critiques, elle peut devenir une source de vulnérabilité. Comment garantir que ces systèmes ne seront pas compromis par des défaillances de l’IA ? Quelles sont les meilleures pratiques pour développer des IA résilientes, capables de s’adapter aux situations imprévues et de fonctionner correctement même en cas d’incidents critiques ? Comment renforcer la robustesse, la fiabilité et la transparence des algorithmes d’IA afin de répondre aux exigences de résilience dans des domaines stratégiques tels que la santé, la sécurité et les infrastructures essentielles ?
- Systèmes critiques
Après un rapide tour de table, la parole est passée aux intervenants pour définir ce que sont les systèmes critiques. Chez la SNCF, ce sont les systèmes qui touchent de près ou de loin, d’abord à la sécurité des clients (i.e. des voyageurs), et bien évidemment à la sécurité des collaborateurs de l’entreprise. Il est très important de tout sécuriser et le sujet de l’IA dans ce domaine-là est forcément utile car l’intégralité des systèmes doivent fonctionner parfaitement sans avoir le droit à l’erreur.
Pour Oracle, on pense naturellement aux systèmes qui nécessitent une haute disponibilité, qui permettent d’assurer une continuité des opérations (vision technique et architecturale de la criticité), mais un système critique, c’est aussi le cœur de métier de l’entreprise qui pourrait être extrêmement critique. L’organisation peut déjà souffrir de l’attaque, voire périr, si par exemple, elle perdait les données ou se les faisait voler, ou si ses données ne sont pas accessibles pendant un certain temps ou sont transformées.
Pour Salesforce, cela pourrait être un site d’e-commerce qui tomberait et le fait qu’il ne soit pas résilient, ça causerait une grosse perte de chiffre d’affaires. Ces systèmes doivent donc être résilients et hautement disponibles. Ils doivent aussi garder l’intégrité et surtout la confidentialité de la donnée et l’IA là-dedans, joue un rôle important.
Pour EazyML, la mission des systèmes critiques doit être responsable de leur performance. Dans les systèmes réels, il donne l’exemple de l’énergie nucléaire et des transports, ces systèmes doivent avoir la possibilité de répondre en un temps très limité avec les systèmes de l’IA, c’est donc une autre dimension pour les systèmes résilients. Un deuxième point important, c’est l’efficacité en termes de couts, il faudrait avoir le budget suffisant, mais raisonnable, pour pouvoir concevoir, produire et livrer avec tous ces niveaux de performance et de sécurité.
- Défaillance de l’IA
Les intervenants sont revenus sur les éventuelles défaillances que l’IA pourrait présenter. Ils rappellent que plusieurs IA existent et qu’ils n’ont pas commencé à travailler avec l’IA que depuis l’apparition de ChatGPT, mais depuis de nombreuses années. L’IA, quand elle est utilisée dans des systèmes critiques, est forcément testée. Les résultats sont forcément vérifiés et les experts cherchent toujours à comprendre comment l’IA les a sortis. L’enjeu de l’IA est donc d’avoir l’explication et d’éviter les boites noires.
Pour illustrer cela, le CIO de la SNCF explique, que les défaillances de l’IA peuvent être liées à l’utilisation d’une IA qui hallucine dans les systèmes critiques.
Avec ChatGPT par exemple, les utilisateurs sont confrontés à un dilemme, parce que finalement c’est une boite noire. Même si le résultat est le plus probable, l’IA peut, à un moment donné, halluciner. Il parle de deux manières pour traiter ce type de sujet :
- Premièrement, s’assurer en amont que le corpus de connaissance ou de données est maîtrisé pour que finalement nous ayons une certaine homogénéité dans le résultat ;
- Deuxièmement, vérifier que le résultat répond à des règles en se basant sur les méthodes, qui sont d’ailleurs en train de beaucoup se développer, qu’on appelle « les moteurs de règles » ou « les moteurs d’inférence » permettant de vérifier la fiabilité et le niveau de précision du résultat.
Le Product Manager d’Oracle indique que plusieurs moments et plusieurs composants de l’IA ont été identifiés, pouvant être défaillants ou présenter une brèche suffisante dans laquelle des personnes mal intentionnées pourraient s’engouffrer.
L’IA générative doit respecter un certain temps et doit suivre des étapes, comme le choix des données, l’entrainement du moteur ou des modèles de formation, la spécialisation ou le « Fine Tuning » de ces modèles et à la fin l’exploitation, pour pouvoir ensuite peut-être l’embarquer dans un système autonome. À chacune de ces étapes, plusieurs problématiques peuvent être rencontrées.
- Des problématiques de gouvernance. Qui choisit les données ? Pourquoi ? Dans quel but ? Pourquoi cette donnée plutôt qu’une autre ? etc.
- Y a-t-il des projets politiques qui peuvent en faire une défaillance (point de vue loin de la technologie pure) ?
- Le modèle est-il suffisamment entrainé sur de bonnes machines et pendant longtemps (le temps nécessaire) ? Qui vérifie si les systèmes concernés sont supervisés ? Qui valide l’efficacité des résultats ?
- Une fois le modèle est créé avec le « fine-tuning » nécessaire, qui assurera et garantira que les données qui servent à « fine tuner » resteront confidentielles (données non diffusées à un tiers, secrets industriels non dévoilés, etc.) ?
À l’exploitation, un exemple a été donné sur un système embarqué dans une voiture autonome. Si un attaquant arrive à s’insérer en amont dans une de ces phases ou insère de fausses données (ou biaisées), la voiture pourrait se mettre à faire autre chose que ce pour quoi elle est destinée à faire. En projetant cet exemple-là sur des métiers comme la comptabilité et la fraude, la santé, les médicaments, la recherche de molécules, etc., nous nous rendons compte que l’IA peut présenter d’énormes atouts. Il faut donc, être très rigoureux sur chacune des étapes pour s’assurer de la transparence, mais aussi de la rigueur à chaque phase.
Pour l’Architecte Sécurité de Salesforce, la transparence des résultats et des jeux de données sont importants, mais il est crucial de vérifier régulièrement que l’IA ne dérape pas, que le modèle ne change pas et que les données restent consistantes et sans biais. Le rôle de l’humain est primordial. Il doit toujours rester au centre de la décision finale. Ce qui est moins vrai pour l’IA prédictive, mais complètement d’actualité pour l’IA générative, pour laquelle l’humain reste « in fine » celui qui va contrôler, vérifier et valider les résultats obtenus. L’enjeu le plus grand aujourd’hui est d’appliquer tous ces contrôles cités à l’ensemble des IA et des systèmes.
Le CEO d’EazyML a commencé par la donnée. Comme l’IA est capable de trouver des modèles au sein des données, la qualité de celles-ci est cruciale. De mauvaises données en entrée ressortiront de mauvais résultats. Pour détecter les biais que peuvent posséder les données et vérifier si elles ne sont pas corrompues, fragmentées, silotées, etc., il est important de mettre en place une analyse.
Si par exemple, les données ne sont pas complètes, chose qui arrive souvent, des caractéristiques influentes qui sont importantes pour étudier les objectifs que l’on veut prédire peuvent peut-être manquer. Le biais n’est donc finalement pas seulement ce qui est possédé, mais aussi ce qui n’existe pas, c’est-à-dire les données manquantes. Beaucoup de temps est nécessaire pour comprendre pourquoi cela ne fonctionne pas, en se posant des questions qui pourraient remettre en cause le modèle construit. Il faudrait donc revenir au point de départ et se poser la question de ce qu’il est possible d’améliorer dans les données. Le fait de continuer à travailler en cycle comme ça, prend beaucoup de temps et l’IA devient une tâche pénible.
Pour prévoir cela et vérifier si les données ne seraient pas biaisées, il faudrait une baguette magique qui permettrait en un clin d’œil d’identifier les biais, et c’est cela le modèle à construire.
Concernant la question de la transparence, il y a des modèles productifs où l’IA est explicable. Un modèle doit parler aux experts afin qu’ils puissent lui faire confiance. Un autre objet dans le « Machine Learning« , concerne les secrets existant dans ce modèle qui ne sont pas connus à cause du besoin de transparence de données, mais aussi l’intelligence augmentée, tant que tout fonctionne.
En résolvant toutes ces problématiques, le système de l’IA est considéré comme parfait, mais il est toujours impossible d’envisager toutes les possibilités qui pourraient dévier le système, et il y a toujours un facteur problématique qui nécessiterait une intervention. L’enjeu est de savoir comment faire finalement pour que le système d’IA s’adapte lorsqu’il fait face à une telle situation. Si tout ceci n’est pas mis en place, l’IA pourrait plus nuire qu’aider.
- Renforcement de la robustesse, de la fiabilité et de la transparence des algorithmes d’IA
Après l’exposition des différentes situations où l’IA pouvait présenter des défaillances, il était temps de discuter des moyens qui permettraient de renforcer la robustesse, la fiabilité et la transparence des algorithmes d’IA, ainsi que les bonnes pratiques que l’on peut préconiser, pour répondre à ces exigences de résilience dans des domaines stratégiques et critiques.
L’intervenant d’Oracle indique que pour prémunir ces défaillances, il y a des projets Open Source qui tentent de montrer comment les briques sont créées, comment l’entrainement est réalisé et avec quelles données.
Cela nécessite des compétences que les entreprises n’ont pas forcément aujourd’hui. Aussi, la transparence tombe sous le sens quand les techniciens essayent de faire comprendre aux autres, les opérations qu’ils sont en train de réaliser. Il va donc falloir passer par des normes et des discussions interdomaines.
Si nous nous projetons aujourd’hui, nous avons tous un esprit critique, voire une méfiance par rapport à une décision que pourrait prendre l’IA dans le domaine médical par exemple, mais si dans 10 ou 15 ans, les personnes qui auront été entrainées avec ces IA ou qui auront peut-être eu un professeur de l’IA, ont une telle croyance et ont un tel respect finalement des résultats qui ont été donnés, il va falloir être sacrément armé techniquement, avec des compétences métier avérées pour aller critiquer le résultat d’IA.
Si nous n’avons donc pas des systèmes qui sont capables de nous expliquer pourquoi telle ou telle décision a été prise, nous ne pourrons pas comprendre comment le composant fonctionne réellement, et c’est cela le travail que les consultants devront accomplir dans les prochaines années.
Pour le CIO de la SNCF, le sujet concerne, en fin de compte, l’explicabilité et la compréhension de l’IA, donc son fonctionnement et ses résultats. C’est essentiellement des algorithmes mathématiques qui sont utilisés, mais cela dépend du type de l’IA. Contrairement à l’IA prédictive, quand il s’agit de l’IA générative, les résultats des algorithmes utilisés ne sont pas compréhensibles et ne pourront jamais être expliqués. Ce que l’on peut maîtriser est le corpus de connaissances qui a servi à former l’IA et le fait de régler un certain nombre de potentiomètres, ou le degré d’hallucination. C’est-à-dire que si l’on met beaucoup d’hallucinations, on recherchera à ce que l’IA soit imaginative. Par contre, si on enlève de l’imagination, elle convergera et risquera de retourner toujours une même réponse.
C’est pour cela qu’il faut derrière les IA avoir des mécanismes qui vérifient d’abord, que l’IA ne dérive pas, donc questionner régulièrement, et ensuite y mettre des règles de déontologie et de sureté.
Prenons l’exemple de la planification du parcours des trains, ce qui est appelé « des sillons ». La SNCF n’avait pas attendu l’IA pour planifier les sillons. Il y a chez la SNCF des spécialistes, des humains qui connaissent parfaitement tout le réseau et qui savent que s’ils déplacent un train, ça pourra impacter un autre. Ils travaillent sur de grosses tranches et font ça toute la journée. La SNCF se pose la question finalement d’utiliser l’IA quand ces spécialistes vont partir à la retraite, mais ils ne veulent évidemment pas que les trains se rencontrent et se rentrent dedans. Leur objectif est de se servir de l’IA et d’avoir quand même l’imagination humaine tout en ayant des résultats surs à la fin. Les règles abordées précédemment doivent être appliquées. Les IA peuvent très bien avoir une forte imagination, et si ça sort un résultat qui n’est pas bon, la boucle est refaite pour avoir à la fin des IA avec des résultats fiables et qui en plus, ont une imagination pour trouver des cas qui n’avaient pas été trouvés par l’humain jusqu’à présent.
Prenant également l’exemple du jeu d’échecs. Les gens découvrent que la machine dépasse l’humain, en sortant des stratégies que depuis cinq mille ans, l’humain n’a pas trouvées. Ceci pour dire qu’il ne faut pas brider l’IA. Il faut lui laisser le champ des possibles, mais par contre, il faut bien la contrôler.
Même avis pour l’Architecte Sécurité de Salesforce concernant le contrôle et le besoin de comprendre comment fonctionne l’IA en ayant des règles en entrée permettant d’éviter l’hallucination et pour la générative IA des problèmes d’éthique. Il indique aussi qu’il faut avoir des mécanismes pour analyser ce qui est donné en entrée et ce qui est retourné en sortie. Il faut aussi que l’humain puisse adapter ce qu’il y a en entrée, et/ou prendre des décisions sur ce qu’il ne faut pas utiliser, ce qui est acceptable en l’état, ou qui s’applique avec un certain ajustement.
La philosophie reste la même concernant le moteur de règle, que ce soit sur les systèmes industriels comme à la SNCF, ou des systèmes plus transactionnels ou métier. Parce qu’il faut s’assurer que les données d’entrée, qu’elles soient prédictives d’ailleurs ou génératives, sont comprises, maîtrisées et sécurisées. Il faut également s’assurer en sortie, de la capacité de ces outils à pouvoir faire des audits à postériori, puisqu’on ne peut pas le faire en temps réel, du moins sur les systèmes transactionnels, comme ceux fournis par Salesforce, analyser les données et les réponses et puis prendre des décisions qui s’imposent sur l’utilisation, la continuité de l’utilisation ou des changements qu’il faut faire sur les comptes en entrée ou dans les algorithmes, que ce soit sur du « Machine Learning » ou du productif.
Le CEO d’EazyML ajoute qu’il est possible d’être transparent, mais pas efficace. Il existe une faible frontière entre la transparence et l’action. Le défi est de donner la possibilité à cette transparence de passer à l’action au lieu d’avoir quelque chose qui est là juste pour information. L’enjeu est qu’elle permette d’apprendre du système et savoir comment l’améliorer.
Le deuxième point important concerne les règles. Il faudrait un système qui nous permettrait de savoir si les règles sont à jour par exemple. Avec le temps qui passe, les conditions qui évoluent, et aussi les nouvelles tendances à ne pas manquer, certains mécanismes peuvent être trop vieux et il faudrait peut-être les remplacer.
Pour surmonter ces défis et avoir des systèmes qui permettraient de répondre à des cas cruciaux et critiques, l’IA doit donner des réponses à certaines questions comme l’identification des règles et le renforcement de leurs seuils, l’obtention des données récentes et des informations qui indiquent les secrets de comparaison avec les anciennes données, afin de pouvoir les actualiser par exemple, etc.
- Compétences, expertises et formation
L’animateur aborde ensuite la question des compétences en indiquant que plusieurs étapes sont aperçues sur lesquelles il faudrait intervenir, mais les entreprises ont-elles, au sein de leur DSI, les compétences nécessaires pour qu’elles soient vigilantes à l’ensemble de ces étapes ?
Pour Oracle, cela va dépendre principalement de la maturité et de la taille du SI, ainsi que la stratégie de l’entreprise. Il existe aujourd’hui des entreprises qui ont très clairement embrayé le pas de l’IA, d’autres qui y sont déjà depuis très très longtemps et d’autres qui attendent et cherchent ce qu’elles vont pouvoir extraire de tout cela comme use-cases.
Dans le monde audiovisuel, c’est une véritable révolution. Beaucoup de questions se posent sur le juridique, est-ce que la preuve de la vidéo et la preuve du son ou de la voix va-t-elle continuer ? Avec beaucoup d’aspects qui partent dans tous les sens, il va falloir mettre un peu plus d’ordre dans tout cela. Les entreprises qui en sont conscientes sont en train de s’armer, i.e. de s’équiper, de former des gens et d’embaucher. D’autres qui sont un peu sur le frein se demandent si ce n’est pas une mode et si ça ne va pas passer.
Nous ne savons pas à quoi ressemblera le monde dans 10 ans. En revanche, selon votre degré de maturité, vous aurez plus ou moins de difficultés à appréhender ce nouveau monde. La bonne formation qui expliquera comment faire va devenir importante et capitale.
Ensuite, il faut une bonne compréhension des enjeux que l’IA va pouvoir, soit régler, soit causer, parce que de nouveaux problèmes vont arriver. Vous pouvez entrainer tout le personnel à faire attention au phishing, mais aujourd’hui, les IA deviennent très intelligentes et sont capables de suivre un fil de discussion et de vous y répondre. Ce n’est donc plus un mail « one shot » qui arrive de la part de votre collègue ou patron, c’est désormais un fil de discussion où l’IA s’est insérée puis envoie par exemple, un message à tout le monde en disant par exemple « Pour rebondir sur ce que nous avons dit à la dernière réunion, je vous envoie le fichier PDF qu’il faut absolument que vous amendiez », et les gens vont cliquer dessus.
On bascule aujourd’hui, dans quelque chose de nettement plus technique où il va vraiment falloir avoir de véritables compétences et surtout de bons réflexes et cela ne se décrète pas. Il faut des taskforces au sein des entreprises pour éveiller à ce type de problématiques.
Pour Salesforce, c’est l’awarness qui va être clé ainsi que la compréhension et l’encadrement des enjeux de sécurité et d’éthique. Il faudrait analyser les retours des IA en prenant en compte les différents potentiomètres sur l’hallucination, les biais, les toxicités, le niveau d’éthique des IA, dans le but de comprendre comment elles réagissent, car les modèles mathématiques utilisés derrière ne sont compréhensibles que par quelques personnes.
Aussi, les départements juridiques des clients sont beaucoup plus frileux que les autres départements (marketing par exemple). Ils sont très inquiets sur la finalité des données et des résultats des IA, le fait de heurter la sensibilité des personnes et de mettre à défaut des informations confidentielles de l’entreprise.
Ce travail d’analyse et de compréhension va passer par l’awarness et la formation continue des équipes, parce que les techniques vont continuer à se renforcer.
Malgré l’évolution rapide de ces IA, nous sommes certainement qu’au tout début d’une sacrée révolution.
Le CIO de la SNCF revient sur la question de la formation et des expertises en donnant l’exemple de ChatGPT, utilisé par 100 millions de personnes au bout de 3 mois, sans qu’elles soient formées.
Pareil pour le personnel de l’entreprise, le fait que ces outils soient aussi spectaculaires, c’est une manière indirecte de former tout le monde. Le vrai sujet, c’est comment éviter de sortir des données sensibles de l’entreprise vers des acteurs du marché (OpenAI par exemple). Pour cela, la toute première action qui a été réalisée par SNCF pour les utilisateurs « grand public de l’entreprise », a été de créer un environnement privé qui utilise de l’OpenAI. Ensuite, ils réalisent de la formation basique sur les bonnes pratiques du prompt et ils s’aperçoivent que les gens s’en emparent tout de suite et sans forcément beaucoup de formation.
Concernant les sujets de spécialistes sur les IA et en particulier les IA génératives, le besoin de la SNCF en tant qu’industriel, c’est une IA spécialisée sur la maintenance d’un TGV par exemple. Ils veulent qu’elle ait absorbé l’ensemble de la documentation de la maintenance du TGV, et quand une question lui est posée, elle sort des réponses certifiées autour de la maintenance d’un matériel particulier et pas celui d’une autre machine. Un travail de « data cleaning », de préparation de la donnée et de la formation d’une IA spécialisée pour un sujet particulier a été fait en amont. Des spécialistes de la SNCF travaillent sur les LLM (Large Language Model) depuis plusieurs d’années à titre de recherche.
Pour le CEO d’EazyML, le thème commun qui revient souvent est autour des données et cela pose un vrai défi pour l’IA.
Même si le système est très fiable, fonctionne parfaitement, transparent, et respecte toutes les métriques de mesure ; les données d’entrainement jouent un grand rôle, car elles peuvent engendrer le déraillement du modèle.
Si l’environnement dans lequel le système IA a été formé n’est plus pertinent ou obsolète, le système de l’IA devrait être conçu pour remonter par exemple, une alerte sur le fait que les données d’entrée sont différentes des données avec lesquelles l’IA a été formée ou pour indiquer le fait qu’elle va peut-être prendre de mauvaises décisions.
Nous avons vraiment besoin d’un écosystème autour de tout ce dont on a parlé comme la transparence, la responsabilisation, le fait qu’on puisse empêcher le déraillement, la remédiation, la vérification que tout fonctionne très bien, ou qu’il n’y ait pas de failles ou d’attaques, etc. Aussi, le fait d’étudier le problème sans proposer de solutions, c’est problématique. Le système IA doit être intelligent pour trouver des solutions à tout ce qui tourne autour de cet écosystème.
- Pilotage des questions liées à l’IA
La fiabilité de l’IA notamment pour les systèmes critique étant un domaine transdisciplinaire, les intervenants sont invités à répondre à la dernière question. Qui doit prendre en charge et piloter au sein de l’entreprise, l’intégralité de toutes ces questions liées à l’IA ?
Le CIO de la SNCF ne croit pas à une organisation centrale qui s’occupe de l’IA pour l’ensemble de l’entreprise. L’IA étant quasiment présente dans tous les métiers, que ce soit de l’industriel, du RH, de la finance, des avocats, etc., c’est les spécialistes du métier qui doivent se l’approprier. Le SI met à disposition des plateformes pour l’IA, mais en réalité c’est le métier qui définit, avec l’accompagnement de la DSI, ce qu’il est possible de faire avec une IA, ce qu’il ne faut pas faire et ce qu’il est possible de faire avec un certain nombre de risques. Cette interaction est importante, mais avant tout c’est le métier qui doit être imaginatif quant à l’utilisation de l’IA dans ses propres usages.
Pareil côté Salesforce, ils constatent que chez les différents clients, ce n’est jamais un seul département qui gère l’intégralité de la problématique liée à l’IA. La DSI et les équipes de sécurité en font partie puisqu’il faut mettre à disposition des systèmes sécurisés et garantir la provenance et l’intégrité des données, mais en fin de compte, c’est les équipes métier (marketing, ventes, service client, etc.) qui vont l’utiliser, et à chaque fois avec des spécificités différentes.
C’est l’ensemble de l’entreprise qui doit prendre part et il va y avoir les départements juridiques pour les aspects de lois et contractuels, les équipes de sécurité et le département informatique pour la mise à disposition des systèmes et l’intégration avec le reste des systèmes de l’entreprise (à la documentation générale de l’entreprise, à des systèmes externes comme Oracle, etc.). Et puis, mettre à disposition des utilisateurs au plus près de leurs applications fonctionnelles ou métier (voire les intégrer dans leurs applications) ces capacités d’IA.
Chez Oracle, ils n’envisagent également pas qu’il y ait une entité qui contrôle et s’occupe de l’IA puisque tout le monde l’utilise. C’est plutôt des cas d’usage qui vont déterminer à quelle IA faire attention et à quelle IA ne même pas prêter attention. C’est-à-dire, concernant l’IA prédictive, c’est les stratèges de l’entreprise qui devront faire attention aux décisions qu’elle préconisera. Pour l’IA générative, c’est toutes les personnes qui créeront du code par exemple.
Aujourd’hui le juridique est très clairement au-devant de la scène parce qu’il y a de véritables problématiques de confidentialité et de Copyright. Par exemple, à qui appartient une image qui a été générée par ChatGPT ? À qui va appartenir demain tel ou tel schéma d’une architecture ou d’un objet conçu ?
Avec l’IA, nous basculons dans autre chose. Elle crée une nouvelle branche qu’il va falloir traiter de toute façon, c’est sûr et ça sera peut-être plusieurs personnes au sein d’une entreprise sur un même sujet.
De la haute couture au prêt-à-porter : quelle cybersécurité pour les PME ?
« Il faut passer de la haute couture au prêt-à-porter » , déclarait Vincent Strubel, le directeur général de l’ANSSI en ouverture du Forum InCyber 2023.
La démocratisation de la cybersécurité, en particulier auprès des PME, est un enjeu crucial, car elles sont souvent vulnérables aux attaques malveillantes en raison de ressources limitées et d’un manque de compétences spécialisées.
L’intelligence artificielle peut jouer un rôle essentiel pour répondre à ce besoin en offrant une solution abordable pour renforcer la sécurité des PME en automatisant certaines tâches et en comblant le manque de compétences en cybersécurité.
Quelles fonctionnalités spécifiques peut-elle apporter pour protéger efficacement les PME contre les menaces en ligne ? Quelles solutions concrètes peuvent être mises en place, par exemple, pour lutter contre le phishing en sécurisant les messageries ? Peut-on envisager de créer un «RSSI virtuel» à base d’IA pour les PME, permettant une gestion automatisée de leur sécurité informatique ?
Lors de ce salon Incyber 2023 j’ai eu l’occasion d’assister à une table ronde organisée autour d’un sujet qui mérite débat et amène beaucoup de réflexion et de questionnement. En effet, quelle approche devons-nous avoir quant à l’implémentation de la cybersécurité au sein des PME afin de couvrir les risques grandissant auxquels ils font face tout en prenant en compte les contraintes qui leur sont propres notamment en termes de ressource.
- Le prêt à porter fait référence à des solutions déjà existantes sur le marché, prête à l’emploi dite ‘sur étagère ». C’est une approche avec une configuration standard et très peu paramétrable en conséquent nécessitant peu de connaissance et d’expertise. En revanche cela couvre les menaces sur des applications standards. Une documentation de base est livrée avec la solution ce qui permet une certaine autonomie dans son exploitation et d’industrialisé la solution. En conséquent, cette approche est moins chère.
- La haute couture fait référence à une approche plus personnalisé et à des solutions dites sur mesure. C’est une approche de la cybersécurité nécessitant une configuration spécifique qui est adapté à un environnement et/ou un besoin bien spécifique. Les solutions implémentées sont généralement non reproductibles et nécessite des experts pour la gestion du MCO/MCS. Cette approche sur mesure demande des ressources importantes quelles soit humaine ou financière.
Les questions posées aux intervenants afin de guider l’échange étaient les suivantes :
- Quelle approche de la cybersécurité pour les PME : de la haute couture ou du prêt à porter ? Cela fait référence aux déclarations du directeur de l’ANSSI Vincent Strubel qui disait qu’ : « Il faut passer de la haute couture au prêt-à-porter », « la démocratisation de la cybersécurité en particulier auprès des PME est un enjeu crucial car. Elles sont souvent vulnérables aux attaques malveillantes en raison de ressources limitées et d’un manque de compétence spécialisé »
- La sensibilisation
« L’humain est le maillon faible quelle modalité mettre en place pour éviter des conséquences plus ou moins funestes sur son travail et son organisation »
Luména DULUC avance que ce n’est pas l’humain le maillon faible mais c’est la sensibilisation et la manière dont elle est faire est un maillon faible finalement. Aujourd’hui, la sensibilisation se résume assez souvent à une injonction de la hiérarchie que le salarié se doit d’exécuter. Cette approche n’est pas forcément efficace car elle entre souvent en conflit avec les besoins métier. On a là un désalignement entre les risques, l’implémentation de la cybersécurité et le métier. Des exemples concrets :
- On demande aux salariés de ne pas ouvrir les fichiers PDF en pièce jointe, comment faire si je suis recruteur et que je reçois les candidatures (cv et lettre de motivation) par mail ? Comment faire si je travaille à la comptabilité et je reçois les factures par mail ?
- On lance une campagne de phishing par mail et le résultat de la campagne est bonne. Cependant tout un service de l’entreprise n’utilise pas ses mails car ils n’en ont pas besoin pour leur métier. Quelle est la véracité de cette campagne ? Pour autant tout un service n’est pas sensibilisé.
Personnellement, je pense que ce n’est pas le salarié le maillon faible mais son humanité et c’est ce que l’attaquant va chercher à exploiter comme faille pour arriver à sa cible. On n’est pas vulnérable, on le devient pour diverses raisons :
- Une mauvaise nuit car l’enfant n’a pas dormi
- Une forte charge de travail
- Un décès dans la famille
- Une période particulière : JO, Noël, fêtes des mères, etc…
Aujourd’hui si on souhaite sensibiliser de manière efficace, il faut commencer par expliquer en quoi le salarié est une surface d’attaque et quels sont les risques qui en découlent si l’attaquant exploite leur « humanité ». On parle bien évidemment d’ingénierie sociale. La sensibilisation doit être adapté au métier et surtout couvrir les risques qui pèsent sur le métier sinon c’est une perte de temps. Il faut se poser une question la question du bon format de transmission du savoir.
Laurent PETIT pense que mettre en avant les risques sur l’entreprise lors d’une sensibilisation est inutiles car en PME majoritairement les salariés ne sont pas attachés à leur entreprise. Le bon format serait que la sensibilisation touche leur vie privée. En mettant en avant des exemples concrets d’attaque dans la vie personnelle, les salariés vont prendre conscience de l’impact numérique dans la vie de tous les jours et notamment dans le milieu professionnel.
Sébastien VIOU ajoute le fait que l’informatique a été introduit dans la sphère professionnel pour simplifier la vie des collaborateurs. L’humain est là pour produire et directement ou indirectement contribuer au chiffre d’affaires de l’entreprise. Ce n’est pas le maillon faible mais un actif de l’entreprise. Il propose de voir le problème autrement, l’actif a bien évidemment des vulnérabilités et c’est à nous professionnels de la cybersécurité de proposer des solutions afin de permettre aux collaborateurs d’exercer leur métier dans un environnement sûr.
De son point de vue, le maillon faible n’est pas l’humain mais la qualité et la non-implémentation des mesures de sécurité afin de couvrir les risques. Par exemple : on va attendre d’une infirmière qu’elle sache faire une prise de sang correctement et qu’elle dispense le bon traitement indiqué par le médecin. Ce n’est pas elle d’être experte en informatique et de savoir reconnaitre un mail de phishing. C’est à l’outil qu’elle utilise d’être sécurisé.
Je suis partiellement en phase avec cette intervention. En analyse de risque, une fois que l’on a identifié les événements redoutés qui pèsent sur nos valeurs métier et évalué leur gravité, nous allons chercher à connaitre les vulnérabilités de notre système, plus particulièrement les bien supports de notre système. Le but du jeu étant d’essayer de mettre en place des contremesures de telle sorte à traiter la vulnérabilité et par ricochet réduire la vraisemblance de la réalisation d’un évènement redouté avec une gravité élevée.
Comme M. VIOU la fait remarquer, le salarié est un actif donc un bien support. On peut donc parfaitement mettre en place des mesures les concernant à savoir de la sensibilisation. Se contenter d’avoir uniquement un panel de contremesure sur les bien support dit « technique » (matériel informatique) est pour moi une erreur et va à l’encontre de ce que l’on appelle la défense en profondeur.
Lorsque l’on parle d’une attaque contre un salarié, M. PETIT ajoute que c’est une « confrontation entre le cerveau de l’attaquant et celui d’un utilisateur ». Bien que l’infirmière soit là principalement pour faire son métier, il faut tout de même qu’elle est un minimum de savoir afin de pouvoir détecter un certain nombre de chose.
Conclusion : La démarche de sensibilisation est nécessaire et doit être implémenter au même titre que toutes les autres mesures issues d’une analyse de risque. En revanche cette sensibilisation doit être réfléchie et bien préparée que ça soit sur le fond et la forme.
- Le fond doit correspondre aux risques révéler lors de l’analyse de risque et être adapter au métier de l’entreprise
- La forme doit permettre de capter l’attention du salarié et faire en sorte que le message soit compris et retenu.
On se doit d’être pragmatique.
- Haute couture ou prêt à porter ?
Question : Est-ce que le pragmatisme ne serait pas justement la haute couture à contrario du prêt à porter qui industrialise un modèle figé, répété et donc exposé ?
L’avantage d’une solution sur étagère et donc répétable, c’est que l’on a une garantie de fiabilité et de robustesse et en même temps cela ne veut pas dire que la solution ne saura pas s’adapter à l’évolution de la menace. Prenons un exemple :
- Un outil de détection de vulnérabilité sur l’architecture qui possède un moteur de détection standard. Pour autant on peut alimenter sa base avec des données en continu et à jours
On a donc une solution standard dans son implémentation cependant on peut la faire évoluer grâce à un paramétrage adapté. D’autant plus que ce genre de solution sera bon marché et à la portée des PME. On peut donc dire que les solutions de cybersécurité « prêt à porter » feront l’affaire dans la majorité des cas des PME. Les solutions « haute couture » resteront nécessaire pour des cas bien spécifiques : Un applicatif développé sur mesure pour un besoin métier bien particulier. Les solutions sur étagère ne conviendront peut-être pas pour sécuriser ce genre.
Avant de se lancer dans l’achat de solution ou la mise en place de mesure, il faut être certain que l’investissement sera efficace et se poser la bonne question. Quels sont mes risques cyber ? Sinon on risque de dépenser du budget dans des solutions (prêt à porter ou haute couture) avec un ROI nul concernant la maturité cybersécurité.
En effet avant de faire son choix entre le prêt à porter ou la haute couture, il faut savoir ce que l’on souhaite protéger et contre quoi. Une PME peut très bien avoir des risques et surface d’attaque dites « classique » et auquel cas les solutions « prêt à porter » feront largement l’affaire. En revanche pour les risques spécifiques voire atypiques, il va falloir peut-être se tourner vers de la haute couture.
« Un grand nom de la cybersécurité n’est pas nécessaire pour s’assurer une expertise exceptionnelle »
Le débat est mal posé. Lorsque l’on choisit un grand est-ce qu’on veut acheter un nom ou est-ce qu’on veut acheter une solution qui correspond au besoin de l’entreprise ? L’ANSSI rappelle qu’il y a du prêt à porter qui est de très bonne qualité et que parmi les prestataires et solution qu’ils certifient et qualifient, il n’y a pas beaucoup de grand nom. A priori si on les trouve sur le site de l’ANSSI c’est qu’ils ne sont pas mauvais.
Question : Comment fait-on ne PME pour concilier la ressource et l’exigence qui nécessite des grands moyens. Est-ce qu’il n’y a pas une opportunité de proposer justement du prêt à porter pour que ce soit plus simple et que ça aille plus vite ?
Comme dit précédemment, il faut être pragmatique et orienté risque. Il faut donc passer par la case analyse de risque qui est une étape sur mesure. En effet chaque entreprise est différente. La méthode est utilisée peut-être générique (EBIOS RM) en revanche le contenu des ateliers sera du sur mesure en fonction du périmètre donné. Il faut donc passer par la case haute couture car on a tous des métiers diffèrent. Prenons un exemple :
- Le chiffrement : c’est une mesure dite « populaire ». En revanche en avons-nous réellement besoin ? Manipulons-nous des données sensibles ?
- Une société de plomberie n’aura pas le même besoin en termes de confidentialité qu’un cabinet d’avocat. Le besoin peut être plus élevé si on parle de la société de plomberie qui effectue les travaux à l’Elysée par exemple.
Il faut également s’imprégner de la culture des PME et comprendre leur mode de fonctionnement qui n’est pas du tout la même que les grands groupes. Ce sont des entreprises, pour la plupart, où le risque cyber passe très souvent en second. Il faut être conscient que les chefs d’entreprise de PME :
- N’ont pas de budget pour la cybersécurité
- N’ont pas d’expertise en interne.
- La cybersécurité n’est pas l’une de leur première préoccupation
Ils ne connaissent pas le salon In cyber ou les assises ou tous les autres événements cyber
Conclusion : Il faut que les professionnels de la cybersécurité se rapproche des PME pour les accompagner et éviter qu’ils fassent des choix qui ne correspondent pas aux besoin et dépense du budget qui est déjà très limité. Il faut les sensibiliser afin qu’ils évitent les produits avec un discours marketing qui ont un très bon référencement Google et qu’ils se disent qu’ils ont trouvé le produit prêt à porter « miracle » et « tout en un ».
Question : Comment réussir à faire le tri entre la solution « prêt à porter » marketing et la solution « prêt à porter » utile ?
Des outils tout en un on en trouve plein et le fait de les acheter ne va pas forcément augmenter la maturité cyber de l’entreprise, surtout si on ne sait pas les utiliser. On risque tout le contraire à l’augmentant la surface d’attaque. C’est un peu comme se dire : « J’ai un RSSI, mon entreprise ne cours plus aucun risque »
Conclusion : les dirigeants de PME doivent être sensibiliser sur le risque de cybersécurité et on doit leur faire prendre conscience que c’est un investissement dans le temps et non en « one shot ». La maturité cyber se gagne sur la durée grâce à l’amélioration continue et aucun produit ou solution miracle leur fera passer d’une maturité de 0 à 100% du jour au lendemain.