Le centre national de cybersécurité met en garde contre les cyberrisques liés aux chatbots

Les autorités britanniques mettent en garde les organisations contre l'intégration dans leurs activités de chatbots basés sur l'intelligence artificielle, car les recherches montrent de plus en plus qu'ils peuvent être amenés à effectuer des tâches nuisibles.

Dans deux articles de blog qui seront publiés mercredi, le Centre national de cybersécurité britannique (NCSC) a déclaré que les experts n'avaient pas encore maîtrisé les problèmes de sécurité potentiels liés aux algorithmes capables de générer des interactions à consonance humaine - surnommés "grands modèles de langage" ou "LLM".

Les outils alimentés par l'IA commencent à être utilisés sous la forme de chatbots qui, selon certains, remplaceront non seulement les recherches sur Internet, mais aussi le service clientèle et les appels de vente.

Le NCSC a déclaré que cela pouvait comporter des risques, en particulier si de tels modèles étaient connectés à d'autres éléments des processus d'affaires de l'organisation. Les universitaires et les chercheurs ont à maintes reprises trouvé des moyens de subvertir les chatbots en leur donnant des commandes malveillantes ou en les incitant à contourner leurs propres garde-fous.

Oseloka Obiora, expert en cybernétique et directeur de la technologie chez RiverSafe, a déclaré : "Le course à l'IA aura des conséquences désastreuses. si les entreprises ne mettent pas en œuvre les contrôles de diligence raisonnable nécessaires. Il a déjà été prouvé que les chatbots sont susceptibles d'être manipulés et détournés pour des commandes malveillantes, ce qui pourrait entraîner une forte augmentation des fraudes, des transactions illégales et des violations de données.

"Au lieu de se précipiter sur les dernières tendances en matière d'IA, les cadres supérieurs devraient y réfléchir à deux fois, évaluer les avantages et les risques et mettre en œuvre la cyberprotection nécessaire pour s'assurer que l'organisation est à l'abri du danger", a-t-il ajouté.

Par exemple, un chatbot alimenté par l'IA et déployé par une banque pourrait être amené à effectuer une transaction non autorisée si un pirate informatique structurait correctement sa requête.

"Les organisations qui créent des services utilisant des LLM doivent être prudentes, de la même manière qu'elles le seraient si elles utilisaient un produit ou une bibliothèque de code en version bêta", a déclaré le NCSC dans l'un de ses billets de blog, en faisant référence aux versions expérimentales des logiciels.

"Ils pourraient ne pas laisser ce produit participer à des transactions pour le compte du client, et ne pas lui faire entièrement confiance. Une prudence similaire devrait s'appliquer aux LLM".

Les autorités du monde entier sont aux prises avec l'essor des LLM, tels que le ChatGPT d'OpenAI, que les entreprises intègrent dans une large gamme de services, y compris les ventes et le service clientèle. Les implications de l'IA en matière de sécurité sont également toujours d'actualité, les autorités américaines et canadiennes affirmant avoir vu des pirates informatiques s'emparer de cette technologie.