Une nouvelle recherche conjointe de SentinelOne SentinelLABS et Censys a révélé que le déploiement d’intelligence artificielle (IA) open source a créé une vaste « couche non gérée et accessible au public d’infrastructure informatique d’IA » couvrant 175 000 hôtes Ollama uniques dans 130 pays.
Ces systèmes, qui couvrent les réseaux résidentiels et cloud du monde entier, fonctionnent en dehors des barrières de sécurité et des systèmes de surveillance que les fournisseurs de plateformes mettent en œuvre par défaut, a indiqué la société. La grande majorité des expositions se situe en Chine, représentant un peu plus de 30 %. Les pays ayant la plus grande empreinte infrastructurelle sont les États-Unis, l’Allemagne, la France, la Corée du Sud, l’Inde, la Russie, Singapour, le Brésil et le Royaume-Uni.
“Près de la moitié des hôtes observés sont configurés avec des capacités d'appel d'outils qui leur permettent d'exécuter du code, d'accéder à des API et d'interagir avec des systèmes externes, démontrant la mise en œuvre croissante de LLM dans des processus système plus vastes”, ont ajouté les chercheurs Gabriel Bernadett-Shapiro et Silas Cutler.
Ollama est un framework open source qui permet aux utilisateurs de télécharger, d'exécuter et de gérer facilement des modèles de langage étendus (LLM) localement sur Windows, macOS et Linux. Pendant que le service se lie à l'adresse localhost à 127.0.0[.]1:11434 par défaut, il est possible de l'exposer à l'Internet public en utilisant un changement trivial : le configurer pour qu'il se lie à 0.0.0[.]0 ou une interface publique.
Le fait qu'Ollama, comme le récemment populaire Moltbot (anciennement Clawdbot), soit hébergé localement et opère en dehors du périmètre de sécurité de l'entreprise, soulève de nouveaux problèmes de sécurité. Selon les chercheurs, cela nécessite à son tour de nouvelles approches pour faire la distinction entre l’informatique IA gérée et non gérée.
Parmi les hôtes observés, plus de 48 % annoncent des capacités d'appel d'outils via leurs points de terminaison d'API qui, lorsqu'ils sont interrogés, renvoient des métadonnées mettant en évidence les fonctionnalités qu'ils prennent en charge. L'appel d'outils (ou appel de fonctions) est une capacité qui permet aux LLM d'interagir avec des systèmes externes, des API et des bases de données, leur permettant d'augmenter leurs capacités ou de récupérer des données en temps réel.
“Les capacités d'appel d'outils modifient fondamentalement le modèle de menace. Un point de terminaison générateur de texte peut produire du contenu nuisible, mais un point de terminaison activé par un outil peut exécuter des opérations privilégiées”, ont noté les chercheurs. “Combiné à une authentification et une exposition réseau insuffisantes, cela crée ce que nous évaluons comme le risque le plus grave de l'écosystème.”
L'analyse a également identifié des hôtes qui prennent en charge diverses modalités au-delà du texte, notamment des capacités de raisonnement et de vision, avec 201 hôtes exécutant des modèles de messages non censurés qui suppriment les barrières de sécurité.
La nature exposée de ces systèmes signifie qu'ils pourraient être sujets au détournement de LLM, où des acteurs malveillants abusent des ressources de l'infrastructure LLM d'une victime à leur profit, tandis que la victime paie la note. Celles-ci peuvent aller de la génération de spams et de campagnes de désinformation à l’extraction de crypto-monnaie et même à la revente de l’accès à d’autres groupes criminels.
Le risque n’est pas théorique. Selon un rapport publié cette semaine par Pillar Security, les acteurs malveillants ciblent activement les points de terminaison du service LLM exposés pour monétiser l'accès à l'infrastructure d'IA dans le cadre d'une campagne de détournement de LLM baptisée Operation Bizarre Bazaar.
Les résultats indiquent un service criminel contenant trois composants : analyser systématiquement Internet à la recherche d'instances Ollama exposées, de serveurs vLLM et d'API compatibles OpenAI fonctionnant sans authentification, valider les points de terminaison en évaluant la qualité des réponses et commercialiser l'accès à des tarifs réduits en le annonçant en argent.[.]inc, qui fonctionne comme un portail API LLM unifié.
“Cette opération de bout en bout, de la reconnaissance à la revente commerciale, représente le premier marché de LLMjacking documenté avec une attribution complète”, ont déclaré les chercheurs Eilon Cohen et Ariel Fogel. L'opération remonte à un acteur menaçant nommé Hecker (également connu sous le nom de Sakuya et LiveGamer101).
La nature décentralisée de l'écosystème exposé d'Ollama, qui s'étend sur des environnements résidentiels et cloud, crée des lacunes en matière de gouvernance, sans parler de la création de nouvelles voies pour des injections rapides et un transfert de trafic malveillant à travers l'infrastructure de la victime.
« La nature résidentielle d'une grande partie de l'infrastructure complique la gouvernance traditionnelle et nécessite de nouvelles approches faisant la distinction entre les déploiements cloud gérés et l'infrastructure de périphérie distribuée », ont déclaré les sociétés. « Pour les défenseurs, le point clé à retenir est que les LLM sont de plus en plus déployés en périphérie pour traduire les instructions en actions. En tant que tels, ils doivent être traités avec les mêmes authentifications, surveillance et contrôles de réseau que les autres infrastructures accessibles de l'extérieur.
