Wenn die KI Gespenster sieht und halluziniert: In der Welt der Softwareentwicklung hat sich ein neues Risiko herauskristallisiert: sogenannte „Package Hallucinations“. Dabei handelt es sich um KI-generierte Empfehlungen für Code-Bibliotheken, die in Wirklichkeit gar nicht existieren. Diese Halluzinationen können von Angreifern ausgenutzt werden, um schädliche Pakete in die Lieferkette einzuschleusen.
Was sind „Package Hallucinations“?
Beim Einsatz von KI-gestützten Tools wie ChatGPT zur Codegenerierung kann es vorkommen, dass die KI Bibliotheken empfiehlt, die nicht existieren. Diese fiktiven Pakete entstehen durch die „Halluzination“ der KI – ein Phänomen, bei dem die KI plausible, aber falsche Informationen generiert. Angreifer können diese Lücken nutzen, indem sie Pakete mit den von der KI erfundenen Namen erstellen und mit Schadcode versehen. Wenn Entwickler den Empfehlungen der KI folgen, könnten sie unwissentlich diese schädlichen Pakete in ihre Projekte integrieren.
Ein reales Beispiel: Das „huggingface-cli“-Paket
Ein Sicherheitsforscher von Lasso Security untersuchte dieses Phänomen, indem er ein Paket mit dem Namen „huggingface-cli“ – ein von der KI erfundener Name – auf einem öffentlichen Paket-Repository veröffentlichte. Innerhalb von drei Monaten wurde dieses fiktive Paket über 30.000 Mal heruntergeladen. Sogar große Unternehmen wie Alibaba hatten es in ihren internen Dokumentationen erwähnt. Dies zeigt, wie real und weitreichend die Gefahr ist.
Die neue Angriffsmethode: „Slopsquatting“
Diese Art von Angriff wird als „Slopsquatting“ bezeichnet – eine Abwandlung des bekannten „Typosquatting“. Während beim Typosquatting absichtlich falsch geschriebene Paketnamen verwendet werden, basiert das Slopsquatting auf den von der KI erfundenen Paketnamen. Angreifer nutzen die von der KI generierten Namen, um schädliche Pakete zu erstellen, die dann von ahnungslosen Entwicklern heruntergeladen werden könnten.
Schutzmaßnahmen gegen diese Bedrohung
Um sich vor den Risiken von „Package Hallucinations“ zu schützen, sollten Entwickler und Unternehmen folgende Maßnahmen ergreifen:
- Sorgfältige Überprüfung von Paketnamen: Vor der Integration neuer Pakete sollte überprüft werden, ob diese tatsächlich existieren und vertrauenswürdig sind.
- Verwendung von Software Composition Analysis (SCA) Tools: Diese Tools helfen dabei, unbekannte oder potenziell gefährliche Pakete in der Codebasis zu identifizieren.
- Erstellung eines Software Bill of Materials (SBOM): Ein SBOM listet alle Komponenten einer Software auf und erleichtert die Identifikation von unerwünschten oder schädlichen Paketen.
- Richtlinien für den Einsatz von KI-Tools: Unternehmen sollten klare Richtlinien für die Nutzung von KI-gestützten Tools zur Codegenerierung festlegen und sicherstellen, dass alle Empfehlungen sorgfältig geprüft werden.
- Schulung und Sensibilisierung: Entwickler sollten über die Risiken von KI-generierten Empfehlungen informiert und im sicheren Umgang mit solchen Tools geschult werden.
Ein gutes Beispiel dafür, wie KI unbeabsichtigt Sicherheitslücken schaffen kann
Die Integration von KI in die Softwareentwicklung bringt viele Vorteile, birgt jedoch auch neue Risiken. „Package Hallucinations“ sind ein Beispiel dafür, wie KI unbeabsichtigt Sicherheitslücken schaffen kann. Durch bewussten und verantwortungsvollen Umgang mit KI-Tools sowie durch geeignete Sicherheitsmaßnahmen können Entwickler und Unternehmen diesen neuen Bedrohungen jedoch effektiv begegnen.
Cyber-News
Abonniere jetzt unsere Cyber-News! Erhalte wertvolle Informationen, Tipps und Ratschläge zur Cybersicherheit, Cyberbedrohungen, den neuesten Betrugsmaschen, Phishing-Methoden und Social-Engineering. Ganz gleich ob du Anfänger oder Fortgeschrittener bist, werde Teil unserer Community und erhalte alle 4 Wochen wertvolle Insights, um deine IT-Sicherheit zu verbessern!
Hat dir dieser Beitrag gefallen?
Ähnliche Beiträge
