Fähigkeitsanalyse von LLMs zur Erkennung bekannter CVEs in Open-Source-Software, Luca Keischgens

Luca Keischgens

Kurzfassung

Mit der zunehmenden Bedrohung durch Cyberangriffe gewinnt die frühzeitige Erkennung von Sicherheitslücken stetig an Bedeutung. Open-Source-Software stellt aufgrund ihrer weiten Verbreitung und des öffentlich einsehbaren Quellcodes ein attraktives Angriffsziel dar. Die manuelle Schwachstellenanalyse ist zeit- und ressourcenintensiv und genau hier eröffnen Large Language Models neue Möglichkeiten zur automatisierten Codeanalyse. Dabei nimmt der Prompt eine zentrale Rolle für die Qualität der Ergebnisse ein. Diese Arbeit untersucht die Fähigkeiten aktueller LLMs von OpenAI, Anthropic und Google zur Erkennung bekannter Sicherheitslücken anhand von zehn CVEs unterschiedlicher Schwachstellenklassen in verschiedenen Open-Source-Projekten. Die Modelle werden mithilfe verschiedener Prompting-Techniken hinsichtlich Erkennung, Einordnung und vorgeschlagener Mitigationsmaßnahmen verglichen.

Schlagwörter: CVE, Large Language Models, Open-Source-Software, Prompt-Engineering, Sicherheitslücken, Schwachstellenanalyse

Abstract

As cyberattacks increasingly threaten software systems, early detection of security vulnerabilities is becoming ever more important. Open-source software is a particularly attractive target for attackers due to its widespread use and publicly accessible source code. Manual vulnerability analysis is time- and resource-intensive, and this is precisely where large language models open up new possibilities for automated code analysis. The prompt plays a major role in the quality of the results. This thesis investigates the capabilities of current LLMs from OpenAI, Anthropic and Google in detecting known security vulnerabilities across ten CVEs covering different vulnerability classes in various open-source projects. The models are compared using different prompting techniques with regard to detection, classification, and proposed mitigation measures.

Keywords: CVE, large language models, open source software, prompt engineering, security vulnerabilities, vulnerability analysis