Vergleich von SAST-Tools mit KI-Assistenten in IDEs anhand der OWASP Top 10, Nikita Diser

Nikita Diser

Kurzfassung

Diese Arbeit vergleicht die Ergebnisse klassischer SAST-Werkzeuge (Static Application Security Testing) mit denen KI-gestützter Analysen in einer Entwicklungsumgebung. Als Testgrundlage dient eine selbst entwickelte Webanwendung mit Schwachstellen, die anhand der OWASP Top 10 ausgewählt und gezielt implementiert wurden. Untersucht werden Snyk, Semgrep und SonarQube sowie GPT-5.6 Sol in Codex mit mehreren Prompting-Techniken und einem zusätzlichen Durchlauf für das Model Context Protocol (MCP). Die KI-gestützten Analysen erkannten mehr Schwachstellen und erzeugten keine False Positives. Bei beiden Ansätzen traten einzelne fehlerhafte CWE-Zuordnungen auf. Die KI-gestützten Berichte erläuterten die Befunde nachvollziehbar, fassten jedoch teilweise unabhängige Fehler zusammen. Die klassischen Werkzeuge erkannten weniger Schwachstellen, lieferten jedoch strukturierte Meldungen. Keines der Verfahren erreichte eine vollständige Abdeckung. Die Ergebnisse sprechen daher für eine ergänzende Nutzung beider Ansätze.

Schlagwörter: Statische Anwendungssicherheitsprüfung, Künstliche Intelligenz, Large Language Models, Schwachstellenerkennung, OWASP Top 10, CWE, Prompting

Abstract

This thesis compares conventional static application security testing (SAST) tools with AI-assisted analyses conducted in an integrated development environment (IDE). The test environment is a purpose-built web application with vulnerabilities selected according to the OWASP Top 10 and intentionally introduced into the code. The Evaluation covers Snyk, Semgrep, SonarQube, and GPT-5.6 Sol in Codex using several prompting techniques and one additional run with a Model Context Protocol (MCP) server. The AI-assisted analyses detected more vulnerabilities and produced no false positives. Both approaches occasionally assigned incorrect CWE identifiers. The AI-assisted reports explained their findings clearly but sometimes combined independent vulnerabilities. The conventional tools detected fewer vulnerabilities but provided structured reports. No evaluated approach achieved complete coverage. The findings therefore support their complementary use.

Keywords: Static Application Security Testing, Artificial Intelligence, Large Language Models, Vulnerability Detection, OWASP Top 10, CWE, Prompting