Eingabe löschen

Zum Inhalt

Hauptnavigation

Zürcher Hochschule
für Angewandte
Wissenschaften

Servicenavigation

Ausführen von nicht vertrauenswürdigem Code in Firecracker-Mikro-VMs innerhalb eines Docker-Containers

Das Ausführen von nicht vertrauenswürdigen Workloads in Standard-Docker-Containern kann riskant sein. In diesem Projekt starten wir für jede einzelne Benutzeranfrage eine dedizierte Firecracker-Mikro-VM direkt innerhalb eines Containers. Hier erfahren Sie, wie wir unser Setup ohne volle Root-Rechte aufgebaut haben.

Hintergrund: Warum ein Container nicht ausreichte

Wir haben einen Dienst entwickelt, der beliebige URLs aufruft und mithilfe des Playwright-Testframeworks einen Screenshot des gerenderten HTML-Codes der jeweiligen Webseite erstellt. Die URLs werden von Benutzern übermittelt und gelten als bösartig. Webseiten können Drive-by-Downloads enthalten oder mit bösartigen Skripten infiziert sein. Um einen Screenshot zu erstellen, müssen wir diesen Remote-Inhalt abrufen und tatsächlich auf unserer Infrastruktur ausführen, was unseren Host und andere darauf laufende Dienste potenziell gefährden könnte.

Der Screenshot-Dienst ist eine Komponente eines grösseren Projekts. Jede dieser Komponenten wird als Docker-Container bereitgestellt und mit Docker Compose orchestriert. Docker bietet uns Isolation auf Containerebene, doch alle Container auf demselben Host teilen sich einen einzigen Kernel. Ein Angreifer, der innerhalb des Browsers Code ausführen kann und es schafft, aus dem Docker-Container auszubrechen, befindet sich auf demselben Kernel wie jeder andere Dienst, den wir betreiben.

Für diesen Dienst wollten wir eine stärkere Isolation, ohne auf das containerbasierte Bereitstellungsmodell zu verzichten, das der Rest der Plattform bereits nutzt. Wir haben uns für Firecracker-Mikro-VMs entschieden, die in einem dedizierten Docker-Container laufen (Abb. 1).

TL;DR

  • Jede Screenshot-Anfrage erhält eine neue Firecracker-Mikro-VM, die bei Bedarf gestartet und unmittelbar nach dem Scan wieder gelöscht wird. Playwright interagiert ausschliesslich mit dem Gast-Kernel.
  • Die MicroVM läuft innerhalb des Docker-Containers, sodass der Dienst weiterhin als ein einziger Docker-Compose-Dienst neben dem Rest der Plattform bereitgestellt wird.
  • Der Container wird nicht mit [--privileged] ausgeführt. Firecracker benötigt zusätzliche Privilegien. Der Container erhält [/dev/kvm] und [/dev/net/tun] als Gerätemappings sowie die Fähigkeit [CAP_NET_ADMIN]. Sein Prozess erhält eine zusätzliche Gruppen-ID, die mit der [kvm]-Gruppe des Hosts übereinstimmt.
  • Innerhalb des Containers wird die Arbeit auf zwei Prozesse aufgeteilt: einen kleinen privilegierten Netzwerk-Helper und den Scan-Dienst selbst. Der Scan-Dienst, der die MicroVMs und Benutzereingaben verwaltet, läuft als nicht privilegierter Benutzer und fordert den Helper für jene Netzwerkkonfigurationsvorgänge an, die er selbst nicht ausführen kann. Firecracker läuft niemals als root.
  • Das Root-Dateisystem des Gasts wird schreibgeschützt eingehängt, und der Playwright-Code im Gast, der mit bösartigen Websites interagiert, läuft als nicht privilegierter Benutzer.
  • Der Gast sendet die Scan-Ergebnisse über ein virtio-vsock-Gerät an den Host zurück. Wir haben sie zunächst über die serielle Konsole von Firecracker weitergeleitet, was sich jedoch als leistungsbeeinträchtigend herausstellte.

Voraussetzungen

Eine vollständige Liste der Voraussetzungen finden Sie im Firecracker-Einführungsleitfaden. Die Verwendung des vsock-Geräts ist die von Firecracker bevorzugte Kommunikationsmethode zwischen Host und Gast; überprüfen Sie daher auch dessen Voraussetzungen. Wir haben unser Setup unter Ubuntu 22.04.5 LTS (KVM verfügbar, verschachtelte Virtualisierung aktiviert, da unser Testhost selbst eine VM war), Firecracker v1.15.1 und Playwright für Python 1.59 getestet.

Warum Firecracker

Firecracker ist eine von AWS entwickelte Open-Source-Virtualisierungstechnologie, die für die Ausführung kurzlebiger, serverloser, zweckgebundener Multi-Tenant-Workloads mit starker Isolation optimiert ist. Sie verfügt über ein minimalistisches Design, das unnötige Geräte und Funktionen ausschliesst und so die Angriffsfläche verringert. Firecracker ermöglicht die Bereitstellung von Workloads in leichtgewichtigen virtuellen Maschinen (Micro-VMs), die in nur 125 ms hochgefahren werden können.

Firecracker war die perfekte Wahl für unseren Anwendungsfall: Es bietet die starke Isolation von VMs ohne die Nachteile eines langsamen Startvorgangs.

Eine MicroVM pro Scan

Wir verwenden MicroVMs nicht für mehrere Screenshot-Scans wieder. Für jede Anfrage wird eine neue VM erstellt und anschliessend gelöscht. Gründe für diese Designentscheidung sind unter anderem:

  • Kein gemeinsamer Kernel mit dem Host. Der nicht vertrauenswürdige Browser führt Systemaufrufe an den Gast-Kernel aus. Der Kernel-Bereich des Hosts ist nur über KVM und die Geräteemulation von Firecracker erreichbar (weitere Details siehe Beschreibung des Firecracker-Designs).
  • Keine Persistenz. Das Root-Dateisystem ist schreibgeschützt. Playwright benötigt einen beschreibbaren [/tmp]-Ordner, daher wird beim Booten ein tmpfs im Gast-RAM eingehängt.
  • Keine Kontamination zwischen Scans. Es gibt keinen zwischen den Scans geteilten Zustand (da sich alle VMs eine Image-Datei teilen, ist ein schreibgeschütztes Root-Dateisystem eine Notwendigkeit)

Service-Architektur

Unser Service besteht hauptsächlich aus

  • der FastAPI-Anwendung, die Benutzeranfragen bearbeitet und neue Mikro-VMs erstellt
  • dem Playwright-Code, der den Screenshot der angegebenen URL aufnimmt und innerhalb der Mikro-VM läuft

Beide laufen als nicht privilegierte Benutzer. Die Einrichtung des Netzwerks der Mikro-VM auf der Containerseite erfordert [CAP_NET_ADMIN], daher wird dieser Schritt in einen kleinen Hilfsprozess ausgelagert, der als root läuft. Im Gast läuft das Init-Skript ebenfalls als root, um das Netzwerk zu konfigurieren, bevor die Kontrolle an den nicht privilegierten Playwright-Prozess übergeben wird (Abb. 2, siehe Privilegientrennung).

Firecracker in einem Docker-Container zum Laufen bringen

Um Firecracker in einem Docker-Container auszuführen, sind die folgenden Änderungen an unserer Docker-Compose-Service-Definition zu beachten (Abb. 3):

[seccomp=unconfined]. HINWEIS: Das Deaktivieren des standardmässigen seccomp-Profils von Docker ist alles andere als ideal, da die Systemaufrufe des Containers dadurch nicht mehr gefiltert werden. Es ist jedoch zu beachten, dass Firecracker eigene seccomp-Filter installiert. Firecracker-Prozesse sind somit nicht uneingeschränkt, andere Prozesse im Container hingegen schon. Es wäre möglicherweise möglich, ein benutzerdefiniertes seccomp-Profil zu definieren, das nur die von Firecracker benötigten Systemaufrufe zulässt und alles andere blockiert, doch dies haben wir noch nicht überprüft.

Rechtstrennung

Rechtstrennung innerhalb des Docker-Containers

Das Einrichten des Netzwerks für neue VMs erfordert [CAP_NET_ADMIN], das Starten von Firecracker und die Verarbeitung von Screenshot-Scans hingegen nicht. Aus diesem Grund startet der Einstiegspunkt des Containers zwei Prozesse:

  • Einen Netzwerk-Helper, der als root läuft, einen Unix-Domain-Socket bindet, genau zwei Befehle akzeptiert – [network_setup] und [network_cleanup] – und die entsprechenden privilegierten Operationen ausführt.
  • Der Scan-Dienst, der als Benutzer ohne Sonderrechte läuft. Er bearbeitet die Scan-Anfragen und verwaltet die Firecracker-Prozesse. Beim Starten neuer Mikro-VMs sendet er einen [network_setup]-Befehl über einen Socket an den Netzwerk-Helper und übergibt dabei einen vom Server generierten TAP-Namen als Argument.

Beachte, dass der auf einem Socket lauschende Netzwerk-Helper von Design her einen Weg zur Privilegienerweiterung darstellt und der TAP-Name als Argument übergeben wird (in unserem Fall vom Server generiert). Um Befehlsinjektionen zu verhindern, werden Argumente an [subprocess]-Aufrufe als Listen übergeben (mit [shell=False]). Ausserdem werden Argumente für die Operationen des Helpers anhand einer strengen Zulassungsliste validiert.

Der Netzwerk-Helper könnte möglicherweise als dedizierter, nicht privilegierter Benutzer ausgeführt werden, der nur über die Fähigkeiten verfügt, die das Skript benötigt.

Privilegientrennung innerhalb der Mikro-VM

Es ist möglich, eine init-Binärdatei in den Boot-Argumenten von Firecracker zu konfigurieren. In unserem benutzerdefinierten init-Skript wird die Netzwerkverbindung der Mikro-VM hergestellt, wofür Root-Rechte erforderlich sind. Wir wollten, dass das Skript, das Playwright verwaltet und Screenshots erstellt, als nicht privilegierter Benutzer läuft, da dies die Komponente ist, die tatsächlich mit potenziell feindlichen Websites interagiert. In dieser Phase des Startvorgangs der VM scheint [su] nicht wie erwartet zu funktionieren. Aus diesem Grund startet das Init-Skript ein Hilfsskript, das das Scan-Skript als separaten Unterprozess mit reduzierten Berechtigungen ausführt.

Kommunikation vom Gast zum Host: von der seriellen Konsole zu vsock

Der Gast muss die Screenshot-Ergebnisse an den Host zurückgeben. In unserer ersten naiven Implementierung schrieben wir den Base64-kodierten Screenshot auf stdout, und der Host extrahierte ihn aus der Ausgabe der seriellen Konsole von Firecracker. Dieser Ansatz funktionierte zwar, erwies sich jedoch als erheblicher Leistungsengpass, insbesondere bei umfangreichen Scan-Ergebnissen (End-to-End-Scan-Dauer von bis zu ~30 Sekunden). Die Dokumentation von Firecracker selbst behandelt die serielle Konsole als Debugging-Tool und empfiehlt, sie im Produktionsbetrieb zu deaktivieren.

Wir sind daraufhin auf das virtio-vsock-Gerät von Firecracker umgestiegen, das als vorgesehenes Mittel für die Host-Gast-Kommunikation dient. Dadurch konnten wir die Scan-Zeiten auf ca. 6 Sekunden verkürzen – was in etwa doppelt so lange dauert wie ein Scan, der direkt auf unserem Test-Host ausgeführt wird. Daten, die über vsock eingehen, sind natürlich nicht vertrauenswürdig, weshalb eine Validierung dieser Daten unerlässlich ist.

Weitere Sicherheitsaspekte

Um das Risiko für den Host und den Rest der Plattform weiter zu mindern, sind ausserdem folgende Punkte wichtig:

  • Ressourcenbeschränkungen. Die Anzahl der vCPUs und der Arbeitsspeicher jeder MicroVM werden durch Aktualisierung der Maschinenkonfiguration der VM festgelegt (mithilfe des Firecracker-API-Aufrufs [PUT /machine-config]). Netzwerk- und Festplatten-I/O können mit den Ratenbegrenzern von Firecracker begrenzt werden.
  • Darüber hinaus unterliegt der Docker-Container selbst Beschränkungen (siehe Docker-Ressourcenbeschränkungen), um eine Erschöpfung der Host-Ressourcen zu vermeiden.
  • Ausgehender Netzwerkverkehr. Der Datenverkehr des Gastes wird durch den Container weitergeleitet, was bedeutet, dass der Gast alles erreichen kann, was der Container erreichen kann. Daher muss verhindert werden, dass der Gast das Host-Netzwerk oder andere Container erreicht, indem der entsprechende Datenverkehr verworfen wird.
  • Updates. Playwright, der Gast-Kernel und Firecracker müssen auf dem neuesten Stand gehalten werden. Ein Update bedeutet, das Root-Dateisystem neu zu erstellen und die Image-Datei auszutauschen.

Fazit

Durch die Verschachtelung von microVMs in einem Docker-Container sind wir in der Lage, nicht vertrauenswürdigen Code isoliert und sicher auszuführen, ohne unser containerbasiertes Bereitstellungsmodell aufgeben zu müssen. Unser dedizierter Container benötigt zusätzliche Berechtigungen, um Firecracker-Prozesse ausführen zu können. Es bedurfte mehrerer Iterationen, um dies richtig hinzubekommen, und es besteht noch Verbesserungspotenzial, um dem Prinzip der geringsten Berechtigungen zu entsprechen. Wir nutzen das Muster der Berechtigungstrennung, um Firecracker als nicht privilegierten Benutzer ausführen zu können. Die beschriebene Konfiguration kann als Ausgangspunkt dienen. Für den Einsatz in der Produktion sollten Sie bitte auch die Empfehlungen für die Produktionskonfiguration von Firecracker beachten und den Einsatz von Jailer für eine stärkere Isolation zwischen Firecracker-Prozessen in Betracht ziehen, was für unseren Anwendungsfall nicht zwingend erforderlich ist und den Start von Firecracker als root erfordert hätte.

Ressourcen

Offenlegung: Zur Verbesserung der Lesbarkeit wurde Gemini 3.8 verwendet.

 

 

Privatsphäre-Einstellungen

Wir zeigen Ihnen hier, welche Dienste auf unserer Website laufen können. Sie entscheiden selbst, welche Dienste wir nutzen dürfen. Mehr Informationen finden Sie in unseren Datenschutzhinweisen.

Unsere Website braucht diese Cookies, damit alles richtig funktioniert. Diese Cookies werden automatisch erstellt, wenn Sie auf der Seite aktiv sind – zum Beispiel, wenn Sie Datenschutz-Einstellungen ändern oder Formulare ausfüllen. In Ihrem Browser können Sie die Cookies zwar sperren oder sich warnen lassen. Dann werden aber einige Teile der Website nicht mehr richtig angezeigt. Diese Cookies speichern keine persönlichen Daten von Ihnen.

Mit diesen Diensten können wir sehen, wie unsere Website genutzt wird. Wir wissen aber nicht, wer Sie sind. Wenn Sie diese Dienste aktivieren, helfen Sie uns, die Website für alle besser zu machen.