OpenGUI: KI-Agent steuert Android-Apps über die Oberfläche
Core-Mate veröffentlicht ein Framework, das Android-Apps per Accessibility-Dienst bedient – unter BUSL 1.1, erst 2030 wird Apache 2.0 daraus.
Symbolbild: In Halterungen eingespannte Smartphones werden von einem Rechner ferngesteuert, während am Verteiler Statuslichter blinken.
OpenGUI ist ein einsehbares, aber nicht freies Android-Framework, mit dem ein KI-Agent echte Apps über den Accessibility-Dienst sieht, plant und bedient – produktiv einsetzen darf man es nur mit kommerzieller Lizenz.
Auf einen Blick
- Läuft auf Android 11 (API 30) oder neuer; nötig sind USB-Debugging, Accessibility-Dienst, Overlay-Recht und Ausnahme vom Akku-Sparmodus.
- Lizenz: Business Source License 1.1, Change Date 29.04.2030, danach Apache 2.0.
- Modellempfehlung des Projekts: Doubao VLM zuerst, dann Qwen VLM; OpenAI-Vision gilt als teurer, Grok-Vision als experimentell.
- Kostenprofil laut Repo: Qwen 3.6 Plus für Text, Doubao Pro fürs Sehen – rund 10x bis 15x günstiger als ein reiner Opus-Aufbau.
- Repo-Stand beim Abruf: rund 1.700 Sterne, 69 Forks, 23 offene Issues, 192 Commits.
Core-Mate hat mit OpenGUI ein Framework veröffentlicht, das einen KI-Agenten an die Bedienoberfläche eines Android-Geräts setzt. Der Agent liest den Bildschirm aus, plant eine Abfolge von Schritten und tippt sie über den Accessibility-Dienst des Systems selbst ein – nicht über App-Schnittstellen.
Zwei Modelle, zwei Rollen
Die Architektur trennt Planung und Ausführung. Ein Supervisor-Graph im Backend zerlegt den Auftrag, ein Executor-Teilgraph übernimmt die einzelnen Griffe auf dem Gerät. Für beide Rollen lassen sich unterschiedliche Anbieter eintragen. Genau darin liegt das Kostenargument des Projekts.
Fürs Sehen und Tippen setzt das Repository Doubao VLM an die erste Stelle, Qwen VLM als praktische Alternative. Vision-Modelle von OpenAI führt es als leistungsfähig, aber teurer, Grok-Modelle als experimentell. Mit Qwen 3.6 Plus für Textaufgaben und Doubao Pro fürs Sehen beziffert das Projekt die Ersparnis gegenüber einem reinen Opus-Aufbau auf rund 10x bis 15x. Diese Zahl stammt vom Anbieter selbst und ist nicht unabhängig nachgemessen.
Aufträge kommen auch von außen
Neben dem lokalen Start gibt es ein Standby-Gateway: Aufträge lassen sich über Feishu, Telegram, Discord oder eine REST-Schnittstelle anstoßen. Gedacht ist das für Abläufe, die über Stunden laufen und nach einem Abbruch wieder aufsetzen sollen.
Auf dem Gerät verlangt das Framework Android 11 (API 30) oder neuer, aktiviertes USB-Debugging, den Accessibility-Dienst, das Overlay-Recht und eine Ausnahme vom Akku-Sparmodus. ADB dient nach Angaben des Projekts nur dazu, die App zu installieren, zu starten und eine lokale Portweiterleitung einzurichten; das Gerät werde weder gerootet noch am System verändert.
Die Lizenz läuft mit der Uhr
OpenGUI steht unter der Business Source License 1.1. Der Quelltext ist einsehbar, produktiver Einsatz verlangt aber eine kommerzielle Lizenz. Als Change Date nennt das Repository den 29.04.2030, danach gilt Apache 2.0. Wer heute darauf aufbaut, trifft eine Entscheidung mit mehrjähriger Wartezeit.
Was offen bleibt
Das Projekt benennt seine Grenzen selbst: Die Ausführungsqualität hängt von Modell, App-Oberfläche, Netz und Auftragslänge ab, der Betrieb über lange Aufträge ist noch nicht im Feld erprobt, und fertige Beispiele sind rar.
Unabhängige Benchmarks liegen nicht vor, und die Verbreitung lässt sich nur als Momentaufnahme angeben: rund 1.700 Sterne, 69 Forks, 23 offene Issues und 192 Commits zum Zeitpunkt des Abrufs. Für diese Meldung war allein die Projektseite als Quelle verfügbar; alle Leistungsangaben sind Angaben des Herausgebers.
Häufige Fragen
Braucht OpenGUI Root-Rechte auf dem Android-Gerät?
Nein. Das Projekt gibt an, ausschließlich die regulären AccessibilityService-Schnittstellen zu nutzen; ADB wird nur zum Installieren, Starten und für die Portweiterleitung eingesetzt.
Welche Android-Version brauche ich für OpenGUI?
Android 11 (API 30) oder neuer, als Gerät oder Emulator. Zusätzlich müssen USB-Debugging, der Accessibility-Dienst, das Overlay-Recht und eine Ausnahme vom Akku-Sparmodus eingerichtet sein.
Darf ich OpenGUI in einem Produkt einsetzen?
Nicht ohne Weiteres: Die Business Source License 1.1 verlangt für den produktiven Einsatz eine kommerzielle Lizenz. Zum Change Date 29.04.2030 wechselt der Code auf Apache 2.0.
