Gesten · Stimme · Auf dem Gerät

Ein Zeichen in der Luft. Das Smartphone gehorcht.

Sigil steuert dein Smartphone mit Zeichen, die du in die Luft zeichnest, und mit deiner Stimme. Alles, was es sieht und hört, bleibt auf dem Gerät.

Für Android herunterladen So funktioniert’s

Android-Vorschau mit Live-Handerkennung, Sprache und Modell auf dem Gerät.

  • 21 Punkte pro Hand
  • Modelle auf dem Gerät
  • Kein Konto, keine Cloud

00Das Zeichen

Vier Arten, das Zeichen zu lesen

  1. 01 · Ein Buchstabe

    Das S von SIGIL.

    Zwei Striche um einen Lichtpunkt. Die Mitte des S wird nie gezeichnet: Das Licht ist die Mitte.

  2. 02 · Eine Geste

    Zwei Striche, ein Punkt.

    Eine Fingerspitze, die sich auf einen Punkt zubewegt, so wie Daumen und Zeigefinger beim Fingertipp zusammenkommen.

  3. 03 · Ein Cursor

    Das Licht ist der Cursor.

    Der Punkt folgt deinem Zeigefinger über den Bildschirm und ist der Kern der Kontrollsphäre.

  4. 04 · Ein Siegel

    Dreh es. Es bleibt gleich.

    Eine halbe Drehung ändert das Zeichen nicht, wie es sich für ein Siegel gehört. Sein lateinischer Ursprung, sigillum, bedeutet kleines Siegel.

01So funktioniert’s

Vom Zeichen in der Luft zum Tippen auf dem Bildschirm.

Drei Schritte, und alle laufen auf dem Smartphone.

Eine Musik-App auf einem Smartphone. Der holografische Cursor zieht als Lichtspur heran und rastet auf der Play-Taste ein, die wie eine Glaslinse aufleuchtet.

  1. 01 · Sehen

    Die Kamera sieht deine Hand.

    Die Frontkamera findet 21 Punkte an deiner Hand, 30 bis 60 Mal pro Sekunde. Die Bilder werden im Speicher gelesen und verworfen.

  2. 02 · Verstehen

    Gesten werden zu Absichten.

    Ein kleiner Klassifikator liest Haltungen und Bewegungen: einen Fingertipp, ein kurzes Wischen, einen Kreis in der Luft. Die App im Vordergrund entscheidet, was jedes Zeichen bedeutet.

  3. 03 · Handeln

    Aktionen laufen.

    Der Cursor rastet auf Zielen ein, damit der Fingertipp dort landet, wo du hingezielt hast. Alles, was sendet, postet oder bezahlt, wartet auf dein Ja.

Von der Kamera zur Aktion

  1. Frontkamera
  2. 21 Handpunkte
  3. One-Euro-Filter
  4. Gestenklassifikator
  5. App-Profil
  6. Aktion

02Die Gesten

14 Zeichen, eine Hand.

Jedes Zeichen machst du mit der Handfläche zur Kamera, so wie sie dich sieht. Und für jedes gibt es auch einen Weg per Touch und einen per Stimme.

Geste 03 / 14

Fingertipp

Erkannt, wenn
Daumen- und Zeigefingerspitze berühren sich und öffnen sich innerhalb von 300 ms wieder.
Was sie tut
Tippt dort, wo der Cursor steht. Der Tipp landet dort, wo du 90 ms früher hingezielt hast, bevor sich die Finger schlossen.

90 ms zurück

Kein Zeichen löst aus, während deine Hand zum Bildschirm greift, wenn sich zwei Hände überlagern oder innerhalb von 300 ms nach dem letzten. Wenn die Hand verloren geht, wird nie eine Aktion bestätigt.

03Die Kontrollsphäre

Öffne die Hand. Die Sphäre antwortet.

Eine Glaskugel öffnet sich dort, wo deine Hand ist, über der App, die du nutzt, mit den Aktionen, die gerade sinnvoll sind.

Die Kontrollsphäre: eine Glaskugel mit dem Lichtpunkt im Kern, einem Statusring und sechs Schnellaktionen auf einer Umlaufbahn. Fertig leuchtet unter dem Cursor, darüber steht die App, darunter die letzten Kontakte.

  1. 01 · Rufen

    Zeig die offene Hand.

    Nach 400 ms Stillstand öffnet sich die Sphäre dort, wo deine Hand ist. „Sigil“ zu sagen funktioniert auch.

  2. 02 · Anbieten

    Sechs Aktionen, von der App gewählt.

    In Nachrichten: Antworten, Vorlesen und Fertig. Die letzten Kontakte stehen unter der Umlaufbahn, nur mit Initialen.

  3. 03 · Wählen

    Zeigen. Tippen. Fertig.

    Der Cursor rastet auf der Aktion ein. Mit etwas Übung genügt ein kurzes Wischen in ihre Richtung, ohne hinzusehen.

Rufen
Halte die offene Hand 400 ms still, sag „Sigil“ oder drücke lange auf den Bildschirmrand.
Wählen
Zeigen und tippen, oder den Kern antippen und ohne hinzusehen zur Aktion wischen. Du kannst auch ihren Namen sagen oder sie berühren.
Schließen
Mach eine Faust, wische mit zwei Fingern nach unten oder sag „Sigil, schließen“. Ohne Hand und Stimme schließt sie sich nach 8 Sekunden von selbst.

Das Zeichen in Bewegung

Sie atmet: ein langsamer Atemzug alle 5,2 Sekunden.

Die Bögen öffnen sich um 8 Grad und pulsieren mit deiner Stimme. 8 Sekunden lang brauchen Folgefragen kein Aktivierungswort.

Die Bögen kreisen um den Punkt, eine Umdrehung alle 1,6 Sekunden. Nach 1,2 Sekunden steht in der Untertitelzeile „Wird erledigt.“

Der Punkt leuchtet einmal auf und kommt in 320 ms zur Ruhe.

Mit reduzierter Bewegung bleibt das Zeichen still, und die Beschriftung zeigt den Zustand.

04Profile pro App

Jede App spricht ihre eigene Sprache.

Sigil weiß, welche App im Vordergrund ist, und lädt ihr Profil. In Instagram führt ein kurzes Wischen zum nächsten Reel, in YouTube springen zwei Finger zum nächsten Video. Apps ohne Profil nutzen das allgemeine.

Drei Glaskarten für Leser, Musik und Kamera, die jeweils Gesten mit Aktionen in dieser App verbinden. Das Profil Musik ist aktiv und leuchtet vorne.
FIG. 04Das Profil wechselt mit der App im Vordergrund.

Android-Paketcom.whatsapp, com.whatsapp.w4b

WhatsApp: Gesten und ihre Aktionen
GesteAktion
Kurzes Wischen nach rechtsVom Cursor aus nach rechts wischen, um auf diese Nachricht zu antworten
Zwei Finger nach linksDen Bildschirm nach links wischen
Zwei Finger nach rechtsDen Bildschirm nach rechts wischen

Alles andere kommt aus dem allgemeinen Profil. Sprachpläne nutzen Suchfeld, Nachrichtenfeld und Senden-Taste von WhatsApp und halten trotzdem vor dem Senden an.

src/app-profiles/profiles/youtube.json
{
  "id": "youtube",
  "packages": ["com.google.android.youtube"],
  "bindings": {
    "flick_up": { "type": "swipe", "direction": "up" },
    "swipe_two_left": {
      "type": "media", "action": "next"
    },
    "pinch_hold": {
      "type": "media", "action": "play_pause"
    }
  }
}

Eine JSON-Datei pro App, beim Start gegen ein Schema geprüft. Keine Geste kann allein senden, posten oder bezahlen.

05Von der Stimme zur Aktion

Einmal sagen. Jeden Schritt sehen.

Mach eine Faust oder sag „Sigil“ und frag. Die Anfrage wird zu einem kurzen Plan sichtbarer Schritte, und der Plan stoppt, bevor irgendetwas dein Smartphone verlässt.

Links hört die Kontrollsphäre zu. Die Stimme verlässt sie als Welle, die zu einer Lichtlinie durch vier Glasknoten wird: Nachrichten öffnen, Ana finden, Notiz schreiben, senden.

  1. 01 · Fragen

    Einmal sagen.

    „Sag Ana, dass ich zehn Minuten später komme.“ Die Sprache wird direkt auf dem Smartphone zu Text.

  2. 02 · Planen

    Jeden Schritt sehen.

    Die Anfrage wird zu einer Kette von Schritten. Jeder Knoten leuchtet erst, wenn sein Schritt wirklich erledigt ist.

  3. 03 · Bestätigen

    Nichts wird ohne dein Ja gesendet.

    Vor dem Senden hält die Kette an und fragt. Ein Fingertipp, eine Berührung oder „ja“ setzen fort, 8 Sekunden Stille brechen ab.

Probier die Kette aus

Simulation

„Sigil, schreib Ana auf WhatsApp, dass ich unterwegs bin.“

    {$store.chain.steps.map((step, i) => (
  1. {step.num} {step.label}
    2. ))}

Bereit. Nichts läuft, bis du fragst.

Eine Simulation in deinem Browser. Auf dem Smartphone läuft derselbe Plan in WhatsApp, ein sichtbarer Schritt nach dem anderen.

06Auf dem Gerät

Dein Smartphone sieht es. Dein Smartphone behält es.

Handerkennung, Spracherkennung und Sprachmodell laufen auf dem Smartphone. Kein Konto, kein Server, keine Aufzeichnung.

Ein Smartphone birgt eine leuchtende neuronale Kugel. Kamerabilder von links und eine Sprachwelle von rechts fließen hinein und bleiben drinnen. Die Cloud steht draußen, als nicht nötig markiert.
FIG. 06Kamerabilder und Stimme fließen hinein und bleiben drin. Die Cloud wird nicht gebraucht.

  • Bilder bleiben im Speicher

    Kamerabilder werden verarbeitet und verworfen. Nur 42 Zahlen pro Bild, die Punkte deiner Hand, erreichen die Oberfläche.

  • Das Aktivierungswort bleibt lokal

    Die Worterkennung läuft auf dem Smartphone und verwirft laufend das Audio vor dem Wort.

  • Kein Konto, keine Analyse

    Nichts von deinem Bildschirm wird hochgeladen, protokolliert oder gezählt. Daten zur Feinabstimmung bleiben auf dem Gerät.

  • Die Kamera versteckt sich nie

    Solange die Kamera läuft, bleibt ein Erkennungs-Hinweis sichtbar. Ein Tippen oder die Worte „Kamera aus“ stoppen sie.

Ein Modell, das zu deinem Smartphone passt.

Sigil wählt die größte Stufe, die in 35 Prozent des Arbeitsspeichers passt. Modelle werden nur mit deiner Zustimmung geladen, standardmäßig über WLAN, und vor der Nutzung geprüft.

8 GB

Sigil gönnt sich 2,8 GB

Modellstufen nach Arbeitsspeicher
StufeWas läuftDownloadSpitzenspeicher
Nur RegelnAb 3 GBHanderkennung, die Spracherkennung des Systems und ein Regelparser für Englisch und Portugiesischetwa 8 MBetwa 60 MB
LeichtAb 6 GBHanderkennung, Whisper base und Qwen2.5 1.5Betwa 1,07 GBetwa 1,4 GB
VollAb 8 GBPasst zu diesem GerätHanderkennung, Whisper small und Qwen2.5 3Betwa 2,15 GBetwa 2,6 GB

07Plattformen

Ehrlich zu jeder Plattform.

Andere Apps zu steuern geht nur unter Android. Auf dem iPhone arbeitet Sigil in seinen eigenen Bildschirmen und über Kurzbefehle, und sagt das auch.

Android

Volle Kontrolle.

Über einen Bedienungshilfen-Dienst, den du selbst aktivierst, tippt, wischt, scrollt und schreibt Sigil in jeder App und geht zurück, zum Home-Bildschirm oder zu den letzten Apps. Der Cursor erscheint über allen Apps, und die Kamera läuft mit einer sichtbaren Benachrichtigung weiter, die du stoppen kannst.

  • Als Bedienungshilfe für die freihändige Steuerung deklariert
  • Von dir aktiviert, unter Einstellungen, Bedienungshilfen
  • Handelt nur dort, wo du zeigst, und nur, wenn du fragst

iOS

In Sigil und über Kurzbefehle.

iOS erlaubt einer App nicht, andere Apps zu lesen, darin zu tippen oder darüber zu zeichnen, und auch keine Kamera im Hintergrund. Auf dem iPhone verfolgt Sigil deine Hand in seinen eigenen Bildschirmen, öffnet Apps und Suchen über Links, startet deine Kurzbefehle und bietet seine Aktionen als App Intents für die Kurzbefehle-App und die Aktionstaste an.

  • Gesten, Cursor und Sphäre innerhalb von Sigil
  • Sprachpläne über Links und Kurzbefehle
  • Schritte, die iOS nicht erlaubt, werden als fehlgeschlagen gemeldet, nie vorgetäuscht
Was jede Plattform erlaubt
FunktionAndroidiOS
Cursor und KontrollsphäreÜber allen AppsInnerhalb von Sigil
Gesten in anderen AppsJa, über die BedienungshilfenNein
SprachpläneSchritt für Schritt, in jeder AppÜber Links und Kurzbefehle
Kamera bei geöffneten anderen AppsJa, mit sichtbarer BenachrichtigungNein
Modelle auf dem GerätJaJa

08Entwicklung verfolgen

Offen entwickelt.

Die Android-Vorschau folgt schon deiner Hand, tippt, hört zu und versteht alles auf dem Telefon. Als Nächstes stimmen wir die Erkennung auf mehr Geräten ab und bereiten die Stores vor.

  1. M1 · Fertig

    Grundgerüst

    Gestenerkennung mit Tests, App-Profile, Planer, Bestätigungsregel, Planausführung und das Android-Steuermodul.

  2. M2 · Fertig

    Live-Hände

    Handerkennung mit MediaPipe an der Kamera, für jede Person kalibriert.

  3. M3 · Fertig

    Android von Anfang bis Ende

    Gesten und Pläne, die in WhatsApp, YouTube, TikTok und Chrome auf echten Smartphones handeln.

  4. M4 · Fertig

    Sprache auf dem Gerät

    Spracherkennung und ein Modell mit Tool-Aufrufen auf dem Smartphone, passend zu seinem Speicher.

  5. M5 · Als Nächstes

    Stores

    App Intents und Kurzbefehle auf iOS und die Prüfung der Bedienungshilfen bei Google Play.