Gestes · Voix · Sur l’appareil

Tracez un signe. Le téléphone obéit.

Sigil pilote votre téléphone avec des signes tracés dans l’air et avec votre voix. Tout ce qu’il voit et entend reste sur le téléphone.

Télécharger pour Android Voir le fonctionnement

Préversion Android avec suivi des mains en direct, voix et modèle sur l’appareil.

  • 21 points par main
  • Modèles sur le téléphone
  • Ni compte, ni cloud

00Le signe

Quatre façons de lire la marque

  1. 01 · Une lettre

    Le S de SIGIL.

    Deux traits autour d’un point de lumière. La colonne du S n’est jamais tracée : la lumière en tient lieu.

  2. 02 · Un geste

    Deux traits, un point.

    Le bout d’un doigt qui se referme sur un point, comme le pouce et l’index se rejoignent dans un pincement.

  3. 03 · Un curseur

    La lumière est le curseur.

    Le point suit votre index sur l’écran, et il forme le cœur de la Sphère de contrôle.

  4. 04 · Un sceau

    Tournez-le. Il reste le même.

    Un demi-tour ne change rien au signe, comme il se doit pour un sceau. Sa racine latine, sigillum, désigne un petit sceau.

01Fonctionnement

D’un signe dans l’air à une touche sur l’écran.

Trois étapes, et toutes tournent sur le téléphone.

Une application de musique sur un téléphone. Le curseur holographique arrive en traînée de lumière et s’accroche au bouton Lecture, qui s’allume comme une lentille de verre.

  1. 01 · Voir

    La caméra voit votre main.

    La caméra frontale repère 21 points sur votre main, de 30 à 60 fois par seconde. Les images sont lues en mémoire puis effacées.

  2. 02 · Comprendre

    Les gestes deviennent des intentions.

    Un petit classifieur lit les postures et les mouvements : un pincement, un balayage, un cercle dans l’air. L’application au premier plan décide du sens de chaque signe.

  3. 03 · Agir

    Les actions s’exécutent.

    Le curseur s’accroche aux cibles, et le pincement tombe là où vous visiez. Tout ce qui envoie, publie ou paie attend votre accord.

De la caméra à l’action

  1. Caméra frontale
  2. 21 points de la main
  3. Filtre One Euro
  4. Classifieur de gestes
  5. Profil d’application
  6. Action

02Les gestes

14 signes, une main.

Chaque signe se fait paume tournée vers la caméra, telle qu’elle vous voit. Et chacun a aussi un équivalent tactile et un équivalent vocal.

Geste 03 / 14

Pincement

Reconnu quand
Le bout du pouce et celui de l’index se touchent puis se séparent en moins de 300 ms.
Ce qu’il fait
Touche l’endroit du curseur. La touche tombe là où vous visiez 90 ms plus tôt, avant que les doigts ne commencent à se fermer.

Retour 90 ms

Aucun signe ne se déclenche quand votre main va vers l’écran, quand deux mains se chevauchent ou dans les 300 ms qui suivent le précédent. Perdre la main de vue ne valide jamais une action.

03La Sphère de contrôle

Ouvrez la main. La sphère répond.

Une sphère de verre s’ouvre là où se trouve votre main, au-dessus de l’application en cours, avec les actions utiles à cet instant.

La Sphère de contrôle : une sphère de verre avec le point de lumière au centre, un anneau d’état et six actions rapides en orbite. Terminé s’allume sous le curseur, l’application est affichée au-dessus et les contacts récents en dessous.

  1. 01 · Appeler

    Montrez la paume ouverte.

    Après 400 ms d’immobilité, la sphère s’ouvre là où est votre main. Dire « Sigil » fonctionne aussi.

  2. 02 · Proposer

    Six actions, choisies par l’application.

    Dans Messages : Répondre, Lire à voix haute et Terminé. Les contacts récents se placent sous l’orbite, en initiales seulement.

  3. 03 · Choisir

    Pointez. Pincez. Terminé.

    Le curseur s’accroche à l’action. Avec l’habitude, un balayage vers elle suffit, sans regarder.

Appeler
Gardez la paume ouverte et immobile 400 ms, dites « Sigil » ou faites un appui long sur le bord de l’écran.
Choisir
Pointez et pincez, ou pincez le centre et balayez vers une action sans regarder. Vous pouvez aussi dire son nom ou la toucher.
Fermer
Fermez le poing, balayez vers le bas avec deux doigts ou dites « Sigil, ferme ». Sans main ni voix pendant 8 secondes, elle se ferme d’elle-même.

La marque en mouvement

Elle respire : une respiration lente toutes les 5,2 secondes.

Les arcs s’ouvrent de 8 degrés et vibrent avec votre voix. Pendant 8 secondes, les demandes suivantes se passent du mot d’activation.

Les arcs tournent autour du point, un tour toutes les 1,6 seconde. Au bout de 1,2 seconde, la légende indique « Je m’en occupe. »

Le point s’illumine une fois et se pose en 320 ms.

Avec les animations réduites, la marque reste immobile et le libellé indique l’état.

04Profils par application

Chaque application parle sa langue.

Sigil sait quelle application est au premier plan et charge son profil. Dans Instagram, un balayage rapide passe au Reel suivant ; dans YouTube, deux doigts passent à la vidéo suivante. Les applications sans profil utilisent le profil général.

Trois cartes de verre, Lecteur, Musique et Appareil photo, qui associent des gestes à des actions dans chaque application. Le profil Musique est actif et éclairé au premier plan.
FIG. 04Le profil change avec l’application au premier plan.

Paquet Androidcom.whatsapp, com.whatsapp.w4b

WhatsApp: gestes et actions associées
GesteAction
Balayage rapide vers la droiteBalaie vers la droite depuis le curseur, pour répondre à ce message
Deux doigts vers la gaucheBalaie l’écran vers la gauche
Deux doigts vers la droiteBalaie l’écran vers la droite

Le reste vient du profil général. Les plans vocaux utilisent le champ de recherche, la zone de message et le bouton d’envoi de WhatsApp, et s’arrêtent toujours avant l’envoi.

src/app-profiles/profiles/youtube.json
{
  "id": "youtube",
  "packages": ["com.google.android.youtube"],
  "bindings": {
    "flick_up": { "type": "swipe", "direction": "up" },
    "swipe_two_left": {
      "type": "media", "action": "next"
    },
    "pinch_hold": {
      "type": "media", "action": "play_pause"
    }
  }
}

Un fichier JSON par application, vérifié par un schéma au démarrage. Aucun geste ne peut envoyer, publier ou payer à lui seul.

05De la voix à l’action

Dites-le une fois. Suivez chaque étape.

Fermez le poing ou dites « Sigil », puis demandez. La demande devient un court plan d’étapes visibles, et le plan s’arrête avant que quoi que ce soit ne quitte votre téléphone.

À gauche, la Sphère de contrôle écoute. La voix en sort en une onde qui devient une ligne de lumière traversant quatre nœuds de verre : ouvrir Messages, trouver Ana, écrire le mot, envoyer.

  1. 01 · Demander

    Dites-le une fois.

    « Dis à Ana que j’ai dix minutes de retard. » La voix devient du texte sur le téléphone même.

  2. 02 · Planifier

    Suivez chaque étape.

    La demande devient une chaîne d’étapes. Chaque nœud ne s’allume que lorsque son étape est vraiment terminée.

  3. 03 · Confirmer

    Rien ne part sans votre accord.

    Avant l’envoi, la chaîne s’arrête et demande. Un pincement, une touche ou « oui » la font continuer, et 8 secondes de silence l’annulent.

Essayez la chaîne

Simulation

« Sigil, envoie à Ana sur WhatsApp que je suis en route. »

    {$store.chain.steps.map((step, i) => (
  1. {step.num} {step.label}
    2. ))}

Prêt. Rien ne se lance sans votre demande.

Une simulation dans votre navigateur. Sur le téléphone, le même plan s’exécute dans WhatsApp, une étape visible à la fois.

06Sur l’appareil

Vu par votre téléphone. Gardé par lui.

Le suivi de la main, la reconnaissance vocale et le modèle de langage tournent sur le téléphone. Ni compte, ni serveur, ni enregistrement.

Un téléphone abrite une sphère neuronale lumineuse. Les images de la caméra par la gauche et une onde vocale par la droite y entrent et y restent. Le cloud reste dehors, marqué comme inutile.
FIG. 06Les images et la voix entrent et restent. Le cloud n’est pas nécessaire.

  • Les images restent en mémoire

    Les images de la caméra sont traitées puis effacées. Seuls 42 nombres par image, les points de votre main, arrivent jusqu’à l’interface.

  • Le mot d’activation reste local

    Le détecteur du mot tourne sur le téléphone et efface en continu l’audio qui le précède.

  • Ni compte, ni statistiques

    Rien de votre écran n’est envoyé, journalisé ou compté. Les données de réglage restent sur le téléphone.

  • La caméra ne se cache jamais

    Un indicateur de suivi reste affiché tant que la caméra fonctionne. Une touche ou les mots « coupe la caméra » l’arrêtent.

Un modèle à la taille de votre téléphone.

Sigil choisit le plus grand niveau qui tient dans 35 pour cent de la mémoire du téléphone. Les modèles ne se téléchargent qu’avec votre accord, en Wi-Fi par défaut, et sont vérifiés avant usage.

8 Go

Sigil s’accorde 2,8 Go

Niveaux de modèle selon la mémoire du téléphone
NiveauCe qui tourneTéléchargementMémoire maximale
Règles seulesDès 3 GoSuivi de la main, reconnaissance vocale du système et un analyseur de règles pour l’anglais et le portugaisenviron 8 Moenviron 60 Mo
LégerDès 6 GoSuivi de la main, Whisper base et Qwen2.5 1.5Benviron 1,07 Goenviron 1,4 Go
CompletDès 8 GoAdapté à ce téléphoneSuivi de la main, Whisper small et Qwen2.5 3Benviron 2,15 Goenviron 2,6 Go

07Plateformes

Franc sur chaque plateforme.

Piloter d’autres applications n’est possible que sur Android. Sur iPhone, Sigil fonctionne dans ses propres écrans et via Raccourcis, et le dit.

Android

Contrôle total.

Grâce à un service d’accessibilité que vous activez vous-même, Sigil touche, balaie, fait défiler, écrit et revient en arrière, à l’accueil ou aux applications récentes dans n’importe quelle application. Le curseur s’affiche au-dessus de toutes les applications, et la caméra continue de fonctionner avec une notification visible que vous pouvez arrêter.

  • Déclaré comme outil d’accessibilité pour un contrôle sans les mains
  • Activé par vous, dans Paramètres, Accessibilité
  • N’agit que là où vous pointez et quand vous le demandez

iOS

Dans Sigil, et via Raccourcis.

iOS ne permet pas à une application de lire, toucher ou dessiner par-dessus d’autres applications, ni d’utiliser la caméra en arrière-plan. Sur iPhone, Sigil suit votre main dans ses propres écrans, ouvre des applications et des recherches par des liens, lance vos Raccourcis et propose ses actions comme App Intents à l’app Raccourcis et au bouton Action.

  • Gestes, curseur et sphère dans Sigil
  • Plans vocaux par liens et Raccourcis
  • Les étapes qu’iOS n’autorise pas sont signalées en échec, jamais simulées
Ce que chaque plateforme permet
FonctionAndroidiOS
Curseur et Sphère de contrôleAu-dessus de toutes les appsDans Sigil
Gestes dans d’autres appsOui, via l’accessibilitéNon
Plans vocauxÉtape par étape, dans toute appPar liens et Raccourcis
Caméra avec d’autres apps ouvertesOui, avec une notification visibleNon
Modèles sur le téléphoneOuiOui

08Suivre le projet

Construit au grand jour.

La préversion Android suit déjà votre main, touche, écoute et comprend sur le téléphone. Prochaine étape : affiner le suivi sur plus de téléphones et préparer les stores.

  1. M1 · Fait

    Squelette

    Moteur de gestes testé, profils par application, planificateur, politique de confirmation, exécuteur de plans et module de contrôle Android.

  2. M2 · Fait

    Mains en direct

    Suivi de la main avec MediaPipe sur la caméra, calibré pour chaque personne.

  3. M3 · Fait

    Android de bout en bout

    Gestes et plans en action dans WhatsApp, YouTube, TikTok et Chrome sur de vrais téléphones.

  4. M4 · Fait

    Langage sur l’appareil

    Parole et modèle capable d’appeler des outils sur le téléphone, dimensionnés selon sa mémoire.

  5. M5 · Ensuite

    Boutiques

    App Intents et Raccourcis sur iOS, et l’examen d’accessibilité sur Google Play.