Gesti · Voce · Sul dispositivo
Sigil guida il tuo telefono con segni disegnati nell’aria e con la tua voce. Tutto ciò che vede e sente resta sul telefono.
Anteprima per Android con mani dal vivo, voce e modello sul dispositivo.
00Il segno
01 · Una lettera
Due tratti attorno a un punto di luce. Il dorso della S non viene mai disegnato: il dorso è la luce.
02 · Un gesto
La punta di un dito che si chiude su un punto, come pollice e indice si incontrano in un pizzico.
03 · Un cursore
Il punto segue il tuo indice sullo schermo ed è il nucleo della Sfera di controllo.
04 · Un sigillo
Mezzo giro non cambia il segno, come si addice a un sigillo. La sua radice latina, sigillum, significa piccolo sigillo.
01Come funziona
Tre fasi, e tutte funzionano sul telefono.
01 · Vedere
La fotocamera frontale trova 21 punti sulla tua mano, da 30 a 60 volte al secondo. I fotogrammi vengono letti in memoria e scartati.
02 · Capire
Un piccolo classificatore legge pose e movimenti: un pizzico, uno scorrimento, un cerchio nell’aria. L’app in primo piano decide cosa significa ogni segno.
03 · Agire
Il cursore si aggancia ai bersagli, così il pizzico arriva dove hai mirato. Tutto ciò che invia, pubblica o paga aspetta il tuo sì.
Dalla fotocamera all’azione
02I gesti
Ogni segno si fa con il palmo verso la fotocamera, così come lei ti vede. E per ognuno c’è anche una via con il tocco e una con la voce.
Gesto 01 / 14
Tieni 400 ms
Gesto 02 / 14
Tieni 200 ms
Gesto 03 / 14
Indietro 90 ms
Gesto 04 / 14
Finestra 350 ms
Gesto 05 / 14
Tieni 500 ms
Gesto 06 / 14
Ascolto
Gesto 07 / 14
Scorrere
Gesto 08 / 14
Scorrere
Gesto 09 / 14
Scorrere · Avanti
Gesto 10 / 14
Scorrere · Indietro
Gesto 11 / 14
Sistema
Gesto 12 / 14
Manopola
Gesto 13 / 14
Manopola
Gesto 14 / 14
Sotto i 250 ms
03La Sfera di controllo
Una sfera di vetro si apre dove si trova la tua mano, sopra l’app che stai usando, con le azioni utili in quel momento.
01 · Chiamare
Dopo 400 ms di immobilità, la sfera si apre dove si trova la mano. Funziona anche dire «Sigil».
02 · Proporre
In Messaggi: Rispondi, Leggi ad alta voce e Fatto. Le persone recenti stanno sotto l’orbita, solo con le iniziali.
03 · Scegliere
Il cursore si aggancia all’azione. Con un po’ di pratica basta uno scorrimento verso di lei, senza guardare.
Il marchio in movimento
Respira: un respiro lento ogni 5,2 secondi.
Con il movimento ridotto il marchio resta fermo e l’etichetta indica lo stato.
04Profili per app
Sigil sa quale app è in primo piano e ne carica il profilo. Su Instagram uno scorrimento rapido passa al Reel successivo, su YouTube due dita saltano al video successivo. Le app senza profilo usano quello generale.
| Gesto | Azione |
|---|---|
| Scorre a destra dal cursore, per rispondere a quel messaggio | |
| Scorre lo schermo a sinistra | |
| Scorre lo schermo a destra |
Il resto arriva dal profilo generale. I piani vocali usano il campo di ricerca, la casella del messaggio e il pulsante di invio di WhatsApp, e si fermano comunque prima dell’invio.
| Gesto | Azione |
|---|---|
| Reel successivo | |
| Reel precedente | |
| Scorre lo schermo a sinistra | |
| Scorre lo schermo a destra |
Il resto arriva dal profilo generale.
| Gesto | Azione |
|---|---|
| Short successivo | |
| Short precedente | |
| Video successivo | |
| Video precedente | |
| Riproduci o pausa |
Il resto arriva dal profilo generale.
| Gesto | Azione |
|---|---|
| Tocco sul cursore | |
| Doppio tocco sul cursore | |
| Pressione prolungata sul cursore | |
| Aprire la Sfera di controllo | |
| Ascoltare una richiesta | |
| Scorrere la pagina | |
| Scorrere di lato | |
| Indietro, home, app recenti, notifiche | |
| Alzare o abbassare il volume | |
| Scorrere in quella direzione |
Le app senza un profilo proprio usano questi gesti.
{
"id": "youtube",
"packages": ["com.google.android.youtube"],
"bindings": {
"flick_up": { "type": "swipe", "direction": "up" },
"swipe_two_left": {
"type": "media", "action": "next"
},
"pinch_hold": {
"type": "media", "action": "play_pause"
}
}
}Un file JSON per app, verificato con uno schema all’avvio. Nessun gesto può inviare, pubblicare o pagare da solo.
05Dalla voce all’azione
Chiudi il pugno o di’ «Sigil» e chiedi. La richiesta diventa un breve piano di passi visibili, e il piano si ferma prima che qualcosa lasci il tuo telefono.
01 · Chiedere
«Di’ ad Ana che arrivo con dieci minuti di ritardo.» La voce diventa testo direttamente sul telefono.
02 · Pianificare
La richiesta diventa una catena di passi. Ogni nodo si accende solo quando il suo passo è davvero concluso.
03 · Confermare
Prima di inviare, la catena si ferma e chiede. Un pizzico, un tocco o «sì» proseguono, e 8 secondi di silenzio annullano.
Pronto. Niente parte finché non lo chiedi.
Una simulazione nel tuo browser. Sul telefono, lo stesso piano si svolge dentro WhatsApp, un passo visibile alla volta.
06Sul dispositivo
Tracciamento della mano, riconoscimento vocale e modello linguistico funzionano sul telefono. Niente account, niente server, niente registrazioni.
I fotogrammi della fotocamera vengono elaborati e scartati. Solo 42 numeri per fotogramma, i punti della tua mano, arrivano all’interfaccia.
Il rilevatore della parola funziona sul telefono e scarta di continuo l’audio che la precede.
Niente del tuo schermo viene caricato, registrato o contato. I dati di taratura restano sul telefono.
Un indicatore di tracciamento resta sullo schermo finché la fotocamera è attiva. Un tocco o le parole «spegni la fotocamera» la fermano.
Sigil sceglie il livello più grande che sta nel 35 per cento della memoria del telefono. I modelli si scaricano solo con il tuo consenso, via Wi-Fi in modo predefinito, e vengono verificati prima dell’uso.
Sigil si riserva 2,8 GB
| Livello | Cosa funziona | Download | Memoria di picco |
|---|---|---|---|
| Solo regoleDa 3 GB | Tracciamento della mano, il riconoscimento vocale di sistema e un interprete di regole per inglese e portoghese | circa 8 MB | circa 60 MB |
| LeggeroDa 6 GB | Tracciamento della mano, Whisper base e Qwen2.5 1.5B | circa 1,07 GB | circa 1,4 GB |
| CompletoDa 8 GBAdatto a questo telefono | Tracciamento della mano, Whisper small e Qwen2.5 3B | circa 2,15 GB | circa 2,6 GB |
07Piattaforme
Controllare altre app è possibile solo su Android. Su iPhone, Sigil funziona nelle proprie schermate e tramite Comandi, e lo dice chiaramente.
Tramite un servizio di Accessibilità che attivi tu, Sigil tocca, scorre, digita e torna indietro, alla home o alle app recenti in qualsiasi app. Il cursore appare sopra tutte le app, e la fotocamera resta attiva con una notifica visibile che puoi fermare.
iOS non permette a un’app di leggere, toccare o disegnare sopra altre app, né di usare la fotocamera in background. Su iPhone, Sigil segue la tua mano nelle proprie schermate, apre app e ricerche tramite link, esegue i tuoi Comandi e offre le sue azioni come App Intents all’app Comandi e al tasto Azione.
| Funzione | Android | iOS |
|---|---|---|
| Cursore e Sfera di controllo | Sopra tutte le app | Dentro Sigil |
| Gesti in altre app | Sì, tramite l’Accessibilità | No |
| Piani vocali | Passo dopo passo, in qualsiasi app | Tramite link e Comandi |
| Fotocamera con altre app aperte | Sì, con una notifica visibile | No |
| Modelli sul telefono | Sì | Sì |
08Segui lo sviluppo
L’anteprima per Android segue già la tua mano, tocca, ascolta e capisce sul telefono. Ora affiniamo il tracciamento su più telefoni e prepariamo gli store.
Le anteprime per Android sono su GitHub Releases. Se Android lo chiede, consenti le impostazioni con limitazioni di Sigil nelle info dell’app prima di attivare il servizio di accessibilità.
Motore dei gesti con test, profili per app, pianificatore, regola di conferma, esecutore dei piani e il modulo di controllo Android.
Tracciamento della mano con MediaPipe sulla fotocamera, calibrato per ogni persona.
Gesti e piani che agiscono in WhatsApp, YouTube, TikTok e Chrome su telefoni veri.
Voce e un modello che chiama strumenti sul telefono, dimensionati sulla sua memoria.
App Intents e Comandi su iOS, e la revisione di accessibilità su Google Play.