手势 · 语音 · 设备端

隔空画个符号， 手机照办。

Sigil 让你隔空画出符号、开口说话，就能操控手机。它看到和听到的一切，都留在手机里。

下载 Android 版 了解工作原理

Android 预览版：实时手部追踪、语音和设备端模型。

  • 每只手 21 个点
  • 模型在手机上运行
  • 无需账号，无需云端

00符号

读懂这个标志的四种方式

  1. 01 · 一个字母

    SIGIL 的 S。

    两笔弧线围绕一个光点。S 的中间那一笔从不画出来，光就是那一笔。

  2. 02 · 一个手势

    两笔，一个点。

    指尖向一个点收拢，就像捏合时拇指与食指相遇。

  3. 03 · 一个光标

    光就是光标。

    这个光点跟随你的食指在屏幕上移动，也是控制球的核心。

  4. 04 · 一枚印章

    转过来，依然不变。

    旋转半圈，符号保持原样，印章本该如此。它的拉丁词源 sigillum，意思是小印章。

01工作原理

从空中的符号，到屏幕上的一次点按。

三个阶段，全部在手机上完成。

手机上的音乐应用。全息光标带着一道光迹滑入，吸附到播放按钮上，按钮像一枚玻璃透镜般亮起。

  1. 01 · 看见

    摄像头看到你的手。

    前置摄像头每秒 30 到 60 次找到你手上的 21 个点。画面只在内存中读取，随即丢弃。

  2. 02 · 理解

    手势变成意图。

    一个小巧的分类器读取手的姿态和动作：捏合、轻扫、在空中画圈。每个符号的含义，由当前前台的应用决定。

  3. 03 · 执行

    操作随之发生。

    光标会吸附到目标上，捏合就落在你瞄准的位置。凡是发送、发布或付款的操作，都会等你确认。

从摄像头到操作

  1. 前置摄像头
  2. 手部 21 个点
  3. One Euro 滤波
  4. 手势分类器
  5. 应用配置
  6. 操作

02手势

14 个符号，一只手。

每个符号都以掌心朝向摄像头完成，正是它看到你的角度。每一个也都可以用触控或语音来代替。

手势 03 / 14

捏合

识别条件
拇指和食指指尖相碰，并在 300 毫秒内松开。
作用
在光标处点按。点按会落在 90 毫秒前你瞄准的位置，也就是手指开始合拢之前。

回溯 90 ms

当你的手正伸向屏幕、两只手重叠，或距离上一个符号不到 300 毫秒时，符号都不会触发。手离开画面，也绝不会确认任何操作。

03控制球

张开手掌，控制球随即回应。

一个玻璃球体在你手的位置展开，悬浮在当前应用之上，只放此刻用得上的操作。

控制球：中心带有光点的玻璃球体、一圈状态环，以及环绕轨道排列的六个快捷操作。光标下的“完成”被点亮，上方显示应用，下方是最近联系人。

  1. 01 · 唤出

    张开手掌。

    静止 400 毫秒后，控制球会在你手的位置展开。说一声“Sigil”也可以。

  2. 02 · 呈现

    六个操作，由应用挑选。

    在信息里，是回复、朗读和完成。最近联系人排在轨道下方，只显示姓名首字母。

  3. 03 · 选择

    指向，捏合，完成。

    光标会吸附到操作上。熟练之后，不用看，朝它轻扫一下就行。

唤出
张开手掌静止 400 毫秒，或说“Sigil”，或长按屏幕边缘。
选择
指向后捏合；或捏住中心，不看屏幕直接朝某个操作轻扫。也可以直接说出它的名字，或用手指点按。
关闭
握拳、双指下滑，或说“Sigil，关闭”。如果 8 秒内既没有手也没有声音，它会自动关闭。

动态的标志

在呼吸：每 5.2 秒一次缓慢的呼吸。

两道弧线张开 8 度，随着你的声音起伏。接下来的 8 秒内，继续提问无需唤醒词。

两道弧线绕着光点旋转，每 1.6 秒一圈。超过 1.2 秒后，字幕会显示“正在处理。”

光点亮起一次，在 320 毫秒内归于平静。

开启减弱动态效果后，标志保持静止，由文字标签说明状态。

04按应用的手势配置

每个应用，都有自己的语言。

Sigil 知道前台是哪个应用，并加载它的配置。在 Instagram 里，轻扫一下进入下一个 Reel；在 YouTube 里，双指一滑跳到下一个视频。没有专属配置的应用使用通用配置。

阅读、音乐、相机三张玻璃卡片，分别把手势对应到各自应用中的操作。音乐配置处于启用状态，在最前方亮起。
FIG. 04配置会随前台应用自动切换。

Android 包名com.whatsapp, com.whatsapp.w4b

WhatsApp: 手势与对应操作
手势操作
向右轻扫从光标处向右滑，回复那条消息
双指左滑屏幕向左滑
双指右滑屏幕向右滑

其余操作沿用通用配置。语音计划会用到 WhatsApp 的搜索框、输入框和发送按钮，并且仍会在发送前停下。

src/app-profiles/profiles/youtube.json
{
  "id": "youtube",
  "packages": ["com.google.android.youtube"],
  "bindings": {
    "flick_up": { "type": "swipe", "direction": "up" },
    "swipe_two_left": {
      "type": "media", "action": "next"
    },
    "pinch_hold": {
      "type": "media", "action": "play_pause"
    }
  }
}

每个应用一个 JSON 文件，启动时按 schema 校验。任何手势都无法单独完成发送、发布或付款。

05从语音到操作

说一次，看清每一步。

握拳或说“Sigil”，然后提出请求。请求会变成一份由可见步骤组成的简短计划，并在任何内容离开手机之前停下。

左侧的控制球正在聆听。声音化作一道波从中流出，汇成一条光线，穿过四个玻璃节点：打开信息、找到 Ana、写下留言、发送。

  1. 01 · 提出请求

    说一次就好。

    “告诉 Ana 我会晚到十分钟。”语音在手机上直接转成文字。

  2. 02 · 制定计划

    看清每一步。

    请求会变成一串步骤。只有当这一步真正完成，对应的节点才会亮起。

  3. 03 · 确认

    没有你的同意，什么都不会发出。

    发送之前，流程会停下来询问。捏合、点按或说“是”就继续；沉默 8 秒则取消。

试试这个流程

模拟演示

“Sigil，在 WhatsApp 上告诉 Ana 我在路上了。”

    {$store.chain.steps.map((step, i) => (
  1. {step.num} {step.label}
    2. ))}

准备就绪。你不发话，什么都不会执行。

这是在浏览器中的模拟。在手机上，同样的计划会在 WhatsApp 里逐步执行，每一步都清晰可见。

06设备端

由你的手机看见， 也只留在你的手机里。

手部追踪、语音识别和语言模型都在手机上运行。没有账号，没有服务器，也不录像录音。

手机里有一个发光的神经网络球体。左侧的摄像头画面和右侧的声波流入其中并留在里面。云端在外面，被标注为不需要。
FIG. 06摄像头画面和语音流进来，就留在里面。不需要云端。

  • 画面只留在内存中

    摄像头画面处理完即丢弃。每一帧只有 42 个数字，也就是你手上的那些点，会传到界面。

  • 唤醒词只在本地检测

    唤醒词检测在手机上运行，并持续丢弃唤醒词之前的音频。

  • 无需账号，没有数据分析

    屏幕上的任何内容都不会被上传、记录或统计。用于调校的数据也留在手机上。

  • 摄像头从不隐身

    摄像头运行期间，屏幕上始终显示追踪提示。点按一下，或说“关闭摄像头”，即可停止。

与你的手机相匹配的模型。

Sigil 会选择能放进手机 35% 内存的最大档位。模型只在你同意后下载，默认仅通过 Wi-Fi，并在使用前进行校验。

8 GB

Sigil 最多使用 2.8 GB

按手机内存划分的模型档位
档位运行内容下载大小峰值内存
仅规则3 GB 起手部追踪、系统语音识别，以及支持英语和葡萄牙语的规则解析约 8 MB约 60 MB
轻量6 GB 起手部追踪、Whisper base 和 Qwen2.5 1.5B约 1.07 GB约 1.4 GB
完整8 GB 起适合这部手机手部追踪、Whisper small 和 Qwen2.5 3B约 2.15 GB约 2.6 GB

07平台

坦诚面对每个平台。

只有在 Android 上才能操控其他应用。在 iPhone 上，Sigil 在自己的界面内以及通过快捷指令工作，并且会明确告诉你。

Android

全面掌控。

借助一项由你亲自开启的无障碍服务，Sigil 可以在任何应用中点按、滑动、滚动、输入文字，并返回、回到主屏幕或打开最近使用的应用。光标显示在所有应用之上，摄像头在运行时会显示一条可随时停止的通知。

  • 以无障碍工具身份声明，用于免手操控
  • 由你在设置的无障碍中亲自开启
  • 只在你指向的地方、只在你要求时行动

iOS

在 Sigil 内，以及通过快捷指令。

iOS 不允许应用读取、点按或覆盖其他应用，也不允许在后台使用摄像头。在 iPhone 上，Sigil 在自己的界面里追踪你的手，通过链接打开应用和搜索，运行你的快捷指令，并把自己的操作以 App Intents 的形式提供给快捷指令应用和操作按钮。

  • 手势、光标和控制球都在 Sigil 内
  • 语音计划通过链接和快捷指令完成
  • iOS 不允许的步骤会如实标为失败，绝不假装成功
各平台支持的功能
功能AndroidiOS
光标与控制球覆盖所有应用仅在 Sigil 内
在其他应用中使用手势支持，通过无障碍服务不支持
语音计划任何应用中逐步执行通过链接和快捷指令
打开其他应用时使用摄像头支持，并显示通知不支持
模型在手机上运行支持支持

08关注开发进展

在公开中构建。

Android 预览版已经能追踪你的手、点按、聆听，并在手机上完成理解。接下来我们会在更多手机上调校追踪，并准备上架应用商店。

  1. M1 · 已完成

    骨架

    带测试的手势引擎、按应用的配置、规划器、确认规则、计划执行器，以及 Android 控制模块。

  2. M2 · 已完成

    实时手部

    在摄像头上用 MediaPipe 追踪手部，并为每个人单独校准。

  3. M3 · 已完成

    Android 端到端

    让手势和计划在真机上的 WhatsApp、YouTube、TikTok 和 Chrome 中运作。

  4. M4 · 已完成

    设备端语言能力

    在手机上运行的语音识别和可调用工具的模型，按内存大小选择。

  5. M5 · 下一步

    上架应用商店

    iOS 上的 App Intents 与快捷指令，以及 Google Play 的无障碍审核。