ジェスチャー · 音声 · オンデバイス

空中に印を描く。 スマホが従う。

Sigilは、空中に描いたサインと声でスマホを操作します。見たものも聞いたものも、すべてスマホの中にとどまります。

Android 版をダウンロード しくみを見る

Android 向けプレビュー版。リアルタイムの手のトラッキング、音声、端末内モデルに対応。

  • 片手21ポイント
  • モデルは端末内
  • アカウント不要、クラウド不要

00印

このマークの4つの読み方

  1. 01 · 文字

    SIGILのS。

    光の点を囲む2本の線。Sの背骨は描かれません。光そのものが背骨です。

  2. 02 · ジェスチャー

    2本の線と、1つの点。

    指先が1点に向かって閉じていく動き。ピンチで親指と人差し指が触れ合うのと同じです。

  3. 03 · カーソル

    光がカーソルになる。

    この点が人差し指を追って画面上を動き、コントロールスフィアの中心にもなります。

  4. 04 · 印章

    回しても、同じ形。

    半回転しても形は変わりません。印章とはそういうものです。語源のラテン語 sigillum は、小さな印章を意味します。

01しくみ

空中のサインから、画面のタップまで。

3つのステップは、どれもスマホの中で完結します。

スマホの音楽アプリ。ホログラムのカーソルが光の軌跡を描きながら近づき、再生ボタンに吸着する。ボタンはガラスのレンズのように光る。

  1. 01 · 見る

    カメラが手をとらえる。

    フロントカメラが、手の21のポイントを毎秒30から60回検出します。映像はメモリ上で読み取り、すぐに破棄します。

  2. 02 · 理解する

    ジェスチャーが意図になる。

    小さな分類器が、手の形と動きを読み取ります。ピンチ、フリック、空中に描く円。それぞれのサインの意味は、前面のアプリが決めます。

  3. 03 · 動かす

    操作が実行される。

    カーソルがターゲットに吸着するので、ピンチは狙った場所に届きます。送信、投稿、支払いは、あなたの確認を待ちます。

カメラから操作まで

  1. フロントカメラ
  2. 手の21ポイント
  3. One Euro フィルター
  4. ジェスチャー分類器
  5. アプリのプロファイル
  6. 操作

02ジェスチャー

14のサイン、片手で。

どのサインも、手のひらをカメラに向けて行います。カメラから見たままの向きです。どのサインにも、タッチと声による代わりの手段があります。

ジェスチャー 03 / 14

ピンチ

認識の条件
親指と人差し指の先が触れ、300ミリ秒以内に離れる。
できること
カーソルの位置をタップします。指が閉じ始める前、90ミリ秒前に狙っていた場所に届きます。

90 ms さかのぼる

手が画面に向かって伸びているとき、2つの手が重なっているとき、前のサインから300ミリ秒以内には、サインは反応しません。手を見失っても、操作が確定することはありません。

03コントロールスフィア

手を開けば、スフィアが応える。

手のある場所に、ガラスの球体が開きます。使っているアプリの上に、いま必要な操作だけを並べて。

コントロールスフィア。中心に光の点を持つガラスの球体、ステータスのリング、軌道上に並ぶ6つのクイック操作。カーソルの下で「完了」が光り、上にアプリ名、下に最近の連絡先が並ぶ。

  1. 01 · 呼び出す

    手のひらを開いて見せる。

    400ミリ秒静止すると、手のある場所にスフィアが開きます。「Sigil」と呼んでも開きます。

  2. 02 · 差し出す

    6つの操作は、アプリが選ぶ。

    メッセージなら、返信、読み上げ、完了。最近の連絡先は軌道の下に、イニシャルだけで並びます。

  3. 03 · 選ぶ

    指して、ピンチ。完了。

    カーソルが操作に吸着します。慣れれば、見ないままフリックするだけで選べます。

呼び出す
開いた手のひらを400ミリ秒静止させるか、「Sigil」と呼ぶか、画面の端を長押しします。
選ぶ
指してピンチするか、中心をピンチして見ないまま操作の方向へフリック。名前を言ったり、タッチしたりしてもかまいません。
閉じる
グーを作るか、2本指で下へスワイプするか、「Sigil、閉じて」と言います。手も声もない状態が8秒続くと、自動で閉じます。

動くマーク

呼吸しています。5.2秒に一度、ゆっくりと。

弧が8度開き、声に合わせて脈打ちます。続けての依頼は、8秒間ウェイクワードなしで話せます。

弧が点のまわりを1.6秒で一周します。1.2秒を過ぎると、字幕に「処理しています。」と表示されます。

点が一度だけ光り、320ミリ秒で落ち着きます。

視差効果を減らす設定では、マークは静止したまま、ラベルで状態を伝えます。

04アプリごとのプロファイル

アプリごとに、それぞれの言葉で。

Sigilは前面にあるアプリを把握し、そのプロファイルを読み込みます。Instagramではフリックで次のリールへ、YouTubeでは2本指で次の動画へ。プロファイルのないアプリでは、共通プロファイルが使われます。

リーダー、ミュージック、カメラの3枚のガラスカード。それぞれのアプリでジェスチャーと操作を結びつけている。ミュージックのプロファイルが有効で、手前で光っている。
FIG. 04前面のアプリに合わせて、プロファイルが切り替わります。

Android パッケージcom.whatsapp, com.whatsapp.w4b

WhatsApp: ジェスチャーと操作の一覧
ジェスチャー操作
右へフリックカーソル位置から右へスワイプして、そのメッセージに返信
2本指で左へ画面を左へスワイプ
2本指で右へ画面を右へスワイプ

ほかは共通プロファイルに従います。音声のプランはWhatsAppの検索欄、入力欄、送信ボタンを使い、送信の前には必ず止まります。

src/app-profiles/profiles/youtube.json
{
  "id": "youtube",
  "packages": ["com.google.android.youtube"],
  "bindings": {
    "flick_up": { "type": "swipe", "direction": "up" },
    "swipe_two_left": {
      "type": "media", "action": "next"
    },
    "pinch_hold": {
      "type": "media", "action": "play_pause"
    }
  }
}

アプリごとに1つのJSONファイル。起動時にスキーマで検証します。どのジェスチャーも、単独で送信、投稿、支払いはできません。

05声から操作へ

一度言えば、すべての手順が見える。

グーを作るか「Sigil」と呼んで、頼みごとを伝えます。リクエストは目に見える短い手順のプランになり、何かがスマホの外へ出る前に止まります。

左でコントロールスフィアが聞いている。声は波となってそこから流れ出し、4つのガラスのノードを貫く光の線に変わる。メッセージを開く、Anaを探す、メモを書く、送信する。

  1. 01 · 頼む

    一度、言うだけ。

    「Anaに10分遅れると伝えて」。声はスマホの中でテキストになります。

  2. 02 · 計画する

    すべての手順が見える。

    リクエストは手順の連なりになります。各ノードは、その手順が本当に終わったときだけ光ります。

  3. 03 · 確認する

    あなたの「はい」なしには送らない。

    送信の前に、手順は止まって確認します。ピンチ、タッチ、または「はい」で続行。8秒間の沈黙でキャンセルされます。

手順を試す

シミュレーション

「Sigil、WhatsAppでAnaに今向かってるって送って」

    {$store.chain.steps.map((step, i) => (
  1. {step.num} {step.label}
    2. ))}

準備完了。頼まれるまで何も実行しません。

ブラウザ上のシミュレーションです。スマホでは、同じプランがWhatsAppの中で、目に見える手順として1つずつ進みます。

06オンデバイス

見るのは、あなたのスマホ。 残るのも、あなたのスマホ。

手の認識、音声認識、言語モデルは、すべてスマホの中で動きます。アカウントもサーバーも、録画も録音もありません。

スマホの中に、光るニューラルの球体がある。左からカメラの映像、右から声の波が流れ込み、その中にとどまる。クラウドは外にあり、不要と記されている。
FIG. 06カメラの映像と声は、流れ込んで中にとどまります。クラウドは必要ありません。

  • 映像はメモリの中だけ

    カメラの映像は処理したらすぐに破棄します。画面側に届くのは、手のポイントを表す1フレームあたり42個の数値だけです。

  • ウェイクワードも端末内

    ウェイクワードの検出はスマホの中で動き、言葉の前の音声を常に破棄し続けます。

  • アカウントも分析もなし

    画面の内容を送信したり、記録したり、数えたりはしません。調整用のデータもスマホの中にとどまります。

  • カメラは隠れない

    カメラが動いている間は、認識中の表示が画面に出続けます。タップするか「カメラをオフ」と言えば止まります。

スマホに合ったサイズのモデル。

Sigilは、スマホのメモリの35パーセントに収まる最大の段階を選びます。モデルのダウンロードはあなたの同意があるときだけ、初期設定ではWi-Fiで行い、使う前に検証します。

8 GB

Sigilが使う上限 2.8 GB

メモリ容量ごとのモデルの段階
段階動くものダウンロード最大メモリ
ルールのみ3 GB 以上手の認識、システムの音声認識、英語とポルトガル語に対応したルール解析約 8 MB約 60 MB
ライト6 GB 以上手の認識、Whisper base、Qwen2.5 1.5B約 1.07 GB約 1.4 GB
フル8 GB 以上このスマホに最適手の認識、Whisper small、Qwen2.5 3B約 2.15 GB約 2.6 GB

07対応OS

できることも、できないことも正直に。

ほかのアプリを操作できるのはAndroidだけです。iPhoneでは、Sigilは自分の画面の中とショートカットを通じて動き、そのことをはっきり伝えます。

Android

すべてを操作。

あなた自身がオンにするユーザー補助サービスを通じて、Sigilはどのアプリでもタップ、スワイプ、スクロール、文字入力を行い、戻る、ホーム、最近使ったアプリにも移動できます。カーソルはすべてのアプリの上に表示され、カメラは停止できる通知を表示したまま動き続けます。

  • ハンズフリー操作のためのユーザー補助ツールとして申告
  • 設定のユーザー補助から、あなたがオンにする
  • 指した場所で、頼んだときだけ動く

iOS

Sigilの中で、そしてショートカットで。

iOSでは、アプリがほかのアプリを読み取ったり、タップしたり、その上に表示したりすることも、バックグラウンドでカメラを使うこともできません。iPhoneのSigilは、自分の画面の中で手を追い、リンクでアプリや検索を開き、あなたのショートカットを実行し、その操作をApp Intentsとしてショートカットアプリやアクションボタンに提供します。

  • ジェスチャー、カーソル、スフィアはSigilの中で
  • 音声のプランはリンクとショートカットで
  • iOSで実行できない手順は失敗として表示し、成功を装わない
各OSでできること
機能AndroidiOS
カーソルとコントロールスフィアすべてのアプリの上でSigilの中で
ほかのアプリでのジェスチャー対応、ユーザー補助を利用非対応
音声のプランどのアプリでも1手順ずつリンクとショートカットで
ほかのアプリを開いたままのカメラ対応、通知を表示非対応
端末内のモデル対応対応

08開発を見守る

オープンに開発中。

Android 向けプレビュー版は、すでに手を追い、タップし、声を聞き取り、端末内で理解します。次は、より多くの端末でトラッキングを調整し、ストア公開の準備を進めます。

  1. M1 · 完了

    骨組み

    テスト済みのジェスチャーエンジン、アプリごとのプロファイル、プランナー、確認のルール、プランの実行部、Androidの制御モジュール。

  2. M2 · 完了

    リアルタイムの手

    カメラでのMediaPipeによる手の認識。人それぞれに合わせて調整します。

  3. M3 · 完了

    Androidでのエンドツーエンド

    実機のWhatsApp、YouTube、TikTok、Chromeで動くジェスチャーとプラン。

  4. M4 · 完了

    端末内の言語処理

    スマホの中で動く音声認識と、ツールを呼び出せるモデル。メモリに合わせてサイズを選びます。

  5. M5 · 次

    ストア

    iOSのApp Intentsとショートカット、そしてGoogle Playでのユーザー補助の審査。