クラウドへ映像を送る必要が一切なく、ユーザーのブラウザ(JavaScript)だけでAIが爆速で完結。個人情報(カメラ映像)を外に出さない鉄壁のプライバシー性能。顔の三次元構造をリアルタイム追従。ただの「画像認識」ではなく、上下まぶたの「3D距離」を数式でパーセント換算するガチの動態解析アルゴリズムを搭載。ただ何に使うかはよくわからない。
「手軽に、サイバーに、そして安全に対象者の覚醒状態をモニタリングしたい」
そんなニーズに応えるために開発された、Webベースのインタラクティブな生体動態センシングHUD(ヘッドアップディスプレイ)です。とかかっこつけて書いてますが、なんか面白そうなので開発してみました。
外部サーバーやクラウドを一切介さず、WebブラウザとWEBカメラさえあればいつでもどこでも瞬時に起動。
Googleの最先端AI技術(MediaPipe)とWebグラフィックス(Three.js)の融合により、顔面の3D構造をミリ秒単位の超低遅延で滑らかにレンダリングしながら、居眠りやサボり(離席)を24時間体制で強力に監視・サポートします。
使用方法
- カメラの許可: ブラウザでファイルを開き、カメラへのアクセスを「許可」に設定
- システム起動: 数秒後にAIが立ち上がり、左上パネルが ACTIVE_MONITOR になればスキャン開始
- アクティベート: 音声警告機能を有効化するため、画面の背景を一度だけクリック
- インタラクション: 描画された3Dフェイスメッシュは、マウスのドラッグやホイールで自由な角度から確認可能
- カスタマイズ: 右上のコントロールパネルから、ドットサイズやネオンカラーなどのSF演出をリアルタイムに調整
主な機能
- まぶた開口率のリアルタイム数値化: 3D空間上の上下まぶたの距離を計算し、現在の目の開き具合を0%〜100%でインジケーター表示。
- 居眠り検知(SLEEP_ALERT): 両眼の開口率が25%以下(閉眼状態)になり、1.5秒が経過すると画面全体が赤くフラッシュし、電子警告音(ピピピピッ)が鳴動。目を開けると自動で即時復帰。
- まばたき自動カウンター: 1秒未満の瞬間的な閉眼を「まばたき」と認識し、累積回数を自動でカウントアップ。
- 離席・姿勢崩れ検知(AWAY_DETECT): カメラの画角から外れた場合、即座にステータスが切り替わり離席状態を明記。