GeminiDesktop GeminiDesktop
ガイド

Gemini Live Mac デスクトップ完全ガイド 2026：音声デバッグ＋ライブ画面レビュー

公開日 · 著者： GeminiDesktop Team

Gemini Live Mac デスクトップ完全ガイド 2026：音声デバッグ＋ライブ画面レビュー

結論から言うと： Gemini 3 Flash Live は Google が 2026 年に投入した双方向マルチモーダル API で、マイク音声・画面フレーム・音声割り込みの 3 入力を 1 本の WebSocket で同時に扱い、合成音声で返答します。しかし公式 Gemini Mac アプリと gemini.google.com のどちらも Live ボタンを出していません。macOS で Live を触りたいなら、現状もっとも実用的なのはサードパーティの GeminiDesktop で、Tauri + scap 画面キャプチャ + WebSocket プロキシで Bidi セッションを完全に走らせています。この記事では 3 ステップのセットアップ、3 つの実践ユースケース、BYOK のトークンの流れ、15 分のセッション上限まで一気に整理します。

一行要約： Gemini 3 Flash Live は「話しかけながら画面を見せる」リアルタイム音声会話。公式 Mac アプリでは使えない。GeminiDesktop がそのギャップを埋めている。

Gemini 3 Flash Live とは何か

公式ドキュメントは Gemini 3 Flash Live を Bidi（双方向）WebSocket インターフェースとして分類していて、REST 型の generateContent とは別物です。核となる能力は次の通りです。

  • 16 kHz マイク入力ストリーム：あなたの声の生 PCM サンプルが直接モデルに届きます。クライアント側 ASR を挟まないので遅延がミリ秒単位に圧縮されます
  • リアルタイム画面フレーム：毎秒 1〜2 枚の JPEG スクリーンショットが音声と同じ WebSocket で送られ、モデルが「今この瞬間の画面」を見ます
  • 音声割り込み：モデルが話している最中にあなたが声を挟むと即座に停止し、人間の会話と同じテンポになります
  • 音声返答：デフォルトは合成音声、テキストのみにも切り替え可能

つまり Flash Live は「ASR → LLM → 画面理解 → TTS」のパイプライン全体を 1 つのストリーミングセッションに圧縮したものです。UX 上の違いは明確で、「メッセージを送る → 返信が来る」が「話しかける → 画面を見ながらリアルタイムで答える」に変わります。

なぜ公式 Mac アプリと Web 版で Live が動かないのか

初めて試した人がまずつまずくのがここです。gemini.google.com にも、App Store の Gemini Mac アプリにも Live ボタンはありません。理由は 3 つです。

  1. ブラウザは適切な画面フレームをくれない：getDisplayMedia はあるものの、フレームレート・解像度・継続性がタブサンドボックスに縛られており、毎回手動で再認可してウィンドウを選ぶ必要があります。「常時画面を見せる」という Live の UX と相容れません
  2. Bidi WebSocket にはオリジンプロキシが必要：Live セッションはトークンを ?key= クエリ文字列で WSS URL に埋めます。ブラウザの CSP と CORS のポリシーで、このルートは Google 自身のフロントエンドですら開放されていません
  3. macOS のスクリーンキャプチャはシステムレベル API：1〜2 fps のデスクトップ全体を安定取得するには ScreenCaptureKit か AVFoundation が必要で、これらはネイティブアプリにしか開放されていません

だから公式 Mac アプリがテキスト対話・画像アップロード・Canvas までカバーしても、Live（マイク＋画面＋割り込み）は現状 Android／iOS にしか来ていません。macOS で触るにはサードパーティのネイティブクライアントが必要です。

3 ステップでセットアップ

GeminiDesktop は入力まわりを全部配線済みなので、ユーザー側の手順は 3 つだけです。

Step 1：Settings で API キーを登録

GeminiDesktop を開いて Settings を開き、BYOK 欄に Gemini API キー（Google AI Studio で無料発行）を貼ります。Live は 直接トークン方式 で、クライアントがそのキーを使って /v1beta/models/...:bidiGenerateContent に直接繋ぐので、第三者サーバーにキーが渡ることはありません。

Step 2：トップバーの Live ボタンをクリック

メインウィンドウ右上に波形＋マイクの小さいアイコンがあります。クリックすると浮遊する Live Popover が出てきます。この Popover は独立した macOS ウィンドウなので、画面の隅にドラッグしてメイン対話は別で動かせます。

Step 3：Mic と Screen のトグルをオンに

Popover には 2 つのスイッチがあります。

  • Mic on：初回は macOS のマイク権限ダイアログが出ます
  • Screen on：初回は「画面録画」権限を要求されます。これは macOS の仕様でアプリを再起動しないと有効化されません（アプリのバグではありません）

両方オンにすれば話しかけるだけで Live が始まります。Popover を画面の隅に置いたまま他のアプリを開いても、Live は現在の画面を見続けます。

ユースケース A：Python traceback を音声でデバッグ

私が日常でもっとも使うのがこれです。流れは次の通り。

  1. ターミナルで Python スクリプトを実行し、traceback が出る
  2. ターミナルを閉じずに GeminiDesktop に話しかける：「このエラーを見て。最後の 3 行は何？」
  3. モデルは画面上の traceback を読み取り、音声で「KeyError だ。47 行目の dict にこのキーがない」と説明
  4. そのまま「どこに防御コードを入れれば？」と追質問
  5. モデルが答え続け、あなたはコードを編集

「スクショ → チャットに貼る → 質問を入力 → 返信を読む」のループに比べて、音声＋画面 Live は約 1/3 の時間で済みます。デュアルモニタでコーディングする人には特に効きます。視線も手もターミナルから離れません。

ユースケース B：Figma デザインのライブレビュー

デザインレビューも威力の大きい場面です。Figma を開いて Live Popover を画面の隅に置き、こう話しかけます。

「このログインページの視覚階層を見て。どこが弱い？」

モデルは今のキャンバスをリアルタイムに読み取って、「メイン CTA と副次リンクのコントラストがほぼ同じで、注意を奪い合っている」と音声で返します。見ているのは 今この瞬間の画面 で、静止スクショではありません。次のフレームに切り替えれば Live もそれに追従します。

従来型の「スクショ → アップ → 説明 → 返信を待つ」と比べると、Live レビューには 2 つの独自の強みがあります。

  • 複数のフレームを 連続で切り替えながら比較 でき、毎回アップし直す必要がない
  • その場で編集して「今は良くなった？」と口頭で聞ける — Figma を離れなくていい

ユースケース C：会議のリアルタイム翻訳＋要点ノート

意外と過小評価されていますが、会議の同時通訳は相性が抜群です。

  • 英語の会議（Google Meet、Zoom、Teams どれでも OK）に入る
  • GeminiDesktop の Live Popover をシステム音声キャプチャに切り替える（マイクではなく、BlackHole のような仮想デバイスで会議音声を Live 側に回す）
  • Live に「英語の会議を日本語に翻訳して、1 分ごとに要点をまとめて」と指示

結果は字幕のような逐語訳ではなく、意味のかたまりごとに数文の要約が流れます。「要点だけ押さえたい」というユースケースには、Otter 系の逐語書き起こしより圧倒的に便利です。

構造化された会議記録が欲しいなら、録音を BibiGPT の AI 動画対話とスマート出典 に流すとタイムスタンプ付きのノートが返ってきます。

BYOK 上の注意：トークンは直送／セッション上限あり

Gemini 3 Flash Live は REST 型 API と比べると料金・セッション管理の設計が大きく違います。

項目 REST generateContent Bidi Flash Live
料金 リクエスト単位の入出力 セッション総時間のストリーミング課金
1 セッション上限 コンテキスト ~1M tokens ~15 分で自動切断
キーの扱い 直送 直送（クライアントが直接 Google に接続）
画面フレーム image input として課金 ストリーミング映像フレームとしてサンプリング課金
割り込み 対象外 クライアント送信の割り込み信号、コンテキスト保持

注意すべきは 15 分セッション上限。Google 側のハード制約なので、超過したらクライアントは WebSocket を張り直す必要があります。GeminiDesktop は切断間近で静かに再接続しますが、モデルの短期コンテキストは一度リセットされるので、再度 1〜2 文で文脈を伝え直す必要があります。

BYOK ユーザー向けの注意：Live はテキスト専用より約 5〜8 倍高めに料金が乗ります（音声＋フレームを両方流すため）。長時間つなぎっぱなしにするならトークン使用量パネルを合わせて監視してください。

今後のロードマップ：iOS 画面ミラー／ウィンドウ隔離／ネイティブアプリ認識

GeminiDesktop チームが拡張を進めている 3 方向。

  • iOS ミラー画面を Live で見る：QuickTime で iPhone をミラーし、そのキャンバスを Live が読む。「このアプリのオンボーディングを評価して」みたいな用途に最適
  • ウィンドウ単位のキャプチャ：現在はデスクトップ全体を見せてしまうのでプライバシー面が弱い。ロードマップでは特定ウィンドウのみ取得できるようにする予定
  • ネイティブアプリ認識＋コンテキスト注入：VS Code を検出したらプロジェクトルートを自動コンテキスト化、Figma を検出したら図層構造を取得、など。「native-aware context」は Web 版では永遠に追いつけない領域

公式 Mac アプリに足りない他の機能は Gemini Mac アプリに足りない 6 機能 にまとめています。Gemini 3 のもうひとつのリアルタイム機能 Computer Use が気になる場合は、Gemini 3 Computer Use 実測レビュー で座標正規化・安全境界・ステップ承認まで詳しく見ています。

よくある質問

Q1：Live Popover が落ちる／接続できない場合は？

A： ほぼ 9 割が権限かネットワークです。マイクと画面録画は macOS のシステム設定で明示的に許可する必要があります。地域によってプロキシが必要な場合もあるので、Settings のカスタムプロキシ欄を試してください。

Q2：Live と通常のテキスト会話を同時に使えますか？

A： 使えます。Live Popover とメインウィンドウは別セッションで、干渉しません。Live で音声ブレスト、メインウィンドウで長文生成、の並行利用が定番です。

Q3：音声割り込みが鈍く感じるのはなぜ？

A： クライアントが「ユーザーが話し始めた」ことを検出して interrupt 信号を送る仕組みで、エンドツーエンドで 200〜400ms の遅延があります。RTT の高いネットワークでは反応が鈍く感じます。

Q4：公式モバイル版 Gemini の音声モードと何が違う？

A： 基盤は同じ Flash Live です。モバイル UI は配管を隠しているので、フレームレートやトークン使用量が見えません。デスクトップクライアントはそれらを表示するので、パワーユーザーや開発者の深掘り用途に向きます。

まとめ

Gemini 3 Flash Live は Google がこれまでに出した中でもっとも野心的なマルチモーダル API で、音声・画面・割り込みを 1 本の WebSocket で運びます。公式 Mac アプリが短期的に Live を追加することはなく、GeminiDesktop が macOS ユーザーにとって最も成熟した代替パスです。画面を見ながら話す作業（デバッグ、デザインレビュー、多言語会議）が日常に多いなら、Live は仕事のテンポを本当に変えます。