このサイトはアフィリエイトリンクを含んでいます
スポンサーリンク

Gemini Liveの画面共有で、作業中の「これ何」にすぐ答える

Gemini Liveの画面共有と、開発の相棒がメガネに載る未来のイメージ AIで調べてみた
スポンサーリンク

Googleが2026年9月15日(現地時間)、Gemini Liveの画面共有をさらに進化させる新しいAIモデル「Gemini 3.8 Live」と「Gemini 3.8 Live Extended Thinking」を発表しました。「言っていることが本当ならね」と本人も言い切っていない話ではありますが、ぼくはこの発表を読んで、ちょっと鳥肌が立ちました。理由は機能そのものより、これがこの先メガネに載ったら、という想像のほうです。

結論を先に言うと、パソコンの画面を見せながらGemini Liveに音声で相談する、ということ自体はもう今日から試せます。この記事では次の3つを順番に書いていきます。

  1. 今すぐ試せる「画面共有」の中身
  2. 今回Googleが発表した内容
  3. それがメガネに載ったらどうなるかという、ぼくの想像

スポンサーリンク
スポンサーリンク

結論:Gemini Liveの画面共有は、もう今日から試せます

「Gemini Live 画面共有」というのは、パソコンやスマホの画面をGeminiに見せながら、音声で会話する機能のことです。声で「これ何?」と聞けば、Geminiが画面に映っているものを踏まえて答えてくれます。今回発表された3.8世代を待たなくても、この使い方自体はすでに公式ヘルプに載っています。

パソコンなら、Chromeの「現在のタブを共有」から

Google Chromeには「Gemini in Chrome」というLive機能があります。Google Chromeヘルプにはこう書かれています。

パソコンでは、ウェブページを閲覧しながら Gemini in Chrome とライブチャットで自然な会話ができます。Gemini Live では、トピックについて詳しく知るための質問をしたり、アイデアをブレインストーミングしたり、ページ上の情報を探す手伝いをしてもらったりできます。

Google Chrome ヘルプ「Gemini in Chrome で Live を開始する」

「現在のタブを共有」をクリックすると、開いているタブのページの中身がGeminiに渡り、それを見ながら答えてくれる、という仕組みです。今開いているタブに限らず、他のタブを最大10個まで追加で共有することもできると案内されています。

スマホのGeminiアプリなら、カメラや画面ごと見せられる

スマホ版のGeminiアプリには、ブラウザのタブより範囲が広い共有機能があります。Android・iPhone向けのGeminiアプリヘルプ「Gemini Live で自然に会話する」には、こう書かれています。

Live の会話中に、カメラをオンにして画面に表示されているものを Gemini に見せると、それについて話すことができます。

デバイスの画面を共有して、画面上の内容についてサポートを得ることができます。画面を共有すると、デバイスの全画面が Gemini に共有されます。

Gemini アプリ ヘルプ「Gemini Live で自然に会話する」

つまりカメラで実物を見せる方法と、スマホの画面まるごとを見せる方法の2通りがある、ということです。ぼくは普段、AIエージェント(人に代わって作業の一部を自分で進めてくれるAIの仕組みのことです)と一緒にコードを書くツール、Claude CodeやSparkを使ってパソコン作業をしています。この画面共有を使えば、その作業画面を見せながら「これ何?」「そこ、合ってる?」と声で聞ける、ということになります。まだ実際に試してはいませんが、次にパソコンで作業するときに使ってみたいと思っています。

🕶️ 今あるAIグラスの代表例

「AIを載せたメガネ」で今いちばん知られているのはRay-Ban Meta スマートグラス SKYLERだと思います。12MPカメラと目立たないスピーカーを内蔵していて、対応OSはiOS15.2以降・Android10以降(2026年9月16日にAmazonの商品ページで確認)。ただし注意したいのは、これに載っているのはGeminiではなくMeta AIだという点です。「AIメガネ」と一口に言っても、載っているAIはメーカーによって違います。


Googleが発表した「Gemini 3.8 Live」「Extended Thinking」で何が変わったか

ここからは、Googleの発表内容そのものです。Jetstreamの記事によれば、Googleは現地時間2026年9月15日、音声対話に特化した最新AIモデル「Gemini 3.8 Live」と、より高度な推論能力を備えた「Gemini 3.8 Live Extended Thinking」を正式発表したそうです。すでにGemini API(開発者がGeminiの機能を自分のアプリに組み込むための窓口です)やGoogle Workspace、Geminiアプリなどを通して展開が始まっているとのことです。

3.8 Live — 会話をしながら、画面のことも分かる

「Gemini 3.8 Live」は、対話としての知性と滑らかな会話、視覚情報を踏まえた応答を組み合わせつつ、スケールとコスト効率を重視して設計された、音声対話特化AIモデルだそうです。カメラなどからの視覚情報をほぼリアルタイムで処理し、対応する97言語間の自動検出・切り替えを会話の途中でも行えるとのこと。ツールの実行やAPI呼び出しをバックグラウンドで進めながら会話を続けられるため、依頼をいったん受け止めてから作業を進める、という振る舞いもできるそうです。音声対話の性能を測る「Speech Agent Arena」というベンチマーク(AIモデルの性能を比べるための統一テストのことです)では、ユーザー評価で2位を獲得したと発表されています。

3.8 Live Extended Thinking — 考えながら喋ってくれる

「Gemini 3.8 Live Extended Thinking」は、より複雑なタスクに対応するため、推論力とマルチステップでの処理能力を高めたモデルだそうです。推論と発話を同時に行う設計で、「ちょっと確認しますね」といった相づちを自然に挟みながら、バックグラウンドで進む作業の内容を会話の中で逐次説明できるとのこと。音声対話の品質を測る「Speech to Speech Quality Index」で総合1位(82.6点)を獲得したほか、エージェントとしての作業遂行力を測る「τ-Voice」で68.6%、金融機関向けの「τ-Voice-banking」で35.1%を記録したと発表されています。

🥽 画面を目の前に映す実用機

「画面を見せて会話する」という発想に近い、いま買えるガジェットとしてVITURE Luma AR/XRグラスがあります。USB-Cでつなぐだけでパソコンやスマホの画面を目の前の大画面として映せるタイプで、iPhone17/16/15(16eと17 Airを除く)・Android・Mac・Windows PC・Steam Deckなどに対応(2026年9月16日にAmazonの商品ページで確認)。こちらはAI搭載グラスではなく、あくまで画面表示用のグラスです。

2つのモデルの違いを、Googleの発表内容から表にまとめました。

項目 Gemini 3.8 Live 3.8 Live Extended Thinking 注記
設計の重点対話の知性・視覚情報・コスト効率推論力マルチステップ処理
音声評価の成績Speech Agent Arenaで2位Speech to Speech Quality Indexで総合1位82.6点出典:Jetstream経由のGoogle発表
エージェント遂行力τ-Voiceで68.6%、τ-Voice-bankingで35.1%τ-Voice=声で指示するAIの作業遂行力を測る評価
主な提供先Gemini API・検索LiveGeminiアプリ・Google Workspaceの各Live機能開発者向けはどちらもGemini API・Google AI Studio

開発者向けの兄弟モデル「3.8 Flash」「3.8 Flash Cyber」にも少しだけ

今回のLiveより少し前の2026年9月2日、Googleは「Gemini 3.8 Flash」と「Gemini 3.8 Flash Cyber」も発表しています。こちらは音声対話ではなく、主に開発者向けのモデルなので軽く触れる程度にしますが、「3.8 Flash」の開発者向け価格は入力100万トークン(AIが処理する言葉の単位のことです。使った分だけ費用がかかります)あたり0.75ドル、出力100万トークンあたり3.75ドルで、2027年1月1日以降はそれぞれ2倍に値上げされる予定だそうです(Jetstream経由のGoogle発表より)。「3.8 Flash Cyber」はソフトウェアの脆弱性の発見と修正パッチの自動作成に特化したモデルで、悪用防止のため一般公開はせず、「Fairwind Program」という、対象を絞ったプログラムを通じて政府機関や重要インフラ事業者などに優先提供されるとのことです。ぼくが今回いちばん気になったのはLiveのほうなので、Flash系はここまでにしておきます。


ぼくが鳥肌が立ったのは「これがメガネに載ったら」の話です

ここまでは発表内容の紹介でしたが、ここからが今日いちばん書きたかったことです。ぼくは普段、Claude CodeやSparkを使ってコードを書いています。作業中は「これは何のファイルだっけ」「あれ、何のためのコードだっけ」と迷う瞬間がよくありますし、逆に「そこ、順番が間違ってるよ」とその場で誰かに指摘してもらえたら助かる場面もたくさんあります。パソコン作業は指でキーを打つのが基本なので、目で見て気づいたことを、いちいちキー入力で説明するのは実は結構な手間です。

もし自分の目で見ているものが、そのままメガネを通してGemini Liveに共有された状態だったらどうでしょうか。「コレコレ」と指さす感覚で聞きながら、横に座った凄腕のエンジニアと一緒に作業しているような状態になる気がします。これはもう、映画に出てくるような相棒AIそのものだと思うんです。もちろんトークンの消費はすぐ大きくなりそうですが、それでもこれが実現したらすごく楽しいだろうな、と想像しています。

実はGoogleも、メガネ型の端末とGeminiをつなげる方向をすでに発表しています

ここからはぼくの想像ですが、まったくの空想というわけでもなさそうです。Googleは2025年5月21日付の公式ブログ「Android XR と Gemini が スマートグラスとヘッドセットの体験を一新」で、次のように紹介しています。

AI と XR が融合。Android XR 搭載スマートグラスによって、AI がより身近になり、これまでにない体験が生まれます。

Google 公式ブログ「Android XR と Gemini が スマートグラスとヘッドセットの体験を一新」

「Android XR」というのは、ヘッドセットやスマートグラスといった端末向けにGoogleが用意しているプラットフォーム(土台となる仕組みのことです)です。Gemini アプリのヘルプ「Android XR で Gemini Live を使用する」には、こんな説明もあります。

Android XR デバイスでは、Gemini Live をパーソナル AI コンパニオンとして、自然な会話をすることができます。

デバイスのビューを共有して、Gemini Live からサポートを受けることができます。ビューを共有すると、全画面ビューが共有されます。

Gemini アプリ ヘルプ「Android XR で Gemini Live を使用する」

今のところ、これは主にヘッドセット型の端末向けの説明で、コーディング専用に作られた機能ではありません。ただ、「画面や視界の中身を、メガネ型・ヘッドセット型の端末でGemini Liveと共有する」という土台自体はすでに存在しています。ここに開発の相棒という使い方が乗るかどうかは、あくまでぼくの想像です。それでも、まったくのゼロから思いついた話ではなく、Googleが進めている方向の延長線上にある想像だと思うと、なおさらワクワクしてきます。

🎧 音声だけならもっと手軽に試せます

カメラや画面表示ではなく、まず「話しかけられるメガネ」を手軽に試したい方にはHUAWEI Eyewear 2 オーディオグラスのような選択肢もあります。Amazonの商品ページには「一度に2つのデバイス(Android、iOS、Windowsなど)に接続可能」とあり(2026年9月16日確認)、Bluetooth5.3で最長11時間の音楽再生に対応しています。こちらもAI搭載メガネではなく、Bluetoothで音を届けるオーディオグラスです。


今日から試せること・これから来るかもしれないことを整理します

最後に、今回書いたことを整理しておきます。

  • 今日から試せること:Gemini Liveの画面共有。パソコンならChrome、スマホならGeminiアプリのカメラ共有・画面共有から使えます(Google公式ヘルプで確認済み)。
  • 今回Googleが発表したこと:音声対話特化の新モデル「Gemini 3.8 Live」「3.8 Live Extended Thinking」。開発者向けの「3.8 Flash」「3.8 Flash Cyber」も少し前に発表されています(Jetstream経由のGoogle発表より)。
  • すでにある土台:Googleは「Android XR」というメガネ・ヘッドセット向けの仕組みで、Gemini Liveと視界を共有する方向をすでに発表しています。
  • ここから先はぼくの想像:この土台の上に「開発の相棒」という使い方が乗ったら、Claude CodeやSparkで作業している横に、凄腕のエンジニアが座っているような状態になるかもしれません。

ちなみにAIとの付き合い方については、以前AIエージェントとフィジカルAIの違いは?スカイネットで考えたという記事でも書きました。今回の「画面共有」も、AIエージェントが会話の裏側でツールを動かす仕組みの延長にある話だと思います。

Claude Codeの使い方についてはClaude Codeのスキル10選、実際におすすめなのは何個?という記事にまとめています。今度パソコン作業をするときに、この記事で紹介した画面共有を実際に使ってみて、うまくいったらまた記事にしたいと思います。

Gemini Liveの画面共有は、今すぐ試せる小さな一歩です。でもその延長線上に、メガネ越しに凄腕のエンジニアと一緒に開発できる未来があるかもしれないと思うと、ぼくはまだしばらくこのワクワクを追いかけていたいと思います。

コメント

タイトルとURLをコピーしました