このサイトはアフィリエイトリンクを含んでいます
スポンサーリンク

YouTube動画の文字起こしをGeminiで自作したら、同じ区間で123箇所も結果が違いました

同じ動画の同じ場面を2回文字起こしして見比べているイメージイラスト AIで調べてみた
スポンサーリンク
スポンサーリンク

YouTubeの動画をGeminiで文字起こししている方へ、先に結論を書きます。同じ区間を2回取ったら、123箇所も結果が違いました。1回取っただけの文字起こしを、そのまま記事の材料にするのは危ないというのが、今回いちばん伝えたいことです。

きっかけは、前にKEITOさんの動画を使った記事を書いたときのことでした。素材にしたのは動画そのものではなく、Geminiの資料作成機能が起こしてくれた文字起こしで、書きながら「これ、本当に正しいんだろうか」とふと思ったんです。KEITOさんの動画は、以前にも別の記事で素材にさせてもらったことがあります。日本語以外の動画も記事のネタにできたら幅が広がる、とも思いました。それで、YouTubeの動画や手元の音声・動画ファイルを渡すとGeminiが文字起こしをしてくれる道具を、ぼくの周りでClaude Codeという仕組みを動かしている開発担当の係に頼んで作ってもらいました。今回はその道具を実際に使ってみた話です。先に断っておくと、この記事も動画そのものは見ておらず、道具が起こしてくれた文字起こしを読んで書いています。

Claude Codeのスキル10選、実際におすすめなのは何個?うちの会社ごっこで答え合わせしてみた
YouTubeで見た「今すぐ作るべきスキル10選」を、Claude Codeで回しているうちの会社ごっこと1個ずつ照らし合わせました。10個中、名前を変えてすでに持っていたのは7個。本当に無くて困っていたのは、見た目をそろえる仕組みでした。
スポンサーリンク
スポンサーリンク

YouTube動画の文字起こしを、Geminiで自分で作れる道具にしました

前回の記事の素材になった文字起こしには、聞き取りに自信が持てなかった言葉に「要確認」という印がついていました。海外のサービス名や独特のドメイン名が多く、無理もないと思います。ただ、その「要確認」が本当に合っているのか、ほかの方法で確かめる手段が手元になかったんです。

そこで、YouTubeのURLか手元の音声・動画ファイルを渡すと、指定した区間をGeminiが文字にしてくれる道具を、開発担当の係に頼んで作ってもらいました。同じ区間を2回取って食い違いを見せてくれるオプションも付けてもらっています。せっかく作るなら、1回の結果を信じていいのかどうかも一緒に確かめたかったからです。

ちなみに、動画からではなく最初から自分の声を録音して文字にしたい方(打ち合わせやインタビューが多い方など)には、録音から要約まで一台でこなす市販のAIボイスレコーダーという選択肢もあります。

30分の動画をまるごと1本、通しで文字起こししてみました

まずは基本の動作確認です。KEITOさんの同じ動画(29分ほど)を、頭から終わりまで通しで文字起こしさせてみました。区間ごとにGeminiを呼び出す形になり、合計10回の呼び出しで、費用は概算で約36.6円でした(円換算の単価は目安で、実際の請求額と完全に一致するかまでは確認していません)。つなげて読んでみると、区間の境目をまたいでも話が途切れておらず、抜け落ちている場所も見当たりませんでした。まずは一安心です。

英語の動画も、原文と日本語訳を並べて取れます

この道具には、英語の動画でも原文と日本語訳を並べて出せる機能も付けてもらいました。もともと「英語の動画も記事のネタにしたい」という思いつきから足してもらった機能です。この道具を作る前の調査の段階で、公開されている原稿と答え合わせできる英語の演説動画(フランクリン・ルーズベルト大統領の演説)を使って試したことがあります。90秒ぶんを英語のまま、それから英日対訳でも取ってみたところ、原稿と突き合わせられた文はどちらも実質一致していました(1回の試行では単語が1つだけ抜けていました)。英語の動画でも、同じくらいの精度は期待できそうです。

同じ場所を2回取ったら、123箇所も食い違いました

ここからが今回いちばん書きたかったところです。同じ動画の同じ区間を、道具に2回続けて文字起こしさせてみました。18分00秒〜18分40秒のごく短い区間では、食い違いは4箇所だけで、しかも「ウェブ」と「Web」、読点の有無といった、細かい表記のゆれにとどまりました。

ところが24分00秒〜27分40秒の区間を同じように2回取ったところ、食い違いは123箇所に増えました。同じ道具、同じ音声、同じ設定で、です。この「123箇所」は、文字を1文字ずつ突き合わせて数えた結果で、実際にはそのほとんどが読点・スペース・改行の位置といった細かい表記のゆれです。ただし、その中に、意味そのものが変わってしまう場面が1か所(文字単位では20箇所あまり)混ざっていました。

画面の文字をそのまま書くか、話し言葉として要約するか

いちばん驚いたのは、動画の中で画面に文字(テロップのような図解)が表示されている場面でした。1回目はこう書き起こされていました。

テキストを1本の解説動画に変えるスキル、zukai-kaisetsu 資料でも文字起こしでも、渡せば入口になります 出てくるのはMP4が1本、尺は60〜180秒が目安 画面は3つの層で組み立てます 土台はSeedance 2.5のリアル映像を全画面で流す……

ところが、まったく同じ場所を、2回目はこう書き起こしていました。

はい、こんな感じのですね、HTMLで作られた図解の動画ですね。

1回目は画面に出ている文字をそのまま逐語で書き写し、2回目はまったく同じ場所を、話し言葉の要約として書いています。テロップを読んだのか、音声のほうを要約したのか、どちらが起きたのかは正直ぼくにも分かりません。分かるのは、同じ道具・同じ区間・同じ回の実行の中で、これだけ違う書き方になることがある、という事実だけです。

道具側の聞き取りがゆれた箇所もありました。6分35秒〜7分15秒の区間では24箇所の食い違いがあり、同じ発言を道具が1回目は「私に場合は」、2回目は「私の場合は」と書き起こしたり、「一箇前」と書いた回と「1個前」と書いた回があったりと、道具の聞き取り自体が回によってゆれている様子が見えました。

それでも役に立ったこと。Geminiの別サービスが「わからない」とした言葉

ここまで読むと「じゃあ使い物にならないのでは」と思われるかもしれませんが、そうとも言い切れません。前回の記事の素材にした文字起こしで「要確認」がついていた言葉を、今回作った道具にも同じ動画で2回取らせてみたところ、表記が完全に一致した言葉が4つありました。もう1つ、URLらしき文字列も読み取れましたが、こちらは実在を確かめられなかったので、表には載せていません。

Geminiの別サービスが「要確認」とした言葉 今回作った道具の結果(2回とも一致)
バーセル Vercel
fix fieldジェネレート higgsfield-generate
シーダンス/Cダンス Seedance 2.5
ヘイジェン/ヘイ HeyGen

ただし、これが正解だと言い切ることはできません。実在するかどうかの裏付けは検索結果の要約だけで確認したもので、それぞれの公式サイト(VercelHeyGen)の原文までは読めていません。とくに「Seedance 2.5」は、検索で見つかったのは「Seedance 2.0」の情報が中心で、バージョン番号が合っているかまでは分かりませんでした。Geminiの別サービスと今回の道具が、たまたま同じ勘違いを共有している可能性も消せません。

「YouTubeの字幕を読んでいるだけじゃないの?」も確かめました

もう1つ、気になっていたことがあります。この道具、実はYouTubeの字幕をそのまま読んでいるだけなんじゃないの、という疑いです。

試しに、字幕が付いていない音声ファイル(著作権の心配がないパブリックドメインの音源)を渡してみたところ、ちゃんと文字起こしができました。字幕が無いのに文字が出てくるということは、少なくとも字幕だけに頼ってはいないはずです。それから、無名の動画の同じ箇所を取り直してみると、結果が変わることも確認しました。もし固定された字幕を読んでいるだけなら、何度取っても同じ結果になるはずなので、これも音声そのものを処理している傍証になります。ただし、この仕組みについて調べてみたのですが、Google公式の説明までは見つけられませんでした。

ちなみに、AIの音声認識や文字起こしの仕組みをもっと詳しく知りたくなった方向けに、関連する本を1冊置いておきます。

まとめ:文字起こしは1回で信じないことにしました

今回はっきりしたのは、Geminiで文字起こしをした結果を、1回取っただけで正しいと思い込むのは危ないということです。とくに、画面に文字が出ている場面や、固有名詞・数字が出てくる場面は要注意でした。ぼく自身、次にこの道具を使うときは、記事の柱になりそうな固有名詞や数字が出てくる区間だけでも、必ず2回取って見比べるようにしようと思います。

今回のような専用の道具が無くても、やれることはあります。GeminiのアプリやGemのチャット画面に、同じ動画のURLと時間帯をもう一度渡して、2回目の書き起こしを取ってみてください。全文を見比べる必要はなく、記事の柱になりそうな固有名詞と数字だけ、1回目と2回目で同じ表記になっているかを見比べるだけで十分です。動画をネタに何か書く方は、1回の文字起こしを鵜呑みにせず、大事なところだけでも2回取って見比べることをおすすめします。

コメント

タイトルとURLをコピーしました