最近、Youtubeのライブ配信をAIでサポートするアプリを個人的に作ったので、それについて書いていこうと思います。特にこのアプリを公開するつもりはないので「こういうこともできるんだー」ぐらいに見てください。
きっかけなど
AI使うことにはまってまして、せっかくなのでそのあたり試したことなどをYoutubeで適当にしゃべってみたいなと思ったのがきっかけです。
もともとカメラガジェット系をネタにYoutube配信していたのですが、最近は全然更新がストップしてました。
最初はライブ配信はあまり考えてなくてYoutubeの自動編集をAIにやらせるところから始めました。
ChatGPT Astra 6に撮影した動画を渡して10分ぐらいにまとめてとか、オープニングや話の転換タイミングでRemotionでのモーショングラフィックス入れてとか頼むだけでだいたい仕組みはできてしまいました。おそろしい時代だ…。
何回か収録して気になるところをAGENTS.mdに追記してもらい、テロップやその時に話している話題を右上隅にタイトルで出すなどは全自動でできるようになりました。
その流れでライブ配信にもAI使ってみるとおもしろいんじゃないかと思いアプリを作ってみることにしました。
話している内容を自動でスライドにさせてみた
で、作ったのが冒頭のスクショのアプリです。
最初にやったのは「今はなしている内容をスライドにする」機能です。
ライブ配信にはOBSを使っています。このソフトにはPCのウィンドウを配信に乗せる「ウィンドウキャプチャ」機能があるので、スライド用のウィンドウをメインのアプリとは別に作って、そこにスライドを表示するようにしました。
仕組みとしてはこんな感じです。
- アプリが配信中の音声を取得する。
- ローカルのfaster-whisperで、音声を順次文字起こしする。
- Jevが発話内容を確認し、図解スライドを作るべきか判断する。
- 作成する場合は、ChatGPTがスライドの構成・見出し・本文を生成する。
- あらかじめ用意した5種類のテンプレート（手順・比較・グループ分け・時系列・関係図）に内容を流し込み、HTML・CSS・SVGでスライドを描画する。
- アプリが文字のはみ出しを、ChatGPTが内容の品質を検査する。
- Jevが現在の話題に合うかを再確認し、表示してよいと判断したスライドを自動表示する。
正直、効果的か?というと微妙な感じなんですが(笑)、まぁにぎやかしぐらいにはなるかなと思っています。
コメントの危険度判定
ライブ配信中にコメントをもらった場合はそれをスライドの代わりに表示させる機能もつけました。
コメントの内容を権限を絞ったAIに判定させて、誹謗中傷の可能性やAIに不正な指示を送るプロンプトインジェクションを判定する仕組みも入れてみました。
配信アプリの右の方にコメントが表示されるようになっていて、そこにステータスを出して見分けられるようにしてみました。判定には文章を瞬時で分類できるAIの「Jev」を使っています。
お遊びで問題があるコメントをイエローカード付きでスライドでさらせる機能もつけました(笑)
2枚目でレッドカードになります。自動でキックはしません(笑)
配信内容の要約機能
ライブ配信中に脇道に逸れても元の話題を思い出せるように、配信中の出来事をタイムライン表示させてみました。
こんな感じでいつどういう話をしたかを要約表示してくれます。
ライブ中にAIが自動生成したスライドをもここから再表示できる。
ChatGPT Voiceに配信中の画面を見てもらう
私のライブ配信ではChatGPT Voiceにアシスタント代わりに参加してもらっています。
彼女(ChatGPT Voice)は通常はマイクからの入力をもとにリアルタイムで反応してくれるのですが、そこに配信中の画面も見てもらえる機能を付けました。
仕組みはシンプルで、この配信アプリから10秒に一回OBSの配信中画面をスクショして特定の場所に置いておくことで、彼女に「画面見える?」と声をかけるとその画像フォルダをみて話をしてくれるようなものにしています。 OBSでは手元カメラの映像も流したりできるようにしているので、カメラの映像をChatGPTに見てもらって「これについて調べて説明して」というとライブ配信中にいろいろ調べて説明してくれます。おもしろいです。
まとめ
こんな感じでYoutubeライブ配信補助用のアプリを作ってみました。完全にAI任せのバイブコーディングです。 配信後は切り抜き動画をこれまたAI任せで数十分放置して作ってもらってる感じですね。
そんな感じでライブ配信用のアプリを作ってみるというのも結構おもしろいんじゃないかという話でした。
それでは!