機能

話した瞬間から、録音のあとまで。

リアルタイムの文字起こしから、録音後の浄書・最終要約まで。Remote Whisper の機能を順番に紹介します。

話した瞬間から、録音のあとまで。

リアルタイムの文字起こしから、録音後の浄書・最終要約まで。Remote Whisper の機能を順番に紹介します。

文字起こし

リアルタイムと浄書済み、2 つの文字起こし。

録音中は速さを優先して、話したそばから文字が流れます。録音を終えたら、録音全体から文ごと・話者ごとに読みやすく整えた「浄書済み文字起こし」を作り、リアルタイムの文字起こしと置き換えます。

  • 文字起こしのモデルは large-v3-turbo を GPU で。large-v3 と同じくらいの精度で、2 倍以上速く動きます。
  • 録音したものだけでなく、音声ファイル(動画も可)からも文字起こしできます。
  • 浄書と話者分けは WhisperX(任意で追加)。話者分けには HuggingFace のトークンが要ります。

要約

録音中の要約と、最終要約。

録音中は軽いモデルで数分おきに途中の要約を更新します。録音を終えたら、思考モードを使ってじっくり最終要約を作ります。長い録音では、一番上に「全体概要」の箇条書きが付きます。

  • Markdown・数式・コードに対応。
  • 要約は再生成できて、前の版と切り替えて見比べられます。
  • 要約の細かさ(要約度)は 1〜5 で選べます。
  • Markdown のままコピーして、Notion などにそのまま貼れます。
  • 最終要約ができたら、スマホなどに通知できます。

参考資料

資料を渡せば、用語に強くなる。

講義のスライドや会議の資料(PDF・Markdown・テキスト・HTML)を選ぶと、そこから専門用語を拾って「用語リスト」を作り、文字起こしに渡します。聞き間違えが減り、要約にも資料の文脈(コンテキスト)が使われます。

  • 録音後は、今回の録音で扱ったページの範囲を判断して、用語リストを再生成します。
  • 大きな資料は、目次を見て範囲を判断します。
  • 録音中に文字起こしから語を拾って、用語リストに足すこともできます(任意)。
  • 要約の項目に「〇〇.pdf p.12 の内容」のように、資料の該当ページを付けられます(PDF のみ・任意)。

修正

一度直せば、次からは正しく。

間違って文字起こしされた語を選んで正しい語を入れると、そのセッションの同じ間違いをまとめて置き換え、正しい語を用語リストに足します。この行だけ直すこともできます。置き換えた語はあとで一覧から外せます。

GPU とジョブ

GPU が何をしているか、いつでも見える。

文字起こし・要約・浄書は、順番に GPU を使います。いま何が動いていて、何が待っているか、GPU の使用率はどれくらいかを、画面の上のアイコンから確かめられます。

  • サーバーの状態は、Windows ではタスクトレイ、Mac ではメニューバーのアイコンの色でも分かります。
  • 使い終わったモデルは、しばらくすると GPU から下ろします(時間は設定で変えられます)。

どこからでも

スマホでも、アプリのように。

スマホ・タブレット・ノート PC のブラウザから録音できます。ホーム画面に追加すれば、ブラウザのバーのない単独のアプリとして開けます。

  • ライト/ダークのテーマ(OS に合わせることも)。
  • 開いているセッションや設定は URL に出るので、ブックマークや別のタブで開けます。
  • 接続が切れても、つながり直せばそのまま録音を続けます。録音を終えたあとでも、しばらくは同じセッションの続きを録音できます。
  • マイクボタンはキーボードのショートカット(デフォルトは Alt+Shift+M)でも押せます。

プライバシー

データは、自分の手元に。

セルフホスト版では、音声・文字起こし・要約はすべて自分の GPU マシンで処理し、そこに保存します。保存期間を決めておけば、期間を過ぎたものは自動で消えます。

データの流れを見る

さっそく使ってみる。