アーキテクチャ — 社長アバター会話デモ

┌──────────────────────────────────────────────────────────┐ │ ブラウザ (HTTPS) │ │ │ │ ┌───────────┐ ┌──────────────┐ ┌──────────────────┐ │ │ │ WebSpeech │→│ Chat UI │→│ VRM アバター │ │ │ │ API (STT) │ │ (質問/回答) │ │ Three.js + VRM │ │ │ │ ja-JP │ │ │ │ リップシンク │ │ │ └─────┬─────┘ └──────┬───────┘ │ 瞬き / うなずき │ │ │ │ │ │ 相槌音声 │ │ │ │ isFinal確定 │ └──────────────────┘ │ │ └───────────────→│ │ │ fetch POST /api/ask │ └─────────────────────────┬────────────────────────────────┘ │ HTTPS (nginx → uvicorn:8001) ▼ ┌──────────────────────────────────────────────────────────┐ │ FastAPI サーバー (Python) │ │ │ │ Step 1: Embedding API │ │ 質問テキスト → gemini-embedding-001 → 3072次元ベクトル │ │ (~400ms) │ │ │ │ Step 2: コサイン類似度検索 │ │ 質問ベクトル × 234件の事前embeddingを全件探索 │ │ → Top 5 候補を抽出 (~1ms) │ │ │ │ Step 3: LLM 指揮者 (Selector) │ │ Top 5 候補 + 質問文 → gemini-3.1-flash-lite-preview │ │ → 最適な回答IDとバリアント(20s/40s)を選択 │ │ (~1,300ms) │ │ │ │ Step 4: 回答解決 │ │ 選択ID → answer_variants.jsonl → 回答テキスト │ │ 選択ID → /audio/{ID}_{variant}.mp3 → 音声URL │ │ │ │ 合計レイテンシ: ~1,700ms（目標 2秒以内 → 達成） │ └──────────────────────────────────────────────────────────┘ ┌──────────────────────────────────────────────────────────┐ │ 事前生成データ (静的) │ │ │ │ 📄 answer_variants.jsonl 234件の質問・回答ペア │ │ 📄 answer_embeddings.jsonl 234件の3072次元ベクトル │ │ 🔊 audio/*.mp3 468ファイル (234×2バリアント) │ │ 🧍 avatar/shingo.vrm VRMアバターモデル │ │ 🔊 audio/aizuchi_*.mp3 相槌音声 4ファイル │ └──────────────────────────────────────────────────────────┘

ユーザー発話 │ ▼ ┌────────────────────────────────────────┐ │ Step 1: 音声認識 (ブラウザ側) │ │ │ │ WebSpeech API (ja-JP) │ │ ・continuous=false, interimResults=true │ │ ・無音検出で自動確定 (~1.0-1.5秒) │ │ ・isFinal=true で文字列確定 │ │ │ │ ※ JavaScript標準API、追加コスト不要 │ └──────────┬─────────────────────────────┘ │ 確定テキスト ▼ ┌────────────────────────────────────────┐ │ Step 2: Embedding変換 (~400ms) │ │ │ │ POST gemini-embedding-001 │ │ 入力: 質問テキスト │ │ 出力: 3072次元の数値ベクトル │ │ │ │ 「意味」を数値空間に変換することで、 │ │ 言い回しが異なっても意味が近い文を │ │ 数学的に比較可能にする │ └──────────┬─────────────────────────────┘ │ 質問ベクトル ▼ ┌────────────────────────────────────────┐ │ Step 3: コサイン類似度検索 (~1ms) │ │ │ │ 質問ベクトルと234件の事前embedding を │ │ 全件比較（コサイン類似度） │ │ │ │ → 類似度の高い上位5件（Top-5）を抽出 │ │ │ │ 例: 「強みは何？」 │ │ 1位: M026 (sim=0.89) 「強みは？」 │ │ 2位: M027 (sim=0.83) 「他社との違い」│ │ 3位: M030 (sim=0.78) 「技術立社とは」│ │ 4位: M136 (sim=0.75) 「独自性は？」 │ │ 5位: M084 (sim=0.72) 「社名の由来」 │ └──────────┬─────────────────────────────┘ │ Top-5 候補 ▼ ┌────────────────────────────────────────┐ │ Step 4: LLM指揮者による選択 (~1,300ms)│ │ │ │ 軽量LLM: gemini-3.1-flash-lite-preview│ │ │ │ 入力: │ │ ・ユーザーの質問テキスト │ │ ・Top-5候補（ID, 質問文, 類似度） │ │ │ │ 出力: │ │ ・最適な回答ID │ │ ・バリアント選択 (20s or 40s) │ │ ・確信度 (high/low) │ │ │ │ embeddingだけでは「意味」の微妙な違い │ │ を取りこぼすケースをLLMが補完する │ │ 例: 「理由は？」→ 単純類似度ではなく │ │ 意図を読み取って適切な候補を選択 │ │ │ │ ※ 実測で33%のケースでTop1と異なる │ │ 回答をLLMが選択（精度向上に寄与） │ └──────────┬─────────────────────────────┘ │ 選択された回答ID + バリアント ▼ ┌────────────────────────────────────────┐ │ Step 5: 回答テキスト + 音声URL │ │ │ │ answer_variants.jsonl から回答文を取得 │ │ /audio/{ID}_{variant}.mp3 のURLを返却 │ │ │ │ → ブラウザで音声再生 + リップシンク │ └────────────────────────────────────────┘