AIの回答を待ちきれない？30秒の壁を乗り越える方法

ユーザー → API Gateway → Lambda → Bedrock（AI）
              ↑
        ここで29秒まで

従来方式（コース料理）：
[処理開始] -------- 29秒 -------- [全部完成] → 一括送信

ストリーミング方式（回転寿司）：
[処理開始] → 少し → 少し → 少し → 少し → [完了]
              ↓      ↓      ↓      ↓
           すぐ送信 すぐ送信 すぐ送信 すぐ送信

# streaming_app/main.py
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
import json

app = FastAPI()

async def generate_stream():
    """AIからの応答を少しずつ返す"""
    # Bedrockからストリーミングで受け取る
    for chunk in invoke_bedrock_streaming(prompt):
        # NDJSON形式で1行ずつ送信
        yield json.dumps({"type": "text", "content": chunk}) + "\n"

    # 完了を通知
    yield json.dumps({"type": "done"}) + "\n"

@app.post("/analyze")
async def analyze():
    return StreamingResponse(
        generate_stream(),
        media_type="application/x-ndjson"
    )

// infrastructure/lib/image-analysis-stack.ts

// ストリーミング用Lambda
const streamingFunction = new lambda.Function(this, 'StreamingFunction', {
  runtime: lambda.Runtime.PYTHON_3_12,
  handler: 'run.sh',  // Lambda Web Adapter用
  code: lambda.Code.fromAsset('backend/streaming_app'),
  timeout: cdk.Duration.minutes(15),
  environment: {
    AWS_LWA_INVOKE_MODE: 'response_stream',
  },
});

// API Gateway統合（ストリーミング有効）
const streamingIntegration = new apigateway.LambdaIntegration(
  streamingFunction,
  {
    // ストリーミングを有効化
    // 2025年11月以降の新機能
  }
);

// frontend/src/services/apiClient.ts

async function fetchStreaming(url: string, body: object) {
  const response = await fetch(url, {
    method: 'POST',
    headers: {
      'Content-Type': 'application/json',
      'Authorization': `Bearer ${token}`,
    },
    body: JSON.stringify(body),
  });

  const reader = response.body?.getReader();
  const decoder = new TextDecoder();

  while (true) {
    const { done, value } = await reader.read();
    if (done) break;

    // 受け取ったデータを処理
    const text = decoder.decode(value);
    const lines = text.split('\n').filter(line => line);

    for (const line of lines) {
      const data = JSON.parse(line);
      if (data.type === 'text') {
        // UIに文字を追加
        appendMessage(data.content);
      }
    }
  }
}