メインコンテンツへスキップ
三田工場 技術サイト
undefined icon

製造業向け画像分析システム

活用LV.4

製造業向け画像分析システム - AI活用による製造データ可視化・分析 開発報告

ビジョン:製造現場の画像データをAIが即座に分析し、熟練者の知見をすべての担当者へ届ける


1. 現在の課題(Problem)

製造業の現場で日常的に発生している課題を整理しました。

1-1. グラフ・三角図の目視分析に時間と専門知識が必要

稼働実績グラフや製造三角図などのデータは、CSV等の生データではなく画像形式で管理・共有されているケースが多い。これらの画像から問題点を読み取るには高度な専門知識と経験が必要であり、担当者ごとに判断にばらつきが生じていた。また、複数枚の画像を目視で確認する作業は多くの時間を要し、初期対応の遅れにつながっていた。

1-2. 多様なファイル形式への対応が分断されている

製造現場では TIFF・BMP・PDF など高解像度の業務フォーマットが多用されている。これらのファイルを分析ツールに取り込む際、形式変換の手間が発生していた。

text
現状の分析フロー
├── 画像ファイル(TIFF/BMP/PDF)
│   └── 手動で変換ツールを使いJPEG/PNGへ変換
├── 変換した画像を目視で確認
│   └── 熟練担当者が問題点を判断
└── → 判断のブラックボックス化・属人化・時間ロスが発生

2. 製造業向け画像分析システムでこう変わる(Solution)

# 現状(BEFORE) 導入後(AFTER)
1 熟練者のみが画像の問題点を即座に判断できる AIリアルタイム分析により誰でも即座に問題抽出が可能
2 TIFF/BMP/PDFは手動変換が必要 自動フォーマット変換でそのままアップロードするだけ
3 分析結果はテキスト議事録などに散逸 会話履歴管理で分析ログを一元管理・再参照(実装済み)
4 グラフ数値データの抽出に手作業が必要 構造化データ抽出で数値・特徴点を自動取得(今後強化)

導入後の操作フローイメージ

text
製造現場担当者
└── ブラウザを開く(CloudFront配信 SPA)
    ├── Cognitoで認証(既存社内アカウント)
    └── 画像をアップロード
        ├── ファイル選択 / ドラッグ&ドロップ / Ctrl+Vで貼り付け
        └── 分析ボタン押下
            ├── グラフ分析(ストリーミングで即時表示)
            └── 表・データ抽出(ストリーミングで即時表示)

ストリーミング応答により、長時間の分析も途中経過がリアルタイムで表示されます。


3. システム全体像

text
┌──────────────────┐    ┌──────────────────┐    ┌──────────────────┐    ┌──────────────────┐
│   フロントエンド   │ ─→ │   API Gateway    │ ─→ │  Lambda / FastAPI│ ─→ │  Amazon Bedrock  │
│  React SPA        │    │  Cognito認証付き  │    │  画像変換・処理   │    │  Claude Sonnet   │
│  CloudFront配信   │    │  REST + Streaming │    │  会話履歴管理     │    │  4.5 (Vision)    │
└──────────────────┘    └──────────────────┘    └──────────────────┘    └──────────────────┘

技術スタック

レイヤー 技術
フロントエンド React 19 + TypeScript + Vite + Tailwind CSS
画像プレビュー tiff.js(ブラウザ内TIFF→PNG変換)
バックエンド(標準) AWS Lambda (Python 3.12) + Pillow / PyMuPDF
バックエンド(ストリーミング) FastAPI + Lambda Web Adapter
データベース DynamoDB(会話履歴・TTL付き)
ストレージ S3(画像・Webホスティング・システムプロンプト)
AI Amazon Bedrock Runtime - claude-sonnet-4-5-20250929-v1:0
認証 Amazon Cognito(JWT)
インフラ管理 AWS CDK v2 (TypeScript)
配信 CloudFront
リージョン us-west-2 (Oregon)

4. 主要機能の詳細

4-1. マルチフォーマット画像分析

JPEG・PNG・GIF・WebP はもちろん、製造業で多用される高解像度フォーマットに対応しています。

text
入力: TIFF / BMP / PDF / JPEG / PNG(ファイル選択 / D&D / クリップボード貼付)

処理(フロントエンド): tiff.js でブラウザ内プレビュー用PNG変換
処理(バックエンド):  Lambda Layer (Pillow) でサーバー側PNG変換
                       最大解像度 8192px / Bedrock上限 5MB以内に自動調整

出力: Bedrock Claude がビジョン解析し、問題点・数値データを抽出

4-2. APIゲートウェイ応答ストリーミング

長時間の画像分析でもタイムアウトなく結果を受け取れます。

text
入力: 画像付き分析リクエスト(/graph-analysis, /table-analysis)

処理: API Gateway Response Streaming(2025年11月機能)
      NDJSON形式 + 10秒ごとkeepaliveで接続維持
      Bedrockトークンを逐次フロントエンドへ送信

出力: ブラウザのReadableStream APIでリアルタイム表示

4-3. 会話履歴管理・セッション継続

text
入力: ユーザーの追加質問(前回の画像分析を踏まえた深掘り)

処理: DynamoDB から直近5件の会話履歴を取得し Bedrock に送信
      UserIdIndex GSI でユーザーごとのセッション一覧を管理

出力: 文脈を踏まえた継続分析・回答

5. データ管理・外部連携構成

text
Amazon Cognito           製造業向け画像分析システム(Lambda群)
┌──────────────┐        ┌─────────────────────────────────┐
│  User Pool   │─JWT──→ │  upload_image_handler.py         │
│  認証・認可   │        │  chat_handler.py                  │
└──────────────┘        │  get_conversation_handler.py      │
                        │  list_sessions_handler.py         │
Amazon Bedrock          │  delete_conversation_handler.py   │
┌──────────────┐        │  streaming_app/main.py (FastAPI)  │
│  Claude 4.5  │←──────│                                   │
│  Vision API  │──────→└─────────────────────────────────┘
└──────────────┘               ↕                   ↕
                        ┌──────────┐       ┌──────────────┐
                        │    S3    │       │   DynamoDB   │
                        │ 画像保存  │       │ 会話履歴     │
                        │ プロンプト│       │ TTL管理      │
                        └──────────┘       └──────────────┘

システムプロンプトはS3で一元管理しており、再デプロイ不要でプロンプトを更新可能です。


6. 実装済みの価値

価値 詳細
専門知識の民主化 熟練者でなくても、画像をアップロードするだけでAIが問題点を即抽出
フォーマット障壁の撤廃 TIFF/BMP/PDF をそのまま投入可能。変換作業ゼロ
応答待ち時間の解消 ストリーミング応答により、長時間分析も途中経過をリアルタイムで確認可能
分析ログの蓄積 会話履歴をDynamoDBに保存し、過去の分析結果をいつでも参照可能
セキュアなマルチユーザー対応 Cognitoによる認証でユーザーごとにデータを分離管理

7. 実績データ

精度・品質指標(E2Eテスト結果 2025-12-08)

指標
グラフ数値データ抽出(Phase 1) ✅ 成功
詳細特徴点抽出(Phase 2、ストリーミング) ✅ 成功
データポイント抽出数(サンプル画像) 15件
ストリーミング応答による29秒制限の回避 ✅ 確認済み

対応フォーマット

フォーマット 対応状況
JPEG / PNG / GIF / WebP ✅ ネイティブ対応
TIFF(高解像度) ✅ フロント+バックエンド変換対応
BMP ✅ バックエンド変換対応
PDF ✅ バックエンド変換対応(PyMuPDF)

入力方式

入力方式 対応状況
ファイルピッカー ✅ 複数ファイル同時選択可
ドラッグ&ドロップ
クリップボード貼り付け (Ctrl+V)

8. 製造業向け画像分析システムで描く未来(Benefit)

目指す世界

text
┌──────────────────────────┐
  │ 生産ラインの異常を検知     │  ← トリガーイベント
  └────────────┬─────────────┘

  ┌──────────────────────────┐
  │ 担当者がグラフ画像を貼り付け │  ← ユーザーの行動(Ctrl+V)
  └────────────┬─────────────┘

  ┌──────────┐ ┌──────────┐ ┌──────────┐
  │ 問題箇所 │ │ 原因候補 │ │ 対処案  │  ← すべてAIが即時提示
  └──────────┘ └──────────┘ └──────────┘

具体的に実現したいこと

異常検知の自動アラート連携

  • 生産管理システムから画像を自動取得し、定期的にAI分析を実行
  • 閾値を超えた異常をSlack/メール等で自動通知

過去事例との類似検索

  • 分析済みの画像と問題パターンをベクトルDBに蓄積
  • 新しい問題発生時に類似事例を自動サジェスト

数値データの構造化出力強化

  • グラフから抽出した数値データをCSV/Excelへ自動エクスポート
  • 帳票作成の自動化によるレポーティング工数削減

9. 開発ロードマップ

text
Phase 1: 基盤構築 [DONE]              Phase 2: 高度化 [NEXT]               Phase 3: 自動化 [FUTURE]
───────────────────────               ───────────────────────               ───────────────────────
✓ React SPA + Cognito認証             □ 数値データCSVエクスポート            □ 生産システム自動連携
✓ Lambda + Bedrock Vision連携         □ 異常パターンの学習・提案             □ 定期バッチ分析
✓ TIFF/BMP/PDF自動変換               □ 複数画像の一括比較分析              □ 類似事例検索(RAG)
✓ APIゲートウェイ応答ストリーミング    □ 分析レポートPDF生成                 □ Slack/メール通知連携
✓ 会話履歴管理(DynamoDB)            □ モバイル対応(タブレット最適化)      □ 多言語対応(英語・中国語)
✓ システムプロンプトS3管理            □ 管理者ダッシュボード                □ オンプレ環境対応

まとめ

  1. 製造現場の画像データ分析課題を Amazon BedrockのAI Vision で解決する仕組みを構築済み
  2. TIFF/BMP/PDF等の業務フォーマットと API Gateway Response Streaming を統合し、あらゆる画像をタイムアウトなく分析可能
  3. その先に 「製造知識の民主化 ─ 誰もが熟練者と同じ判断を即座に」 を実現する

製造業向け画像分析システム 貼り付けるだけで、AIが問題を見抜く。

製造業向け画像分析システム - AI活用による製造データ可視化・分析 開発報告

ビジョン:製造現場の画像データをAIが即座に分析し、熟練者の知見をすべての担当者へ届ける


1. 現在の課題(Problem)

製造業の現場で日常的に発生している課題を整理しました。

1-1. グラフ・三角図の目視分析に時間と専門知識が必要

稼働実績グラフや製造三角図などのデータは、CSV等の生データではなく画像形式で管理・共有されているケースが多い。これらの画像から問題点を読み取るには高度な専門知識と経験が必要であり、担当者ごとに判断にばらつきが生じていた。また、複数枚の画像を目視で確認する作業は多くの時間を要し、初期対応の遅れにつながっていた。

1-2. 多様なファイル形式への対応が分断されている

製造現場では TIFF・BMP・PDF など高解像度の業務フォーマットが多用されている。これらのファイルを分析ツールに取り込む際、形式変換の手間が発生していた。

text
現状の分析フロー
├── 画像ファイル(TIFF/BMP/PDF)
│   └── 手動で変換ツールを使いJPEG/PNGへ変換
├── 変換した画像を目視で確認
│   └── 熟練担当者が問題点を判断
└── → 判断のブラックボックス化・属人化・時間ロスが発生

2. 製造業向け画像分析システムでこう変わる(Solution)

# 現状(BEFORE) 導入後(AFTER)
1 熟練者のみが画像の問題点を即座に判断できる AIリアルタイム分析により誰でも即座に問題抽出が可能
2 TIFF/BMP/PDFは手動変換が必要 自動フォーマット変換でそのままアップロードするだけ
3 分析結果はテキスト議事録などに散逸 会話履歴管理で分析ログを一元管理・再参照(実装済み)
4 グラフ数値データの抽出に手作業が必要 構造化データ抽出で数値・特徴点を自動取得(今後強化)

導入後の操作フローイメージ

text
製造現場担当者
└── ブラウザを開く(CloudFront配信 SPA)
    ├── Cognitoで認証(既存社内アカウント)
    └── 画像をアップロード
        ├── ファイル選択 / ドラッグ&ドロップ / Ctrl+Vで貼り付け
        └── 分析ボタン押下
            ├── グラフ分析(ストリーミングで即時表示)
            └── 表・データ抽出(ストリーミングで即時表示)

ストリーミング応答により、長時間の分析も途中経過がリアルタイムで表示されます。


3. システム全体像

text
┌──────────────────┐    ┌──────────────────┐    ┌──────────────────┐    ┌──────────────────┐
│   フロントエンド   │ ─→ │   API Gateway    │ ─→ │  Lambda / FastAPI│ ─→ │  Amazon Bedrock  │
│  React SPA        │    │  Cognito認証付き  │    │  画像変換・処理   │    │  Claude Sonnet   │
│  CloudFront配信   │    │  REST + Streaming │    │  会話履歴管理     │    │  4.5 (Vision)    │
└──────────────────┘    └──────────────────┘    └──────────────────┘    └──────────────────┘

技術スタック

レイヤー 技術
フロントエンド React 19 + TypeScript + Vite + Tailwind CSS
画像プレビュー tiff.js(ブラウザ内TIFF→PNG変換)
バックエンド(標準) AWS Lambda (Python 3.12) + Pillow / PyMuPDF
バックエンド(ストリーミング) FastAPI + Lambda Web Adapter
データベース DynamoDB(会話履歴・TTL付き)
ストレージ S3(画像・Webホスティング・システムプロンプト)
AI Amazon Bedrock Runtime - claude-sonnet-4-5-20250929-v1:0
認証 Amazon Cognito(JWT)
インフラ管理 AWS CDK v2 (TypeScript)
配信 CloudFront
リージョン us-west-2 (Oregon)

4. 主要機能の詳細

4-1. マルチフォーマット画像分析

JPEG・PNG・GIF・WebP はもちろん、製造業で多用される高解像度フォーマットに対応しています。

text
入力: TIFF / BMP / PDF / JPEG / PNG(ファイル選択 / D&D / クリップボード貼付)

処理(フロントエンド): tiff.js でブラウザ内プレビュー用PNG変換
処理(バックエンド):  Lambda Layer (Pillow) でサーバー側PNG変換
                       最大解像度 8192px / Bedrock上限 5MB以内に自動調整

出力: Bedrock Claude がビジョン解析し、問題点・数値データを抽出

4-2. APIゲートウェイ応答ストリーミング

長時間の画像分析でもタイムアウトなく結果を受け取れます。

text
入力: 画像付き分析リクエスト(/graph-analysis, /table-analysis)

処理: API Gateway Response Streaming(2025年11月機能)
      NDJSON形式 + 10秒ごとkeepaliveで接続維持
      Bedrockトークンを逐次フロントエンドへ送信

出力: ブラウザのReadableStream APIでリアルタイム表示

4-3. 会話履歴管理・セッション継続

text
入力: ユーザーの追加質問(前回の画像分析を踏まえた深掘り)

処理: DynamoDB から直近5件の会話履歴を取得し Bedrock に送信
      UserIdIndex GSI でユーザーごとのセッション一覧を管理

出力: 文脈を踏まえた継続分析・回答

5. データ管理・外部連携構成

text
Amazon Cognito           製造業向け画像分析システム(Lambda群)
┌──────────────┐        ┌─────────────────────────────────┐
│  User Pool   │─JWT──→ │  upload_image_handler.py         │
│  認証・認可   │        │  chat_handler.py                  │
└──────────────┘        │  get_conversation_handler.py      │
                        │  list_sessions_handler.py         │
Amazon Bedrock          │  delete_conversation_handler.py   │
┌──────────────┐        │  streaming_app/main.py (FastAPI)  │
│  Claude 4.5  │←──────│                                   │
│  Vision API  │──────→└─────────────────────────────────┘
└──────────────┘               ↕                   ↕
                        ┌──────────┐       ┌──────────────┐
                        │    S3    │       │   DynamoDB   │
                        │ 画像保存  │       │ 会話履歴     │
                        │ プロンプト│       │ TTL管理      │
                        └──────────┘       └──────────────┘

システムプロンプトはS3で一元管理しており、再デプロイ不要でプロンプトを更新可能です。


6. 実装済みの価値

価値 詳細
専門知識の民主化 熟練者でなくても、画像をアップロードするだけでAIが問題点を即抽出
フォーマット障壁の撤廃 TIFF/BMP/PDF をそのまま投入可能。変換作業ゼロ
応答待ち時間の解消 ストリーミング応答により、長時間分析も途中経過をリアルタイムで確認可能
分析ログの蓄積 会話履歴をDynamoDBに保存し、過去の分析結果をいつでも参照可能
セキュアなマルチユーザー対応 Cognitoによる認証でユーザーごとにデータを分離管理

7. 実績データ

精度・品質指標(E2Eテスト結果 2025-12-08)

指標
グラフ数値データ抽出(Phase 1) ✅ 成功
詳細特徴点抽出(Phase 2、ストリーミング) ✅ 成功
データポイント抽出数(サンプル画像) 15件
ストリーミング応答による29秒制限の回避 ✅ 確認済み

対応フォーマット

フォーマット 対応状況
JPEG / PNG / GIF / WebP ✅ ネイティブ対応
TIFF(高解像度) ✅ フロント+バックエンド変換対応
BMP ✅ バックエンド変換対応
PDF ✅ バックエンド変換対応(PyMuPDF)

入力方式

入力方式 対応状況
ファイルピッカー ✅ 複数ファイル同時選択可
ドラッグ&ドロップ
クリップボード貼り付け (Ctrl+V)

8. 製造業向け画像分析システムで描く未来(Benefit)

目指す世界

text
┌──────────────────────────┐
  │ 生産ラインの異常を検知     │  ← トリガーイベント
  └────────────┬─────────────┘

  ┌──────────────────────────┐
  │ 担当者がグラフ画像を貼り付け │  ← ユーザーの行動(Ctrl+V)
  └────────────┬─────────────┘

  ┌──────────┐ ┌──────────┐ ┌──────────┐
  │ 問題箇所 │ │ 原因候補 │ │ 対処案  │  ← すべてAIが即時提示
  └──────────┘ └──────────┘ └──────────┘

具体的に実現したいこと

異常検知の自動アラート連携

  • 生産管理システムから画像を自動取得し、定期的にAI分析を実行
  • 閾値を超えた異常をSlack/メール等で自動通知

過去事例との類似検索

  • 分析済みの画像と問題パターンをベクトルDBに蓄積
  • 新しい問題発生時に類似事例を自動サジェスト

数値データの構造化出力強化

  • グラフから抽出した数値データをCSV/Excelへ自動エクスポート
  • 帳票作成の自動化によるレポーティング工数削減

9. 開発ロードマップ

text
Phase 1: 基盤構築 [DONE]              Phase 2: 高度化 [NEXT]               Phase 3: 自動化 [FUTURE]
───────────────────────               ───────────────────────               ───────────────────────
✓ React SPA + Cognito認証             □ 数値データCSVエクスポート            □ 生産システム自動連携
✓ Lambda + Bedrock Vision連携         □ 異常パターンの学習・提案             □ 定期バッチ分析
✓ TIFF/BMP/PDF自動変換               □ 複数画像の一括比較分析              □ 類似事例検索(RAG)
✓ APIゲートウェイ応答ストリーミング    □ 分析レポートPDF生成                 □ Slack/メール通知連携
✓ 会話履歴管理(DynamoDB)            □ モバイル対応(タブレット最適化)      □ 多言語対応(英語・中国語)
✓ システムプロンプトS3管理            □ 管理者ダッシュボード                □ オンプレ環境対応

まとめ

  1. 製造現場の画像データ分析課題を Amazon BedrockのAI Vision で解決する仕組みを構築済み
  2. TIFF/BMP/PDF等の業務フォーマットと API Gateway Response Streaming を統合し、あらゆる画像をタイムアウトなく分析可能
  3. その先に 「製造知識の民主化 ─ 誰もが熟練者と同じ判断を即座に」 を実現する

製造業向け画像分析システム 貼り付けるだけで、AIが問題を見抜く。