
AIプロダクトを開発する際に考えるべき品質保証のキホン

こんにちは、株式会社調和技研のプロダクト開発担当、竹田です。
本記事ではAIを組み込んだプロダクトの品質保証に関して、AIプロダクト品質保証コンソーシアム(英文名:Consortium of Quality Assurance for Artificial-Intelligence-based Products and Services、略称:QA4AIコンソーシアム)が公開しているガイドラインに従い、AI開発の際に考えるべき観点をご紹介します。
AIプロダクトの品質保証が重要な理由
AIプロダクトの品質保証は、AIが適切に機能し、性能が確保されることを確かめる重要なプロセスです。AIプロダクトの品質保証において注意すべき点は、それが従来型のソフトウェアの品質保証をそのまま適用できないということです。AIは学習能力を持ち、その振る舞いは訓練データや学習アルゴリズムに強く依存するため、予期しない、あるいはバイアスがかかった結果を出さないように品質保証において特別な配慮が必要です。このような保証は、AI技術の可能性を最大限に活かしつつ、リスクを最小限に抑えるために欠かせません。
AIプロダクト品質保証ガイドラインとは
AIプロダクト品質保証ガイドライン[1]は、AIプロダクトの品質保証の共通指針としてQA4AIコンソーシアムにより発行されました。AIの品質は性能と信頼性に直結する重要性を持つ一方、新しい技術であることから、これまで品質保証が十分に体系化されていませんでした。このガイドラインはそうした状況を踏まえて作成されたものです。
以下、本ガイドラインで特に重要とされているAIプロダクトの品質保証プロセスの構築・評価の5つの軸、および品質保証の構築・評価方法について、要点を整理してご紹介します。
AIプロダクトの品質保証の構築や評価において考慮すべき5つの軸
① Data Integrity(データの完全性)
AIモデルの作成には、適切な種類、質、量のデータが不可欠です。また、オンラインなどの動作環境や法的要件にも対応したデータの選択と使用が求められます。具体的には以下の点を重視します。
- 学習データの量の十分性
- 学習データの妥当性
- 学習データの要件適合性
- 学習データの適正性
- 学習データの複雑性
- 学習データの性質の考慮
- 学習データの値域の妥当性
- 学習データの法的適合性
- 検証用データの妥当性
- オンライン学習の影響の考慮
- データ処理プログラムとしての妥当性
② Model Robustness(モデルのロバスト性)
AIモデルの運用開始時の精度はもちろん重要ですが、運用中に生じる可能性のある問題への対応も不可欠です。AIモデルを適切に管理するためには、以下の点を特に考慮する必要があります。
- モデルの精度の充分性
- モデルの汎化性能の充分性
- モデルの評価の充分性
- 学習過程の妥当性
- モデル構造の妥当性
- モデルの検証の妥当性
- モデルの頑健性
- 検証用データの多様性
- モデル更新に対する検証の充分性
- モデルの陳腐化への考慮
- プログラムとしてのモデルの適切性
③ System Quality(システムの品質)
通常のシステムの品質だけでなく、AI(機械学習)の組み込みによる影響も考慮した品質保証が必要です。具体的には以下の点を重視します。
- システムによる提供価値の適切性
- AIのシステムへの影響
- システム評価単位の妥当性
- 事故による影響の抑制
- 事故発生の回避性
- AI の影響度の抑制
- ステークホルダーの納得性
- AI システムの法的適合性
- システムの品質低下への考慮
④ Process Agility(プロセスの機敏性)
AIシステムの開発、改良、問題対応においては迅速な対応が求められます。技術、データ管理、組織体制の面を踏まえ、以下の要点に注目します。
- データ収集の迅速性
- 開発の迅速性
- 問題解析の迅速性
- 回復の迅速性
- 改善の迅速性
- リリースの迅速性
- 自動化の十分性
- 構成管理の適切性
- 開発チームの適正
- 技術進化の迅速性
- ステークホルダーの納得性
⑤ Customer Expectation(顧客の期待値)
顧客の期待と実際の運用レベルの間にギャップがないことが求められます。これを確保するためには、以下の要点に注意する必要があります。
- ステークホルダーの期待度
- ステークホルダーの技術理解度
- 運用に対する期待度
- 標準適合性の必要度
- ステークホルダーとの関係性
品質保証の構築・評価方法、およびAIプロダクト開発の進め方
AIプロダクトの品質保証は、開発の初期段階から運用に至るまでの各段階をカバーします。この過程で、5つの評価軸を用いて品質チェックを実施し、その結果をグラフで示すことができます。理想的なグラフは、各評価軸において均等に高い評価が得られているものです。
AIプロダクト品質保証ガイドラインから引用
上図の左側のグラフは、開発が進行するにつれて全体的な評価が向上することを示しています。これは、品質保証の観点から望ましい状態であり、このような進行を目指すことが重要です。
一方で、開発の初期段階で一部の評価軸が特に高い場合、その高評価部分を「余力」として活用しつつ、他の評価軸の改善に努めるべきです。例えば、上図の右側のグラフの場合、"Model Robustness"の評価が特に高い場合でも、これを過剰品質とみなさず、他の評価軸の改善に努めながらこの高評価を維持することが推奨されます。
AIの開発なら調和技研へ
以上、AIプロダクトの品質保証に関するガイドラインを基に、その重要性と評価方法をご説明してきました。
これまで数々のAIを開発してきた調和技研では、品質保証はAIプロダクト開発の中核をなす要素であると認識しています。特に、画像AI異常検知プロダクトのような先進的な技術を取り入れた開発において、品質の高さはその成功の鍵となります。
AIの開発を検討されている企業様、AI開発に関して課題をお持ちの企業様はぜひお気軽にご相談ください。
>> 調和技研の「オーダーメイドAI開発・導入支援サービス」を見る
【参考文献】

画像系AI関連の受託開発、プロダクト開発に従事。2006年京都大学大学院理学研究科化学専攻修士課程修了。その後、製造業メーカーにおいて、材料開発、機械設計、計測技術開発を経験し、AI開発に興味を持ち2021年8月から調和技研にジョイン。今までの経験を活かして、製造業でAI導入を進めていきたいと考えています。
関連記事


Google のLLM「Gemini 2.0 Flash Thinking」を試してみる
- 生成系AI
- ChatGPT
- 言語系AI

【GroqCloud】 爆速回答!?GroqCloudの実力とは

【まとめ】GPT-4.5 登場!史上最強のAIモデルがリサーチプレビューを公開
- ChatGPT
- インタビュー
- 生成系AI
- 言語系AI

AI Agent Vol.2【Agent の 4つの要素】
- ChatGPT
- 生成系AI
- 言語系AI

Google のLLM「Gemini 2.0 Flash」を試してみる
- 生成系AI
- ChatGPT
- 言語系AI

2024年 年末のAI関連発表について
- ChatGPT
- 生成系AI
- 言語系AI

OpenAIが公開したLLMの事実性を評価する指標「SimpleQA」でモデルを測定してみた
- 生成系AI
- 言語系AI
- ChatGPT

AI導入に必須!PoC(概念実証)を成功させる進め方とポイント

The AI Scientist:AIによる論文の自動生成|さまざまな研究テーマを提案させてみる
- 生成系AI
- ChatGPT
- 言語系AI

AI Agent Vol. 1【Single AgentとMulti Agent】
- ChatGPT
- 生成系AI
- 言語系AI

AI活用成功に導く「AI導入アセスメント」とは――数理最適化AI事例をもとにポイントを解説

Llama 3 の日本語継続事前学習モデル「Llama-3-ELYZA-JP-8B」を試してみる
- 生成系AI
- 言語系AI
- ChatGPT

「戻れない変化」を生み出し続ける。コンサルを通して見極める業界DX実現への道筋
- インタビュー
- 生成系AI
- ChatGPT

サステナビリティ領域で活躍するAI―SDGs×AI活用事例
- 数値系AI
- 画像系AI

MetaのオープンLLM「Llama3.2 3B-Instract」の精度を検証してみた|GPT4o-miniとの比較あり
- 生成系AI
- 言語系AI

OpenAIの軽量モデル「GPT-4o mini」を試してみる
- 生成系AI
- 言語系AI
- ChatGPT

Microsoft「GraphRAG」とLangchainの知識グラフを活用したRAGを比較
- ChatGPT
- 言語系AI
- 生成系AI

ChatGPTのAPI利用料金比較|最新モデルGPT-4o miniも検証
- ChatGPT
- 言語系AI
- 生成系AI

Langchain+Neo4j で「GraphRAG」を実装してみる
- ChatGPT
- 生成系AI
- 言語系AI

数理最適化ソルバー活用事例|組合せ最適化で社内交流会の班分けを自動化
- 数値系AI

GoogleのマルチモーダルLLM「Gemini.1.5 Flash」の精度を検証してみる
- ChatGPT
- 生成系AI
- 言語系AI

3次元点群データを用いた物体検出
- 画像系AI

GPT-4oを活用した画像検索システムの構築方法
- 画像系AI
- ChatGPT

Pythonコーディングを簡単に|LangChainで効率化【LLMことはじめ Vol.2】
- ChatGPT
- 言語系AI
- 生成系AI

Copilot for Microsoft 365で「PowerPoint」を使いこなす
- 生成系AI

Google のオープンLLM「Gemma」を試してみる|GPT-3.5 Turboとの比較あり
- ChatGPT
- 生成系AI
- 言語系AI

3次元点群データとAIを用いたオガ粉の体積計測
- 画像系AI

Llama 3 の日本語継続事前学習モデル「Llama 3 Youko 8B」を試してみる|他LLMとの比較あり
- ChatGPT
- 言語系AI
- 生成系AI

RAG(Retrieval Augmented Generation)を「Command R+」で試してみた|精度をGPT-4 Turboと比較
- ChatGPT
- 生成系AI
- 言語系AI

Wood Powder Volume Calculation using Point Cloud Data and AI
- 画像系AI

Dify(ディファイ)をGoogle Cloudにデプロイしてみた
- 生成系AI

“Azure OpenAI”で始めるPythonプログラミング【LLMことはじめ Vol.1】
- 生成系AI
- 言語系AI
- ChatGPT

Combating the Malicious Use of AI-Powered Image Editing: A Deep Technical Dive
- 生成系AI
- 画像系AI

最新版「GPT-4 Turbo」を試してみた|GPT-4oとの比較あり(5/14追記)
- ChatGPT

PrecisionとRecallを何度も調べ直さないために
- 言語系AI

Stable Diffusion+LoRAを使って異常画像データを生成できるか検証してみた
- 生成系AI
- 画像系AI

大規模言語モデルによるソースコード生成:GitHub CopilotからCopilot Xへの進化と未来
- 生成系AI
- 言語系AI

AI導入の前に知っておくべき基礎知識(後編)――効率的に自業務にAIを導入するための4ステップ
- 数値系AI
- 画像系AI
- 言語系AI

配達ルート最適化AIにより作業時間80%削減を実現。成功の鍵は“人とAIの調和”
- インタビュー
- 数値系AI

AI画像生成の法的リスク(後編):著作権侵害を回避するために
- 生成系AI
- 画像系AI

AI画像生成の法的リスク(前編):著作権法の基本を学ぼう
- 画像系AI
- 生成系AI

AIというツールを使い 「生命たらしめるもの」が何かを見つけたい【調和技研✖️AIの旗手 Vol.4】
- インタビュー

AI導入の前に知っておくべき基礎知識(前編)――AIのキホンと活用事例
- 数値系AI
- 画像系AI
- 言語系AI

AIアルゴリズムの構築には、 課題の本質を見極めることが重要 【調和技研✖️AIの旗手 Vol.3】
- インタビュー

CNNで浮世絵画風変換はできるのか――Ukiyolator開発ストーリー Vol.2
- 画像系AI
- 生成系AI

住宅写真という資産をAIで利活用し、工務店とお客様をつなぐ新たなビジネスを創造
- インタビュー
- 画像系AI
- ChatGPT

シフト最適化への応用が期待される強化学習を用いた組合せ最適化の解法
- 数値系AI

多彩なサービスと紐づく「交通」の課題解決で地域の活性化や住みやすさの向上を【調和技研×AIの旗手 Vol.2】
- インタビュー

Microsoft GuidanceでのFunction Calling機能の使い方とその特徴
- ChatGPT
- 言語系AI

Segment Anything Model(SAM)を使いこなそう!パラメータ設定のポイントも徹底解説
- 画像系AI

Stable Diffusionを使って異常画像データを生成できるか検証してみた
- 画像系AI
- 生成系AI

基礎から解説!数値系異常検知の概要と代表的な手法
- 数値系AI

実践!ChatGPT×Slackの具体的な連携方法と日常業務での効果的な活用事例
- ChatGPT
- 言語系AI
- 生成系AI

最先端AI技術で浮世絵を現代に再現する――Ukiyolator開発ストーリー Vol.1
- 画像系AI
- 生成系AI

PaDiMとPatchCoreどちらを選ぶべき?異常検知モデルの選択肢を見極めるポイント
- 画像系AI

社内の暗黙知を可視化するナレッジネットワークでイノベーションが生まれやすい環境に
- インタビュー
- 言語系AI

人の幸せや社会の豊かさに、AIをいかに「調和」させるか【調和技研×AIの旗手 Vol.1】
- インタビュー