【AIF-C01】モデル評価・透明性関連知識まとめ（勉強ログ#8）

※本記事はAIF-C01の資格試験対策用に私が勉強した内容を備忘録として残したものです。想定問題を解いていて重要だ、ここは忘れそうだと感じた部分をまとめています。網羅的な解説記事ではありませんのでご容赦ください。

はじめに

さて今回は、AIF-C01（AWS Certified AI Practitioner）の資格試験対策として、モデル評価・透明性についてまとめたいと思います。

資格試験に受かることだけを目標に、ポイントだけ抑えた記事となっていますので、気になった個所はより深く調べてみてくださいね。

それでは見ていきましょ～。

試験対策にオススメなUdemy講座も載せておきますね。

基本的には過去問のみです。

とにかく問題を解きまくる！分からないところは私の勉強ログで知識を補填する。このようなサイクルで回してもらえるとすごく嬉しいです～。

目指せ試験合格！

SageMaker Model Cardsは、機械学習モデルの設計、トレーニング、評価、デプロイに関する情報を自動的に集約し、文書化するツールです。

モデルの開発履歴、使用したデータセット、評価指標、環境情報などを整理して提示することで、内部関係者や監査担当者に対してモデルの透明性を確保します。

AI Service Cardsは、AWSが提供する各種AIサービスの概要、制限事項、セキュリティ設定、推奨されるベストプラクティスなどを一元的にまとめたドキュメントです。

これにより、サービスの導入前や運用時に、正確な情報を基にシステム設計や設定の確認が可能になります。

Amazon Augmented AIは、AIの推論結果に対して人間がレビューを行い、結果の信頼性を補完する仕組みを提供します。

特に、信頼性の低い推論結果を自動的に抽出し、人間の判断を介在させることで、システム全体の精度と安全性を向上させることができます。

バリデーションデータセットは、トレーニング中に使用しないデータの一部で、モデルの性能や汎用性を評価するために利用されます。

これにより、過学習を防ぎ、モデルが新たなデータに対してどの程度適応できるかを検証できます。

Shapley値は、協力ゲーム理論に由来する手法で、各参加者（または特徴量）が全体の成果にどれだけ寄与したかを定量化します。

具体的には、全ての可能な参加者の組み合わせにおいて、ある要素が加わった場合の成果の増分を計算し、その平均値を求めることで、その要素の公平な貢献度を評価します。

機械学習では、各特徴量が予測に与える影響を明らかにするために利用され、モデルの解釈性向上に寄与します。

Shapley 値を用いることで、ブラックボックスモデルの予測理由を説明するための透明性が得られ、重要な意思決定における根拠として活用されます。

私がAIF-C01に合格した際の体験記についてもまとめています。勉強の仕方や感じた難易度等、参考になれば嬉しいです！

さて今回は、AIF-C01（AWS Certified AI Practitioner）の資格試験対策として、モデル評価・透明性についてまとめました。

あくまでも私の備忘録ですが、このメモが皆さんのお役に立てればとても嬉しいです！是非この記事を読んで資格に合格できた！！等あれば励みになりますのでコメントください～。

前回まとめた記事はこちらです。

本ブログでは、AIF-C01以外の勉強記事もあげていますのでそちらも是非！！