【AIF-C01】データ前処理・ETL・ラベリング関連知識まとめ（勉強ログ#15）

※本記事はAIF-C01の資格試験対策用に私が勉強した内容を備忘録として残したものです。想定問題を解いていて重要だ、ここは忘れそうだと感じた部分をまとめています。網羅的な解説記事ではありませんのでご容赦ください。

はじめに

さて今回は、AIF-C01（AWS Certified AI Practitioner）の資格試験対策として、データ前処理・ETL・ラベリングについてまとめたいと思います。

資格試験に受かることだけを目標に、ポイントだけ抑えた記事となっていますので、気になった個所はより深く調べてみてくださいね。

それでは見ていきましょ～。

試験対策にオススメなUdemy講座も載せておきますね。

基本的には過去問のみです。

とにかく問題を解きまくる！分からないところは私の勉強ログで知識を補填する。このようなサイクルで回してもらえるとすごく嬉しいです～。

目指せ試験合格！

AWS Glueは、フルマネージドなETLサービス（ETL：「Extract（抽出）」「Transform（変換）」「Load（読み込み）」）として、各種データソースからメタデータを自動抽出し、データカタログに統合する機能を持ちます。

内蔵のクローラーと変換機能により、データの取り込み、前処理、変換を自動化し、効率的なデータパイプラインの構築を実現します。

AWS Glue DataBrewは、ノーコードでデータのクリーニングや正規化、変換を直感的な視覚的操作で実施できるツールです。

250以上の組み込み変換機能を備え、専門的なプログラミング知識がなくても、データ品質を向上させる作業を効率的に行えます。

AWS Glue Data Catalogは、組織内の全データ資産のメタデータを一元管理するためのリポジトリです。

各種データソースの情報を自動登録し、後続のETLジョブやクエリ処理の際にデータの発見性と再利用性を向上させます。

SageMaker Ground Truthは、ラベル付きデータセットを高精度に構築するためのサービスです。

アクティブラーニング機能や外部のラベリングワークフォースを活用し、効率的かつ正確なデータラベル付けのプロセスを自動化します。

SageMaker Clarifyは、トレーニングデータやモデルの出力に潜むバイアスを自動検出し、説明可能性を評価するツールです。

これにより、モデルの公正性や透明性を担保し、信頼性の高いAIシステムの構築をサポートします。

トレーニング前（データの前処理後）、トレーニング後（モデルの予測結果を評価）の2つのタイミングでバイアスを検出します。

Clarify：明らかにする

私がAIF-C01に合格した際の体験記についてもまとめています。勉強の仕方や感じた難易度等、参考になれば嬉しいです！

さて今回は、AIF-C01（AWS Certified AI Practitioner）の資格試験対策として、データ前処理・ETL・ラベリングについてまとめました。

あくまでも私の備忘録ですが、このメモが皆さんのお役に立てればとても嬉しいです！是非この記事を読んで資格に合格できた！！等あれば励みになりますのでコメントください～。

前回まとめた記事はこちらです。

本ブログでは、AIF-C01以外の勉強記事もあげていますのでそちらも是非！！