【AI-900】Azureの自然言語処理系サービスまとめ（勉強ログ#5）

※本記事はAI-900の資格試験対策用に私が勉強した内容を備忘録として残したものです。想定問題を解いていて重要だ、ここは忘れそうだと感じた部分をまとめています。網羅的な解説記事ではありませんのでご容赦ください。

はじめに
オススメ試験対策
Azure の自然言語処理（NLP）
Azure AI Language
会話言語理解（CLU：Conversational Language Understanding）とは？
試験合格体験記
最後に

はじめに

さて今回は、AI-900（Microsoft Certified：Azure AI Fundamentals）の資格試験対策として、Azureの自然言語処理系サービスについてまとめたいと思います。

資格試験に受かることだけを目標に、ポイントだけ抑えた記事となっていますので、詳しく知りたい方はMicrosoftの公式HPでしっかり学習してください。

それでは見ていきましょ～。

オススメ試験対策

オススメの試験対策用Udemy講座も載せておきますね。

以下は体系的に知識を学ぶのにぴったりです。

【AI-900短期合格＆機械学習入門講座】具体例と実践問題で機械学習の本質を学び、最速でAI-900試験に合格しよう！

体系的に学習した後は、過去問を解きまくりましょう。以下の模擬問題集がオススメなので是非！

AI-900: Microsoft Azure AI Fundamentals 模擬問題集

Azure の自然言語処理（NLP）

Microsoft の Azure AI Language や Azure AI 音声を活用すると、テキストや音声の解析・処理を行う自然言語処理（NLP）ソリューションを開発できます。

ちなみに、自然言語処理（NLP）とは、人間が使う言語（日本語、英語など）をコンピューターが理解・処理できるようにする技術です。

サービス	概要	用途例
Azure AI Language	テキストの意味解析、感情分析、キーワード抽出、言語判定などを行う	カスタマーフィードバックの感情分析、要約生成
Azure AI 音声（Speech Services）	音声の文字変換（STT）、文字の音声変換（TTS）、音声認識を行う	音声アシスタント、自動字幕生成
Azure AI 翻訳（Translator）	テキストや音声をリアルタイムで多言語に翻訳する	Webサイトやアプリの多言語対応、チャット翻訳

自然言語処理 (NLP) におけるテキスト前処理の主要な手法についてもまとめます。

処理	説明	例
トークン化 (Tokenization)	テキストを単語や文節などの最小単位（トークン）に分割するプロセス	「今日はいい天気ですね。」→ [“今日”, “は”, “いい”, “天気”, “です”, “ね”]
頻度分析 (Frequency Analysis)	各トークンの出現回数を数え、テキスト内での重要度や特徴を把握する手法	「猫が好きです。犬も好きです。」→ {“好き”: 2, “猫”: 1, “犬”: 1}
テキスト正規化 (Text Normalization)	テキスト内の表記ゆれや不要な記号を統一し、解析しやすい形に整えるプロセス	「Eメール」「e-mail」「Email」→ 「メール」に統一
ストップワードの削除 (Stop Words Removal)	「の」「は」「に」など、解析上あまり意味を持たない一般的な単語を除去する手法	「私は学校に行きます。」→ [“私”, “学校”, “行きます”]
n-gram	連続する n 個のトークンの組み合わせ（単語の組み合わせ）を抽出し、テキストの特徴を捉える手法 uni-gram（1文字）, bi-gram（2文字）, tri-gram（3文字）…	バイグラム (2-gram) で「自然言語処理を学ぶ」→ [“自然言語”, “言語処理”, “処理を”, “を学ぶ”]
ステミング (Stemming) ・レンマ化 (Lemmatization)	単語の語形変化を元の形に戻す手法ステミング：語尾を切り落とし、語幹に戻すレンマ化：単語の原形（辞書形）に戻す	ステミング：「走った」「走る」→ 「走」レンマ化：「走った」「走る」→ 「走る」

Azure AI Language

Azure AI Language は、テキストデータを解析し、意味を理解するためのクラウドAIサービスで、主な機能は以下の通りです。

機能	説明
名前付きエンティティ認識（NER: Named Entity Recognition）	テキストから「人」「場所」「組織」「イベント」などの固有名詞を抽出
エンティティリンク（Entity Linking）	既知のエンティティを識別し、Wikipedia へのリンクを提供
個人情報（PII）検出	個人を特定できる情報（名前、住所、クレジットカード番号など）を自動検出し、マスキング
言語検出（Language Detection）	テキストが何語で書かれているかを識別し、言語コードを返す言語サービスによって返される 3 つの値は、言語名、ISO 6391 コード、スコア
感情分析 & オピニオンマイニング	テキストの感情（ポジティブ・ネガティブ・中立）を判定し、オピニオンを分析
要約（Summarization）	長い文章を短く要約し、重要な情報を抽出
キーフレーズ抽出（Key Phrase Extraction）	非構造化テキストから主要な概念（キーワード）を抽出

会話言語理解（CLU：Conversational Language Understanding）とは？

会話言語理解（CLU）は、Azure AI Language の機能の一つで、自然言語の発話を理解し、意図を解析する AI モデルを作成できます。

主要概念は以下の通りです。

概念	説明	例
発話（Utterance）	ユーザーが入力するテキストや音声	例：「ピザを注文したい」
エンティティ（Entity）	発話内の重要な情報（日時、場所、商品名など）	例：「ピザ」「Lサイズ」「東京」
意図（Intent）	ユーザーが何をしたいのかを識別	例：「注文する」「キャンセルする」「問い合わせる」