はじめに
こんにちは、ItaItsuです！今回は「生成AI」に関する記事です。
皆さん「AI」と聞くと、未来の技術や革新的なアプリケーションを思い浮かべることが多いですよね。
中でも「生成AI」は、ディープラーニングや機械学習の技術を用いて、新たなデータや情報を生成するAIシステムのことを指します。情報の拡充やクリエイティビティの向上に貢献するとともに、様々な応用の可能性を秘めた重要な技術であることから、近年とても注目を集めています。
ChatGPTと言えば、聞き馴染みのある方もいるのではないでしょうか？？こちらも「生成AI」の一種です。以前ChatGPTに関する記事もまとめていますので、是非チェックしてみてください！
例えば、あなたがSNSで読む文章や音楽の自動生成、さらには映画のストーリーラインの作成にまで「生成AI」は利用されています。アルゴリズムやモデルの名前は聞き慣れないかもしれませんが、これらが私たちの日常生活に大きなインパクトをもたらしていることはよく分かりますね。
（雑な感想で申し訳ないですが、スゴイ技術です・・・）
今回は3パート構成で、「生成AI」の基礎知識や応用例、代表的なモデルやアルゴリズム、問題点や将来展望等についてまとめてきます。
- Part1 ⇐ 今はここです！
「生成AI」の基礎知識 / 応用分野や活用例 / 利点と課題 / 種類や特徴 / 教師あり学習と教師なし学習の違い / 代表的なモデルやアルゴリズム
- Part2
「生成AI」のトレーニングとデータセットの選び方 / データの前処理 / 評価指標 / 応用例：文章生成 / 応用例：画像生成 / 応用例：音声合成
- Part3
倫理的な問題と注意点 / 将来展望と発展可能性
Part1では、「生成AI」とは何か？？といった基礎知識から始まり、応用分野や活用例、利点と課題等についてまとめていきます。
また、「生成AI」の種類や特徴、教師あり学習と教師なし学習というの違い、LSTM、Transformer、BERTといった代表的なモデル等にも触れていき、その特徴や優れた性能についてご紹介していきます。
Part2やPart3もぜひ読んでいただけると嬉しいです！
「生成系AI」は、私たちの想像力を広げ、新たな未来を拓く鍵となります。一緒に「生成系AI」の世界へ飛び込み、未来の可能性を感じてみましょう。準備はできましたか？？それではさっそく出発です！
「生成AI」の基礎知識
機械学習と人工知能の関係性
機械学習（ML：Machine Learning）とは、コンピューターシステムがデータから自動的に学習をし、パターンや規則性を抽出することで予測や意思決定を行うための手法やアルゴリズムの総称です。これらはAIの一部であり、経験からの学習によって自動的に改善することが特徴です。
機械学習には、教師あり学習、教師なし学習、強化学習の3つの主要なアプローチがあります。
教師あり学習と教師なし学習については、後ほど説明しますね。強化学習は・・・いったんまた今度でお願いします・・・
一方、人工知能（AI：Artificial Intelligence）は、コンピュータに人間の知的な能力を持たせるための総合的な分野です。
まぁ、大枠にAIと呼ばれる計算機科学の一分野があり、その一部として機械学習があるようなイメージですね。
今回取り上げている「生成AI」は、機械学習の一分野であり、与えられたデータから新しいデータを生成する能力を持つモデルを指します。
ニューラルネットワークの基本原理
ニューラルネットワーク（NN：Neural Network）は人間の脳内の神経細胞（ニューロン）とそのつながりを、数式的なモデルで表現したものであり、「生成AI」に広く用いられています。
複数のニューロン（ノード）が層状に組み合わさったネットワーク構造を持ち、一般的には、入力層、中間層（隠れ層）、出力層の3つの層で構成されます。そして、各ノードは一つ前の層のノードと結合しており、結合には重みが関連付けられています。
ニューラルネットワークの学習では、トレーニングデータを用いて重みの最適化が行われます。
学習の過程で、入力データがネットワークを通じて順方向に伝播し、出力が計算されます。その出力と正解データの誤差を評価し、誤差を最小化するように重みが更新されます。このプロセスを反復することで、ニューラルネットワークはデータの特徴を学習し、複雑な予測や分類の能力を獲得します。
「生成AI」とは何か？
生成モデルと識別モデルの違い
生成モデルと識別モデルは、機械学習の手法における異なるアプローチです。
生成モデル（Generative model）は統計的な手法を用いて観測データの背後にある確率分布をモデル化し、新しいデータを生成するためのモデルです。データの背後にある確率分布を理解し、その分布からサンプリングすることで、新しいデータを合成することが可能になります。
もう少し具体的にいくと、どうやら「ベイズの定理」が使われているみたいです。この辺り、私はまだまだ詳しくありませんので、いずれ勉強していきたいなと思っています。しばしお待ちを・・・
一方、識別モデル（Discriminative model）はトレーニングデータを用いてモデルのパラメータを学習し、その学習結果をもとに新しいデータのクラスを予測します。トレーニングデータには入力データと正解のクラスラベルが含まれており、モデルはこれらのデータを分析して入力データとクラスラベルの関係を把握します。そして、未知のデータが与えられた場合に、そのデータがどのクラスに属するかを予測することができます。
色々言いましたが要するに・・・
生成モデルはデータの確率分布をモデル化し、新しいデータを生成するために使用される。
識別モデルは入力データを分類するために使用され、与えられたデータのクラスを直接予測する。
といった感じですかね。
教師あり生成モデルと教師なし生成モデルの概要
生成モデルの学習方法には、「教師あり」と「教師なし」の2パターンがあります。
教師あり生成モデルは、生成モデルの学習において教師データ（正解のデータ）を使用する手法です。
トレーニングデータには入力データとそれに対応する正解の出力データが与えられます。その教師データ（正解のデータ）を利用してデータの分布や構造を学習し、新しいデータを生成することができます。
人間が、この入力パターンの場合はこれが正解！というのを教えてあげることで、新しいデータを生成するんですね。文字通り「教師あり」、先生の役割を果たしてあげるわけです。
一方、教師なし生成モデルでは教師データが不要であり、与えられたデータ自体の分布を学習し、新たなデータを生成します。
つまり、トレーニングデータには入力データのみが与えられ、正解の出力データは提供されません。モデルはデータの内部パターンや構造を自己組織化することで、データの生成や変換の能力を獲得します。
まぁ教師あり学習の全く逆ですね。正解を与えない、先生がいないわけです。自分で学習してくれって感じです。
教師なし生成モデルの代表的な手法には、敵対的生成ネットワーク（GAN：Generative Adversarial Network）があります。こちらの解説もしますね。
敵対的生成ネットワーク（GAN：Generative Adversarial Network）の仕組み
敵対的生成ネットワーク（GAN：Generative Adversarial Network）は2014年にイアン・グッドフェローらによって発表された、生成AIの中でも特に注目されている手法です。
GANは生成モデルと識別モデルの2つのネットワークが競い合うことでデータ生成を行います。
生成モデルはランダムノイズや入力データから新たなデータを生成し、識別モデルは生成モデルが生成したデータと実際のデータを区別します。
生成モデルはより本物のデータに近いデータを生成するように学習し、識別モデルは本物のデータと生成されたデータを識別する能力を高めるように学習するわけです。
このように、生成モデルと識別モデルが互いに競い合いながら学習を進めるプロセスにより、より高品質なデータ生成が可能となります。”敵対的”という言葉がしっくりきますね。
GANは、画像生成や画像変換の分野で特によく用いられており、リアルな画像の生成やスタイル変換、欠損データの補完など様々な応用先があります。
もちろん問題点もあり、学習が不安定になることや、モード崩壊と呼ばれる現象が起こる場合があることがあるそうです。モード崩壊は、生成モデルが生成するデータがある特定のパターンに偏ってしまう現象だそうです。
このあたりが改善すれば、より精度が増していきそうですね。楽しみです。
「生成AI」の応用分野と活用例
「生成AI」は様々な応用分野、活用例があるとお伝えしています。具体的にはどんな例があるのでしょうか。見ていきましょう！さらなる詳細はPart2やPart3をお楽しみにです！
自然言語処理における文章生成の応用事例
「生成AI」は自然言語処理においても活用されています。
例えば、文章の自動要約や翻訳、質問応答システムなどで生成モデルが使用されます。
生成モデルは大量のテキストデータを学習し、それを元に自然な文章（人間に近い表現や文体）を生成することが可能となります。
ChatGPTとかはまさしくこれでしょうね。本当にスゴイ技術です・・・
画像生成と補間の応用事例
「生成AI」は画像生成や補間の分野でも優れた成果を上げています。
例えば、GANを用いた画像生成では、与えられた条件やスタイルに基づいて新しい画像を生成することができます。
また、画像補間では与えられた2つの画像の間を滑らかに補完することで、中間の画像を生成することができます。
これにより、デザインや映像制作、仮想現実などの領域での活用が期待されています。
余談ですが、当ブログのプロフィールアイコンも画像生成AIで作成しています。私みたいにデザインセンスが皆無な人でも、簡単にオシャレなデザインが作成できるので、活用の幅が広がりそうですよね。
音声合成と音楽生成の応用事例
音声合成や音楽生成においても「生成AI」が活用されています。
音声合成では、自然な人の声を生成するために音声データを学習し、新たな音声を生成することが可能です。
音楽生成では、既存の音楽データや楽曲のパターンを学習し、それをもとに新たなメロディやリズムを生成することができます。
これにより、音楽制作や音声アシスタントの開発などでの活用が広がっています。
「生成AI」の利点と課題
「生成AI」の利点と課題もしっかりとおさえておきましょう。
クリエイティブなコンテンツ生成の可能性
「生成AI」はクリエイティブなコンテンツ生成において非常に有望な技術です。
例えば、文章や画像、音声などの多様なコンテンツを生成することができます。
（1つ前の章、応用分野と活用例でも話しましたね。）
これにより、小説や詩、美術作品、音楽などの創作活動をサポートするだけでなく、個々のニーズや好みに合わせたパーソナライズされたコンテンツの提供が可能となります。
私も散々お世話になっています・・・
データの不足と生成品質の問題
「生成AI」の課題の一つとして、データの不足と生成品質の問題があります。
生成モデルは大量のデータを学習することで高品質な生成を実現しますが、データが不足している場合や学習データに偏りがある場合には生成品質が低下する可能性があります。
また、生成モデルが学習したデータに偏りやバイアスがある場合には、その影響が生成結果にも現れる可能性があります。
モデルの誤った出力とバイアスのリスク
「生成AI」は学習データを元にデータを生成するため、モデルの誤った出力や予測が生じるリスクがあります。
特に教師データにバイアスや偏りがある場合、それがモデルの生成結果にも反映される可能性があります。
例えば、差別的な表現や不適切なコンテンツの生成などが問題となる場合があります。
これに対しては、適切なデータセットの選定やモデルの検証・監視が重要です。
「生成AI」の種類と特徴
自己回帰モデル（Autoregressive Models）
自己回帰モデルは「生成AI」の一種であり、時間的な依存関係やパターンを考慮しながら、過去のデータ点（過去の時刻のある値）を使用して、現在のデータ点（現在の時刻のある値）を予測するモデルです。
株価や天候、トレンドの予測など、時間的なパターンや動向を把握する必要がある場合によく利用されます。
また、文章生成にもよく利用されます。
一度生成したデータを次の予測のための入力として再帰的に利用するため、自然な流れや文脈を持つデータを生成することが可能となります。「生成AI」にぴったりということがよく分かりますね。
ちなみに自己回帰モデルには、RNN（Recurrent Neural Network）やLSTM（Long Short-Term Memory）などが利用されるそうです。
フローベースモデル（Flow-based Models）
フローベースモデルは、「生成AI」の別のアプローチです。
このモデルでは、入力データを変換する関数（フロー）を複数のステップで連鎖させることで、元のデータの分布を学習し、それを使って新たなデータを生成します。
ちょっと難しく言いましたが、まぁ要するに、データの分布を変換する関数（フロー）を学習し、その関数（フロー）を介してデータを生成するというわけです。
また、データの生成と逆変換が容易であり、生成されたデータを元のデータに逆変換することもできます。
フローベースモデルは、画像生成やデータの補完、異常検知などの応用があります。特に、変分オートエンコーダ（VAE）や敵対的生成ネットワーク（GAN）といった他の生成モデルと組み合わせて利用されることがあります。
変分オートエンコーダ（Variational Auto-Encoders）
変分オートエンコーダは、「生成AI」の一種です。
そもそもオートエンコーダとは、エンコーダとデコーダと呼ばれる2つのニューラルネットワークから構成されているモデルであり、入力データを圧縮し、再構築することでデータの表現を学習します。エンコーダは入力データを潜在空間の特徴表現に変換し、デコーダは潜在空間の特徴表現を元のデータに復元する役割を担います。
変分オートエンコーダは、このオートエンコーダに確率的な要素を導入したモデルです。
具体的には、潜在空間の特徴表現を生成する際に、確率分布を考慮します。エンコーダは入力データを潜在空間の確率分布のパラメータに変換し、デコーダはその確率分布からサンプリングされた潜在特徴表現を元のデータに復元します。
この確率的な特徴表現により、VAEは新しいデータを生成することが可能です。潜在空間の確率分布からサンプリングすることで、多様なデータのバリエーションを生成することができます。また、学習された潜在空間は、データの特徴や意味を捉えた表現となる場合もあります。
変分オートエンコーダは、データの生成、異常検知、データの補完など、さまざまな応用があります。加えて、生成された潜在空間の解釈により、データの解析や可視化、特徴の抽出などにも利用されます。
「生成AI」の代表的なモデルとアルゴリズム
LSTM（Long Short-Term Memory）
LSTMは、系列データの生成や処理に特化したニューラルネットワークの一種です。正確には、回帰型ニューラルネットワーク（RNN：Recurrent Neural Network）の一種なんですかね。
通常のRNNでは、長いシーケンスデータや長期的な依存関係を持つデータの場合、情報を効果的に保持できないという問題があります。ここで登場するのがLSTMです。
LSTMはゲート機構と呼ばれるメカニズムを持ち、過去の情報を保持しながら新たな情報を組み合わせることができます。長期的な依存関係を捉えることができるため、系列データの予測や生成に優れた性能を発揮するというわけですね。
時系列データやシーケンスデータを扱うタスクに強みを持つため、自然言語処理（テキスト生成、機械翻訳など）や音声認識、動画解析などでよく利用されるそうです。
より詳しく知りたい場合は、以前まとめた記事も読んでいただけると嬉しいです！
★基礎編★
★応用編★
上記は以外にも、関係のありそうな記事をたくさん書いています！ぜひ色々漁ってみてください！
ちなみに余談ですが、LSTMは1997年に提案されたもので、2017年以降はより高性能なモデルであるTransformerモデルが注目を浴びているそうですよ。
（だからと言って、LSTMをおろそかにしてもOKというわけではありませんが・・・）
Transformerモデル
Transformerモデルは、先ほどお話したLSTMに取って代わり、自然言語処理（NLP：Natural Language Processing）や画像生成などのタスクにおいて革新的な成果を上げたモデルです。
アテンションと呼ばれる機構を用いて、長い文や大規模なデータセットを効率的に処理することができます。また、並列計算が可能な構造を持つため、学習や生成の高速化が実現されています。
Transformerモデルは、大量のデータを用いて事前トレーニングされた後、特定のタスクに対してファインチューニングすることが一般的です。
- Qファインチューニングとは何ですか？？
- A
ファインチューニング（Fine-tuning）は、事前に大規模なデータセットでトレーニングされたモデルを、特定のタスクに適応させるための手法です。通常、一般的なタスクに対して事前トレーニングされたモデル（プリトレーニングモデル）を利用して、特定のタスクに合わせてモデルのパラメータを微調整します。
例えば、BERT（Bidirectional Encoder Representations from Transformers）やGPT（Generative Pre-trained Transformers）など、事前トレーニング済みのTransformerモデルが幅広い自然言語処理タスクで高いパフォーマンスを示しています。
Transformerモデルは、その優れた表現学習能力と計算効率性から、機械翻訳、質問応答、文章生成、文書分類など、さまざまなNLPタスクにおいて主流のアーキテクチャとなっています。
こちらも、より詳しく知りたい場合は、以前まとめた記事を読んでいただけると嬉しいです！
★基礎編★
★応用編★
上記は以外にも、関係のありそうな記事をたくさん書いています！ぜひ色々漁ってみてください！
BERT（Bidirectional Encoder Representations from Transformers）
BERTは、2018年にGoogleが開発した自然言語処理（NLP）のための事前トレーニングモデルです。
Transformerモデルをベースにしており、大規模なテキストコーパス（例：Wikipediaのデータ）から事前学習され、その学習済みモデルをファインチューニングすることで様々な自然言語処理のタスクに革新的な結果をもたらすことができます。
また、多くのNLPモデルや応用がBERTを基にして開発され、NLPの研究や実践においても重要な役割を担っています。
BERTの主要なトレーニングタスクは次の2つです。
1つはマスク言語モデル（MLM）であり、文の一部の単語がマスクされ、モデルはそのマスクされた単語を予測することを学習します。
もう1つは次文予測（NSP）であり、2つの文が与えられた場合に、それらが実際に連続しているかランダムに選ばれた文であるかを予測します。
以上の主要なトレーニングが、単語や文の表現において文脈の依存関係（1文ではなく、文章の前後関係）をより正確にモデル化することを可能にしているわけですね。すげぇ・・・
こちらも、より詳しく知りたい場合は、以前まとめた記事を読んでいただけると嬉しいです！
★基礎編★
★応用編★
上記は以外にも、関係のありそうな記事をたくさん書いています！ぜひ色々漁ってみてください！
最後に・・・
さて今回は、「生成AI」導入編Part1として、「生成AI」とは何か？？といった基礎知識から、代表的なモデルやアルゴリズムまでをまとめていきました。
いかがでしょうか？？私自身、名前は聞いたことあるけど、いまいち何なのかよく分からなかった・・・みたいな知識を整理することができ、とても良い記事を書くことができたと自己満足しています。
（これぞ勉強、備忘録って感じです。）
ただ、今回の内容はあくまでも氷山の一角、表層の部分にしか触れられていません。
これをきっかけに「生成AI」を構築する様々な技術に触れ、より理解を深めていっていただけると嬉しいです！
- Part1 ⇐ 今はここです！
「生成AI」の基礎知識 / 応用分野や活用例 / 利点と課題 / 種類や特徴 / 教師あり学習と教師なし学習の違い / 代表的なモデルやアルゴリズム
- Part2
「生成AI」のトレーニングとデータセットの選び方 / データの前処理 / 評価指標 / 応用例：文章生成 / 応用例：画像生成 / 応用例：音声合成
- Part3
倫理的な問題と注意点 / 将来展望と発展可能性
1. 教師あり生成モデルと教師なし生成モデルの違い：
- 教師あり生成モデル：
入力データと正解データのペアを学習し、新たなデータを生成する。
- 教師なし生成モデル：
与えられたデータ自体の内部パターンや構造を自己組織化することで、新たなデータを生成する。
2. 生成AIの種類
- 自己回帰モデル：
過去のデータから次のデータを生成する。
- フローベースモデル：
データの変換ルールや関数（フロー）を学習し、それに基づいて新たなデータを生成する。
- 変分オートエンコーダ：
潜在的な特徴表現を学習、生成し、それを使って新たなデータを生成する。確率分布を考慮する。
3. 代表的な生成AIのモデルとアルゴリズム：
- LSTM：
系列データの生成や処理に特化したニューラルネットワーク。長期的な依存関係を捉えることができる。
- Transformerモデル：
自然言語処理や画像生成に革新的な成果を上げたモデル。長距離の依存関係を効率的に捉えることができる。
- BERT：
自然言語処理で注目されるモデル。Transformerモデルをベースに、双方向のコンテキストを考慮して単語の意味表現を学習し、文章の意味理解や文脈に基づく単語の予測に優れた性能を発揮する。
Part1は以上！Part2以降もお楽しみに～
AI系以外の勉強記事も是非！
コメント