|
【講演趣旨】
2022年末に公開されたChatGPTを皮切りに，様々な大規模言語モデルが構築され，導入を進めている企業，自治体，学術機関が爆発的に増えています．一方で，有料のもの，日本語に対応しているもの，非公開のものなど，ユーザとしてどのモデルを利用すると効果的であるかを判断することが難しくなっています．本講演では，代表的な大規模言語モデルの事例としてChatGPT，Gemini，Claudeの簡単な解説を行い，大規模言語モデル登場以前に使用されていたモデルを紹介します．言語モデルの導入において，タスクを実行する上で必要十分なモデルを選定し，導入コスト，維持管理コストの適正化を検討できるよう，生成AIと呼ばれる大規模言語モデルに限定せず，俯瞰的な知識を学びます．
【講演項目】
1.はじめに
2.大規模言語モデルの例（ChatGPT，Gemini，Claude）
2-1.それぞれの概要
2-2.キャッチフレーズ生成
2-3.要約
3.言語モデルによる自然言語処理
3-1.Word2Vec
・Word2Vecの概要
・単語埋め込み
・埋め込みベクトルによる演算
3-2.BERT
・BERTの概要
・Transformer
・マスク言語モデル
・マスク言語モデルによる演算
4.大規模言語モデル
4-1.モデルの利用
・事前学習
・ファインチューニング
4-2.トークン
・日本語の取り扱いの難しさ
・統計による日本語の切り分け
・サブワード分割
4-3.プロンプト
・大規模言語モデルへの入力
・文脈内学習
・思考の連鎖（Chain of thought推論）
5.大規模言語モデルの利用（実演と演習）
5-1.モデルの選定とダウンロード
5-2.次文予測の実装
6.まとめ
【質疑応答】
|
