【講座概要】
言語・画像など様々なデータを対象とした大規模なAIモデルの利活用が進んでいる。モデル規模は大規模化を続けており,処理速度やメモリ消費量に問題を抱えている。今後,クラウドからエッジでの大規模なAIモデルの活用を考えた時,モデルをいかにコンパクトにするかが重要となる。
本セミナーではモデルのコンパクト化に関する技術について最新動向を踏まえながら解説する。
【受講対象】
・AIの利活用に関心のある方
【受講後習得できること】
・AIモデルコンパクト化の動向
1.大規模AIモデルの動向
1.1 Transformer
1.2 CLIP
1.3 Llama
2.モデルのコンパクト化手法
2.1 コンパクト化手法の分類
3.蒸留によるコンパクト化
3.1 知識蒸留
3.2 中間層蒸留
3.3 Mutual Learning
4.量子化によるコンパクト化
4.1 量子化の導入方法
4.2 BitNet
5.枝刈りによるモデルのコンパクト化
5.1 構造化枝刈り
5.2 非構造化枝刈り
6.言語モデルへの適用事例
7.画像モデルへの適用事例
8.マルチモーダルモデルへの適用事例
9.まとめ
【質疑応答】
|