内容紹介

※この商品は固定レイアウトで作成されており、タブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字列のハイライトや検索、辞書の参照、引用などの機能が使用できません。※PDF版をご希望の方はGihyo Digital Publishingも併せてご覧ください。

◆推論のしくみから紐解く高速化の原理◆

本書は深層ニューラルネットワークによる予測を高速化する技法を解説します。巨大なニューラルネットワークを用いた予測には多くの時間と計算コストがかかります。これにより、応答が遅くなりユーザー体験が悪くなるといった問題や、運用コストが大きくなるといった問題が生じます。本書はニューラルネットワークの予測性能を下げることなく高速化することでこれらの問題を解決する技法を解説します。紹介する技法は量子化・枝刈り・蒸留・低ランク近似・モデルマージなど多岐にわたり、幅広い局面に対応します。また、平坦解や宝くじ仮説など、深層ニューラルネットワークの理論を通して、これらの手法がうまくいく理由についても深く本質的な理論を解説します。深層ニューラルネットワークを活用するエンジニアや研究者は必読の一冊です。

■こんな方におすすめ

・ニューラルネットワークの計算や時間にかかるコストを削減したい人

・Webサービスにニューラルネットワークを使っている方

■目次

●第1章 はじめに

　　1.1 高速化の意義

　　1.2 高速化の理論的背景

　　1.3 用語の整理

●第2章 高速化手法の概要

　　2.1 量子化と低精度計算

　　2.2 枝刈り

　　2.3 蒸留

　　2.4 低ランク近似

　　2.5 高速なアーキテクチャ

　　2.6 ハードウェアの改善

　　2.7 複数の技法の組み合わせ

　　2.8 その他の技法

●第3章 量子化と低精度計算

　　3.2 その他の低精度浮動小数点数フォーマット

　　3.3 自動混合精度計算

　　3.4 整数量子化

　　3.6 なぜ低精度計算でうまくいくのか

●第4章 枝刈り

　　4.1 代表的な枝刈り手法

　　4.2 訓練前の枝刈り

　　4.3 構造枝刈り

　　4.4 枝刈りの実装

　　4.5 ReLU活性化関数を用いた適応的な枝刈り

　　4.6 なぜ枝刈りを行うのか・なぜうまくいくのか

　　4.7 枝刈りの使いどころ

●第5章 蒸留

　　5.1 蒸留の問題設定

　　5.2 蒸留のアプローチ

　　5.3 生徒モデルの選び方

　　5.4 推論に必要なデータの変更

　　5.5 生成モデルの利用

　　5.6 事例

　　5.7 なぜ蒸留でうまくいくのか

　　5.8 蒸留の使いどころ

●第6章 低ランク近似

　　6.1 低ランク性とは

　　6.2 畳み込みニューラルネットワークの低ランク近似

　　6.3 注意機構の低ランク近似

●第7章 高速なアーキテクチャ

　　7.1 深さ単位分離可能畳み込み

　　7.2 高速なトランスフォーマーの亜種

　　7.3 ニューラルアーキテクチャ探索

　　7.4 高速なアーキテクチャと圧縮手法の比較

●第8章 チューニングのためのツール

　　8.1 PyTorchプロファイラ

　　8.2 CPU上のプロファイリング

　　8.3 GPU上のプロファイリング

●第9章 効率的な訓練

　　9.1 省メモリ化

　　9.2 モデルパラメータの算術

■著者プロフィール

佐藤竜馬：1996年生まれ。2024年京都大学大学院情報学研究科博士課程修了。博士(情報学)。現在、国立情報学研究所 助教。専門分野はグラフニューラルネットワーク、最適輸送、および情報検索・推薦システム。NeurIPSやICMLなどの国際会議に主著論文が採択。競技プログラミングでは国際情報オリンピック日本代表、ACM-ICPC世界大会出場、AtCoderレッドコーダーなどの戦績をもつ。PDF翻訳サービスReadableを開発し、深層ニューラルネットワークを用いた翻訳システムにも詳しい。著書に『グラフニューラルネットワーク』『最適輸送の理論とアルゴリズム』(ともに講談社)がある。