JDLA E2020シラバスを元に勉強した僕の勉強ノート 目次
応用数学
線形代数 ＞＞ 特異値分解
確率・統計 ＞＞ 一般的な確率分布 ＞＞ ベルヌーイの分布
確率・統計 ＞＞ 一般的な確率分布 ＞＞ マルチヌーイの分布
確率・統計 ＞＞ 一般的な確率分布 ＞＞ ガウス分布
確率・統計 ＞＞ ベイズ則
情報理論 ＞＞ 情報理論
機械学習
機械学習の基礎 ＞＞ 学習アルゴリズム ＞＞ タスクT
機械学習の基礎 ＞＞ 学習アルゴリズム ＞＞ 性能指標P
機械学習の基礎 ＞＞ 学習アルゴリズム ＞＞ 経験E
機械学習の基礎 ＞＞ 能力、過剰適合、過少適合
機械学習の基礎 ＞＞ ハイパーパラメータ
機械学習の基礎 ＞＞ 検証集合 ＞＞ 学習データ、検証データ、テストデータ
機械学習の基礎 ＞＞ 検証集合 ＞＞ ホールドアウト法
機械学習の基礎 ＞＞ 検証集合 ＞＞ k-分割交差検証法
機械学習の基礎 ＞＞ 最尤推定 ＞＞ 条件付き対数尤度と平均二乗誤差
機械学習の基礎 ＞＞ 教師あり学習アルゴリズム ＞＞ ロジスティック回帰
機械学習の基礎 ＞＞ 教師あり学習アルゴリズム ＞＞ サポートベクトルマシン
機械学習の基礎 ＞＞ 教師あり学習アルゴリズム ＞＞ 最近傍法、k近傍法
機械学習の基礎 ＞＞ 教師なし学習アルゴリズム ＞＞ 主成分分析
機械学習の基礎 ＞＞ 教師なし学習アルゴリズム ＞＞ k平均クラスタリング
機械学習の基礎 ＞＞ 確率的勾配降下法
機械学習の基礎 ＞＞ 深層学習の発展を促す課題 ＞＞ 次元の呪い
実用的な方法論 ＞＞ 性能指標
実用的な方法論 ＞＞ ハイパーパラメータの選択 ＞＞ 手動でのハイパーパラメータ調整
実用的な方法論 ＞＞ ハイパーパラメータの選択 ＞＞ グリッドサーチ
実用的な方法論 ＞＞ ハイパーパラメータの選択 ＞＞ ランダムサーチ
実用的な方法論 ＞＞ ハイパーパラメータの選択 ＞＞ モデルに基づくハイパーパラメータの最適化
深層学習
順伝播型ネットワーク ＞＞ 線形問題と非線形問題
順伝播型ネットワーク ＞＞ コスト関数 ＞＞ 最尤推定による条件付き分布の学習
順伝播型ネットワーク ＞＞ 出力ユニット ＞＞ ガウス出力分布のための線形ユニット
順伝播型ネットワーク ＞＞ 出力ユニット ＞＞ ベルヌーイ出力分布のためのシグモイドユニット
順伝播型ネットワーク ＞＞ 出力ユニット ＞＞ マルチヌーイ出力分布のためのソフトマックスユニット
順伝播型ネットワーク ＞＞ 隠れユニット ＞＞ ReLUとその一般化
順伝播型ネットワーク ＞＞ 隠れユニット ＞＞ ロジスティックシグモイドとハイポボリックタンジェント
順伝播型ネットワーク ＞＞ アーキテクチャの設計 ＞＞ 万能近似定理と深さ
順伝播型ネットワーク ＞＞ 誤差逆伝播法およびその他の微分アルゴリズム ＞＞ 計算グラフ
順伝播型ネットワーク ＞＞ 誤差逆伝播法およびその他の微分アルゴリズム ＞＞ 微積分の連鎖律
順伝播型ネットワーク ＞＞ 誤差逆伝播法およびその他の微分アルゴリズム ＞＞ 誤差逆伝播のための連鎖率の再起的な適応
順伝播型ネットワーク ＞＞ 誤差逆伝播法およびその他の微分アルゴリズム ＞＞ 全結合MLPでの誤差逆伝播法
順伝播型ネットワーク ＞＞ 誤差逆伝播法およびその他の微分アルゴリズム ＞＞ シンボル感間での微分
順伝播型ネットワーク ＞＞ 誤差逆伝播法およびその他の微分アルゴリズム ＞＞ 一般的な誤差逆伝播法
深層モデルのための正則化 ＞＞ パラメータノルムペナルティー ＞＞ L2パラメータ正則化
深層モデルのための正則化 ＞＞ パラメータノルムペナルティー ＞＞ L1正則化
深層モデルのための正則化 ＞＞ データ集合の拡張
深層モデルのための正則化 ＞＞ ノイズに対する頑健性 ＞＞ 出力目標へのノイズ注入
深層モデルのための正則化 ＞＞ 反教師あり学習
深層モデルのための正則化 ＞＞ マルチタスク学習
深層モデルのための正則化 ＞＞ 早期終了
深層モデルのための正則化 ＞＞ スパース表現
深層モデルのための正則化 ＞＞ バギングやその他のアンサンブル手法
深層モデルのための正則化 ＞＞ ドロップアウト
深層モデルのための最適化 ＞＞ 学習と純粋な最適化の差異 ＞＞ バッチアルゴリズムとミニバッチアルゴリズム
深層モデルのための最適化 ＞＞ 基本的なアルゴリズム ＞＞ 確率的勾配降下法
深層モデルのための最適化 ＞＞ 基本的なアルゴリズム ＞＞ モメンタム
深層モデルのための最適化 ＞＞ 基本的なアルゴリズム ＞＞ ネステロフのモメンタム
深層モデルのための最適化 ＞＞ パラメータの初期化戦略
深層モデルのための最適化 ＞＞ 適応的な学習率を持つアルゴリズム ＞＞ AdaGrad
深層モデルのための最適化 ＞＞ 適応的な学習率を持つアルゴリズム ＞＞ RMSrop
深層モデルのための最適化 ＞＞ 適応的な学習率を持つアルゴリズム ＞＞ Adam
深層モデルのための最適化 ＞＞ 最適化戦略とメタアルゴリズム ＞＞ バッチ正規化
深層モデルのための最適化 ＞＞ 最適化戦略とメタアルゴリズム ＞＞ Layer正規化
深層モデルのための最適化 ＞＞ 最適化戦略とメタアルゴリズム ＞＞ Instance正規化
深層モデルのための最適化 ＞＞ 最適化戦略とメタアルゴリズム ＞＞ 教師あり事前学習
畳み込みネットワーク ＞＞ 畳み込み処理
畳み込みネットワーク ＞＞ プーリング
畳み込みネットワーク ＞＞ 構造出力
畳み込みネットワーク ＞＞ データの種類
畳み込みネットワーク ＞＞ 効率的な畳み込みアルゴリズム
畳み込みネットワーク ＞＞ 特徴量の転移
回帰結合型ニューラルネットワークと再帰的ネットワーク ＞＞ 回帰結合型のニューラルネットワーク ＞＞ 教師矯正と出力回帰のあるネットワーク
回帰結合型ニューラルネットワークと再帰的ネットワーク ＞＞ 回帰結合型のニューラルネットワーク ＞＞ 回帰結合型ネットワークにおける勾配計算（BPTT）
回帰結合型ニューラルネットワークと再帰的ネットワーク ＞＞ 回帰結合型のニューラルネットワーク ＞＞ 有向グラフィカルモデルとしての回帰結合型のネットワーク
回帰結合型ニューラルネットワークと再帰的ネットワーク ＞＞ 回帰結合型のニューラルネットワーク ＞＞ RNNを使った文脈で条件付けされた系列モデリング
回帰結合型ニューラルネットワークと再帰的ネットワーク ＞＞ 双方向RNN
回帰結合型ニューラルネットワークと再帰的ネットワーク ＞＞ Encoder-DecoderとSequence-to-Sequence
回帰結合型ニューラルネットワークと再帰的ネットワーク ＞＞ 深層回帰結合型のネットワーク
回帰結合型ニューラルネットワークと再帰的ネットワーク ＞＞ 再帰型ニューラルネットワーク
回帰結合型ニューラルネットワークと再帰的ネットワーク ＞＞ 長期依存性の課題
回帰結合型ニューラルネットワークと再帰的ネットワーク ＞＞ 複数時間スケールのためのLeakyユニットとその他の手法 ＞＞ 時間方向にスキップ接続を追加
回帰結合型ニューラルネットワークと再帰的ネットワーク ＞＞ 複数時間スケールのためのLeakyユニットとその他の手法 ＞＞ Leakyユニットと異なる時間スケールのスペクトル
回帰結合型ニューラルネットワークと再帰的ネットワーク ＞＞ 複数時間スケールのためのLeakyユニットとその他の手法 ＞＞ 接続の削除
回帰結合型ニューラルネットワークと再帰的ネットワーク ＞＞ ゲート付きRNN ＞＞ LSTM
回帰結合型ニューラルネットワークと再帰的ネットワーク ＞＞ ゲート付きRNN ＞＞ GRU
回帰結合型ニューラルネットワークと再帰的ネットワーク ＞＞ 長期依存性の最適化 ＞＞ 勾配のクリッピング
回帰結合型ニューラルネットワークと再帰的ネットワーク ＞＞ メモリネットワーク ＞＞ Attention
生成モデル ＞＞ 識別モデルと生成モデル
生成モデル ＞＞ オートエンコーダ ＞＞ VAE
生成モデル ＞＞ GAN ＞＞ DCGAN
生成モデル ＞＞ GAN ＞＞ Conditional GAN
強化学習 ＞＞ 方策勾配法
強化学習 ＞＞ 価値反復法 ＞＞ DQN
深層学習の適応方法 ＞＞ 画像認識 ＞＞ VGG
深層学習の適応方法 ＞＞ 画像認識 ＞＞ GoogleNet
深層学習の適応方法 ＞＞ 画像認識 ＞＞ ResNet
深層学習の適応方法 ＞＞ 画像認識 ＞＞ MobileNet
深層学習の適応方法 ＞＞ 画像認識 ＞＞ DenceNet
深層学習の適応方法 ＞＞ 画像の局在化・検知・セグメンテーション ＞＞ FasterR-CNN
深層学習の適応方法 ＞＞ 画像の局在化・検知・セグメンテーション ＞＞ YOLO
深層学習の適応方法 ＞＞ 画像の局在化・検知・セグメンテーション ＞＞ SSD
深層学習の適応方法 ＞＞ 自然言語処理 ＞＞ WordEｍbedding
深層学習の適応方法 ＞＞ 自然言語処理 ＞＞ Transformer
深層学習の適応方法 ＞＞ Text to Speech ＞＞ WaveNet
深層学習の適応方法 ＞＞ スタイル変換 ＞＞ pix2pix
深層学習の適応方法 ＞＞ その他 ＞＞ AlphaGo
開発・運用環境
ミドルウェア ＞＞ 深層学習ライブラリ
軽量化・高速化処理 ＞＞ 軽量化技術 ＞＞ 量子化
軽量化・高速化処理 ＞＞ 軽量化技術 ＞＞ 蒸留
軽量化・高速化処理 ＞＞ 軽量化技術 ＞＞ ブルーニング
軽量化・高速化処理 ＞＞ 分散処理 ＞＞ モデル並列
軽量化・高速化処理 ＞＞ 分散処理 ＞＞ データ並列
軽量化・高速化処理 ＞＞ アクセラレータ ＞＞ GPU
JDLA G2021シラバスを元に勉強した僕の勉強ノート 目次
人工知能とは
人工知能の定義
人工知能研究の歴史
人工知能をめぐる動向
探索・推論
知識表現
機械学習・深層学習
人工知能分野の問題
人工知能分野の問題
機械学習の具体的手法
教師あり学習
教師なし学習
強化学習
モデルの評価
ディープラーニングの概要
ニューラルネットワークとディープラーニング
ディープラーニングのアプローチ
ディープラーニングを実現するには
活性化関数
学習の最適化
更なるテクニック
ディープラーニングの手法
畳み込みニューラルネットワーク（CNN）
深層生成モデル
画像認識分野
音声処理と自然言語処理分野
深層強化学習分野
モデルの解釈性とその対応
モデルの軽量化
ディープラーニングの社会実装にむけて
AIと社会
AIプロジェクトの進め方
データの収集
データの加工・分析・学習
実装・運用・評価
クライシス・マネジメント
数理・統計
数理・統計