RNN - Zero Math AI

6. Recurrent Neural Networks — 状態に基づくシーケンスモデリングと現代AIへの展開

本記事では、Recurrent Neural Networks（RNN）を軸に、シーケンスモデリングの全体像を一つの流れとして整理します。状態に基づく系列処理が、どのようにLanguage Modeling、Seq2Seq、Attention、Transformer、そして現代AIモデルへつながっていったのかを、構造的に理解できるように解説します。個々の技術詳細は各講義で扱い、ここでは全体のつながりと重要な見方に焦点を当てます。

05/17/2026

6.1 RNNとSequential Dataの概要 — 順序が意味を生むデータを扱う基本視点

本記事では、Recurrent Neural Network（RNN）がなぜSequential Dataを扱うために使われるのか、そして順序を持つデータをニューラルネットワークがどのように捉えるのかを解説します。ここではRNNの細かな数式には踏み込まず、Sequence Modelingの基本的な考え方、入力と出力の形、代表的な応用分野を中心に整理します。

05/17/2026

6.2 RNNの状態とダイナミクス — 過去の情報を現在状態へ受け渡す再帰構造

本記事では、RNNをDynamical System（力学系）の観点から捉え、系列データにおいて過去の情報がどのようにSystem Stateへ圧縮され、現在の計算に反映されるのかを解説します。ここではVanilla RNNの学習手順そのものではなく、State Representation、Recurrence、Parameter Sharing Across Time、Unfoldingといった基本概念を中心に見ていきます。

05/17/2026

6.3 Vanilla RNNの構造と学習 — 基本的な再帰型ニューラルネットワークの順伝播計算とBPTT

本記事では、Vanilla RNN、または Elman RNN、Simple RNN と呼ばれる基本的な再帰型ニューラルネットワークの構造と学習方法を解説します。RNNの一般的な考え方にとどまらず、hidden state がどのように計算され、出力と loss がどのように得られ、さらに Backpropagation Through Time (BPTT) によってどのように学習されるのかを順に見ていきます。

05/17/2026

6.4 RNN Language Modeling — 文の確率と次トークン予測を学ぶ系列モデル

本記事では、RNN Language Modelingが文の確率をどのように扱い、次に来るトークンをどのように予測するのかを解説します。RNNの構造そのものではなく、Sentence Probability、Next-Token Prediction、Tokenization、Cross-Entropy Loss、Autoregressive Modelingが言語モデリングの中でどう結びつくのかに焦点を当てます。

05/17/2026

6.5 Sequential Models の発展概観 — 時系列モデルから Transformer へ

本記事では、系列データを扱うモデルがどのような流れで発展してきたのかを、全体像から整理します。ここでは各モデルの詳細な数式よりも、Classical Time-Series Models、HMM、Kalman Filter、1-D CNN、TCN、RNN 系列、Attention、Transformer が、それぞれどのような課題を解決するために登場したのかに注目します。

05/17/2026

6.6 BiRNN・LSTM・Seq2Seq — 文脈・記憶・可変長変換を広げるRNNアーキテクチャ

本記事では、基本的なRNNの限界を補うために発展してきた Bidirectional RNN・LSTM・GRU・Sequence-to-Sequence の各アーキテクチャを整理します。焦点となるのは、系列モデルを実用的に拡張するうえで重要な双方向コンテキスト・長期記憶・可変長変換という3つの考え方です。

05/17/2026

Backpropagation Through Time（BPTT）—RNNを時間軸に展開して学習する逆伝播手法

Backpropagation Through Time（BPTT）とは、Recurrent Neural Network（RNN）を時間方向へ展開し、最終的な誤差を過去の時点まで逆方向に伝播させながら、共有されたパラメータを更新する学習手法である。RNNがシーケンスデータに含まれる文脈や時間的な依存関係を学習するための中心的なアルゴリズムの1つであり、時間ごとの状態変化を考慮したgradient計算を可能にする。

07/28/2026

Bidirectional RNN — 前後の文脈を同時に利用する双方向Recurrent Neural Network構造

Bidirectional RNN（双方向Recurrent Neural Network）は、入力sequenceを前方向と後方向の両方から処理し、各時点の表現に過去と未来の文脈を同時に反映できるRNNベースのモデル構造である。通常のRNNは現在までに得られた情報だけを利用するため、後続の情報を考慮できないという制約がある。Bidirectional RNNはこの制限を補うために利用される。

07/28/2026

CNNとRNN — 畳み込みニューラルネットワークと再帰型ニューラルネットワークの構造的な違い

CNN (Convolutional Neural Network)とRNN (Recurrent Neural Network)は、入力データが持つ構造に合わせて設計された代表的なNeural Networkである。CNNは画像のように空間的な配置関係を持つgrid dataの処理に適しており、RNNは文章・音声・時系列データのように順序が重要なsequence dataを扱うことに強みを持つ。両者の本質的な違いは、単に入力データの種類ではなく、情報同士のつながりをどのように捉えて伝達するかにある。

07/28/2026