Pre-LN vs Post-LN dans un Transformer — pourquoi LayerNorm stabilise les gradients

Pre-LN vs Post-LN désigne la différence d’organisation de Layer Normalization (LayerNorm) dans un bloc Transformer : la normalisation peut être placée avant ou après une sous-couche. Ce choix modifie directement le passage des gradients et de l’information à travers la connexion résiduelle.

05/25/2026