Internal Covariate Shift — परतों में बदलते Input Distribution के कारण धीमी और अस्थिर Learning

Internal Covariate Shift उस समस्या को दर्शाता है जिसमें Neural Network की किसी layer को मिलने वाले input feature की distribution training के दौरान लगातार बदलती रहती है। यहाँ covariate से आशय input variable या feature distribution से है, जबकि internal यह बताता है कि यह बदलाव dataset के बाहर नहीं बल्कि model की आंतरिक layers के बीच उत्पन्न होता है। इसकी मुख्य चुनौती यह है कि प्रत्येक layer को स्थिर input pattern के आधार पर सीखने का अवसर नहीं मिलता, बल्कि उसे बार-बार बदलती हुई distribution के अनुसार अपने parameters को adjust करना पड़ता है।

07/22/2026