Low-Rank Representation — SVD और LoRA में Low-Rank संरचना कैसे काम करती है

Low-Rank Representation का मूल विचार यह है कि किसी बड़े Data Matrix में मौजूद हर मान अलग जानकारी नहीं देता। अक्सर हजारों या लाखों मान कुछ ही साझा पैटर्न और स्वतंत्र दिशाओं से जुड़े होते हैं। ऐसे में पूरे Matrix को उसी आकार में संभालने की आवश्यकता नहीं रहती; उसकी महत्वपूर्ण संरचना को कम संख्या के स्वतंत्र आयामों में व्यक्त किया जा सकता है। Matrix Factorization, Singular Value Decomposition (SVD), LoRA और Model Compression जैसी तकनीकों में यही विचार बड़े Data और Model Parameters को अधिक कुशल तरीके से संभालने में उपयोगी होता है।

08/29/2026

Representation Subspace — उच्च-आयामी एम्बेडिंग कुछ मुख्य सिमैंटिक दिशाओं में क्यों केंद्रित हो जाते हैं

Representation Subspace उच्च-आयामी वेक्टर रिप्रेज़ेंटेशन में वह संरचना है जहाँ अर्थपूर्ण जानकारी सभी dimensions में समान रूप से फैलने के बजाय कुछ मुख्य दिशाओं में केंद्रित होती है। यानी किसी embedding में सैकड़ों या हजारों dimensions होने के बावजूद, मॉडल वास्तव में जिस semantic information का उपयोग करता है, वह अक्सर कम dimensions वाले subspace में संकुचित रूप से व्यक्त की जा सकती है।

05/19/2026