Decoupled RoPE — लंबे Context में Positional Rotation को अलग करने की जरूरत क्यों पड़ती है

Decoupled RoPE एक Transformer Architecture design है जो positional information और semantic information को एक ही representation में जरूरत से ज्यादा उलझने से रोकता है। पारंपरिक Rotary Position Embedding (RoPE), Query और Key की representation पर positional rotation लागू करता है। इससे Tokens के बीच relative position को Attention Score में शामिल करना आसान होता है, लेकिन Long Context में यही rotation semantic representation को भी प्रभावित कर सकता है। जब semantic similarity और positional relationship एक ही representation space में बहुत अधिक मिल जाते हैं, तो Attention की गणना अस्थिर हो सकती है। Decoupled RoPE इसी interference को कम करने के लिए positional rotation वाले dimensions को उन dimensions से अलग रखता है जो semantic information को सुरक्षित रखने या compression और reconstruction के लिए उपयोग होते हैं। इससे Long Context LLM में Attention अधिक स्थिर रह सकता है और KV Cache Compression भी अधिक प्रभावी ढंग से काम कर सकता है।

08/29/2026

Dense Vector Representation — वेक्टर स्पेस में अर्थ को दूरी और दिशा से कैसे व्यक्त किया जाता है

Dense Vector Representation किसी टेक्स्ट, इमेज या ऑडियो जैसे इनपुट को निश्चित लंबाई वाले real-valued vector, यानी Embedding, में बदलकर उसका अर्थ संख्यात्मक रूप में प्रस्तुत करता है। इसका लक्ष्य सिर्फ डेटा को numbers में बदलना नहीं है। मॉडल ऐसी representation सीखता है जिसमें अर्थ की दृष्टि से जुड़े उदाहरण vector space में एक-दूसरे के करीब आ सकें और उनकी दिशाओं में भी उपयोगी समानता दिखाई दे सके।

08/22/2026

Text Encoder (टेक्स्ट एन्कोडर) — टेक्स्ट को Meaning Vector में बदलने की प्रक्रिया

Text Encoder (टेक्स्ट एन्कोडर) एक ऐसा encoder है जो text input को लेकर उसे context और meaning को दर्शाने वाले vector representation (embedding) में बदलता है। इसका उद्देश्य केवल शब्दों या वाक्यों को numerical IDs में बदलना नहीं है, बल्कि ऐसा representation सीखना है जिसमें समान अर्थ वाले texts vector space में एक-दूसरे के करीब दिखाई दें। इस तरह तैयार किए गए semantic vectors का उपयोग search, classification, recommendation, question-document matching और multimodal alignment जैसे tasks में text को computational form में process करने के लिए किया जाता है।

07/18/2026