☆ حفظ SentencePiece — مبدأ تعلم Subword بشكل مستقل عن اللغة

07/18/2026

SentencePiece هو نوع من Tokenizer يعتمد على تعلم أجزاء subword المتكررة مباشرة من النصوص الكاملة دون الحاجة إلى تقسيم الجمل إلى كلمات أولًا. في الطرق التقليدية، يتم عادةً تحديد حدود الكلمات باستخدام المسافات أو قواعد التحليل اللغوي، ثم بناء Tokens اعتمادًا على هذا التقسيم. أما SentencePiece فلا يفترض وجود حدود مسبقة بين الكلمات، بل يبحث داخل السلاسل النصية الأصلية عن الأنماط المتكررة والمفيدة لإنشاء vocabulary مناسب للنموذج. لذلك يمكن استخدامه مع اللغات التي تمتلك حدود كلمات واضحة مثل الإنجليزية، وكذلك اللغات التي تكون فيها عملية الفصل بين الكلمات أكثر تعقيدًا مثل العربية واليابانية والصينية.

ببساطة: بدلًا من تقسيم الجملة إلى كلمات محددة مسبقًا ثم إنشاء أجزاء منها، يتعامل SentencePiece مع النص الكامل كسلسلة واحدة ويبحث عن المقاطع التي تظهر بشكل متكرر ليحولها إلى Tokens. أي أنه لا يعتمد على قواعد يضعها الإنسان لتحديد أماكن الفصل، بل يتعلم من البيانات نفسها ما هي أجزاء النص التي تقدم تمثيلًا مفيدًا ويمكن للنموذج التعامل معها بكفاءة.

يتعلم SentencePiece الأجزاء المتكررة من النص الكامل دون الحاجة إلى تقسيمه إلى كلمات مسبقًا.

الطريقة (آلية العمل والخصائص)

التعلم المباشر من النصوص الخام
- لا يحتاج SentencePiece إلى خطوة إلزامية تقوم بتقسيم الجملة إلى كلمات قبل بدء عملية التعلم.
- بدلًا من الاعتماد أولًا على المسافات أو أدوات التحليل الصرفي أو قواعد فصل الكلمات الخاصة بكل لغة، يتعامل مع النص كسلسلة واحدة ويتعلم الأنماط الموجودة فيها.
- على سبيل المثال، عند معالجة جملة مثل “أنا أدرس معالجة اللغة الطبيعية”، لا يتم تحديد حدود الكلمات مسبقًا، بل يتم البحث عن الأجزاء التي تتكرر عبر النصوص المختلفة.
- بعد ذلك يقوم بإنشاء مرشحين لـ token اعتمادًا على المقاطع المتكررة التي تظهر داخل البيانات.
- يساعد هذا الأسلوب على تقليل الاعتماد على اختلاف قواعد الكتابة أو جودة أدوات التحليل اللغوي بين اللغات.
معالجة الكلمات غير المعروفة باستخدام Subword
- يحافظ SentencePiece على التعبيرات الشائعة كوحدات أكبر، بينما يقسم التعبيرات النادرة إلى أجزاء أصغر.
- حتى إذا لم تظهر كلمة جديدة بالكامل أثناء التدريب، يمكن تمثيلها من خلال أجزاء معروفة سبق للنموذج تعلمها.
- يقلل هذا الأسلوب من مشكلة الكلمات غير الموجودة في vocabulary والتي قد يتم تصنيفها كـ unknown.
- وفي الوقت نفسه يحافظ على طول تسلسل أقل مقارنة بطريقة معالجة كل حرف كوحدة مستقلة.
- بذلك يحقق SentencePiece توازنًا بين تمثيل الكلمات الكاملة ومعالجة الأحرف، مع الحفاظ على حجم vocabulary مناسبًا وقدرة تعبيرية جيدة.
الحفاظ على معلومات المسافات داخل Tokenization
- لا يتعامل SentencePiece مع المسافات على أنها معلومات يمكن تجاهلها، بل يحتفظ بها كجزء من تمثيل النص.
- ولهذا يستخدم عادة رمزًا خاصًا مثل ▁ للإشارة إلى وجود مسافة أو بداية كلمة جديدة.
- على سبيل المثال، يمكن تمثيل “I love NLP” بالشكل “▁I”، “▁love”، “▁NLP”.
- يشير هذا الرمز إلى أن هناك مسافة قبل الجزء التالي أو أن token جديد يبدأ من هذه النقطة.
- وبما أن معلومات المسافات محفوظة داخل تسلسل Tokens، يصبح من الأسهل إعادة بناء النص الأصلي بشكل قريب.
التقسيم اعتمادًا على Unigram Language Model
- يدعم SentencePiece استخدام Unigram Language Model كإحدى طرق بناء Tokenization.
- تعتمد هذه الطريقة على فكرة أن السلسلة النصية الواحدة يمكن تقسيمها بعدة طرق مختلفة إلى مجموعات من Tokens.
- على سبيل المثال، يمكن تقسيم عبارة واحدة إلى token كامل، أو إلى عدة أجزاء أصغر حسب الاحتمالات المتاحة.
- يتم إعطاء كل طريقة تقسيم احتمالًا معينًا، ثم يفضل النموذج مجموعة Tokens التي تشرح البيانات النصية بأفضل صورة.
$$ P(x) = \prod_{i=1}^{N} P(t_i) $$

$$ \hat{T} = \arg\max_{T} P(T \mid x) $$

x يمثل السلسلة النصية المدخلة، وti هو token المرشح في الموضع i. أما T فهو تسلسل Tokens المحتمل، بينما تشير $\arg\max$ إلى اختيار التسلسل الذي يمتلك أعلى احتمال بين جميع طرق التقسيم الممكنة. أي أن SentencePiece يقارن بين الاحتفاظ بأجزاء كبيرة أو تقسيمها إلى أجزاء أصغر وفق معيار احتمالي.
دعم BPE وفكرة SentencePiece الأساسية
- لا يقتصر SentencePiece على Unigram فقط، بل يدعم أيضًا طريقة BPE (Byte Pair Encoding).
- تعتمد BPE على دمج أزواج الأجزاء أو الأحرف التي تظهر معًا بشكل متكرر لإنشاء vocabulary.
- لكن الفكرة الأساسية في SentencePiece ليست خوارزمية واحدة بعينها، بل توفير طريقة لتعلم vocabulary من نصوص قريبة من شكلها الخام باستخدام أساليب subword.
- لذلك يمكن اعتباره إطارًا متكاملًا لعملية Tokenization يدعم طرقًا مثل Unigram وBPE، وليس مجرد تطبيق لخوارزمية BPE فقط.
المزايا في النماذج متعددة اللغات
- يكون SentencePiece مفيدًا في النماذج متعددة اللغات لأنه يقلل الاعتماد على قواعد تقسيم الكلمات الخاصة بكل لغة.
- يمكن التعامل مع لغات مختلفة مثل الإنجليزية والعربية واليابانية والصينية باستخدام المبدأ نفسه: البحث عن الأجزاء المتكررة داخل النصوص.
- مصطلح “مستقل عن اللغة” لا يعني أن SentencePiece يفهم اللغة نفسها.
- المقصود بدقة أنه لا يعتمد بشكل كبير على أدوات التحليل الصرفي أو قواعد الفصل المعتمدة على القواميس لكل لغة.
- لهذا السبب يساعد SentencePiece في بناء تمثيل إدخال موحد في نماذج الترجمة، وTransformer متعددة اللغات، وعمليات المعالجة المسبقة الخاصة بـ LLM.

الأهمية والقيود

تكمن أهمية SentencePiece في أنه غيّر طريقة التعامل مع Tokenization من الاعتماد الكبير على قواعد فصل الكلمات الخاصة بكل لغة إلى التركيز على تعلم الأنماط المتكررة داخل النصوص. بفضل هذا الأسلوب يمكن إنشاء subword tokens بطريقة موحدة حتى مع اللغات التي لا تحتوي على حدود كلمات واضحة، أو البيانات التي تكون فيها المسافات غير منتظمة، أو النصوص التي تحتوي على كلمات نادرة وتعبيرات جديدة. لذلك يساعد SentencePiece نماذج NLP واسعة النطاق على تبسيط مرحلة المعالجة المسبقة وتقديم مدخلات متعددة اللغات بشكل أكثر اتساقًا.

مع ذلك، لا يضمن SentencePiece دائمًا الوصول إلى وحدات تقسيم تطابق الطريقة التي يرى بها الإنسان الكلمات الطبيعية. فهو يعتمد على الأنماط الإحصائية المتكررة في البيانات بدلًا من الفهم الدلالي للكلمات، ولذلك قد تختلف حدود Tokens عن حدود الكلمات الفعلية. كما أن اختيار حجم vocabulary يمثل عاملًا مهمًا؛ فإذا كان صغيرًا جدًا فقد يتم تقسيم الكلمات إلى أجزاء كثيرة مما يزيد طول التسلسل، وإذا كان كبيرًا جدًا فقد تظهر Tokens نادرة تقلل من كفاءة التعلم. لذلك يجب ضبط حجم vocabulary وطريقة التدريب وفق طبيعة البيانات، وحجم corpus، والهدف من استخدام النموذج.

قراءات تمهيدية مقترحة (3/5)

قراءات مقترحة للمتابعة (5/18)