صيدا سيتي

الرمز (Token) هو الوحدة الأساسية التي تستخدمها نماذج الذكاء الاصطناعي لفهم اللغة ومعالجتها وتوليدها. يمكن أن يكون الرمز كلمة كاملة أو جزءاً من كلمة: 

1) الرمز وحدة القياس الأساسية في فهم النص: النموذج يتعامل مع النص عبر تقسيمه إلى مقاطع صغيرة تسمى رموز.
- مثال: الكلمة “التقدم” قد تُقسّم إلى “التـ”، “قدم” عند الحاجة.

2) الرمز قد يساوي كلمة كاملة: في كثير من الجمل، الكلمة تُعدّ رمزًا مستقلًا.
- مثال: جملة “نهضة الأمة تبدأ بفكرة” تُقسّم إلى: نهضة | الأمة | تبدأ | بفكرة = أربعة رموز.

3) الرمز قد يكون جزءًا من كلمة: بعض الكلمات الطويلة أو المركبة تُجزّأ إلى أكثر من رمز. 
- مثال: كلمة “الاستراتيجية” قد تتحول إلى: “الـ | استـ | راتـ | يجـ | ية”.

4) الرمز يسهم في حساب التكلفة: كلما زادت التوكنز في سؤالك وجواب النموذج، ارتفعت تكلفة الاستخدام.
- مثال: سؤال قصير مثل “ما هي النهضة؟” يستهلك رموزًا قليلة، بينما مقال 500 كلمة يستهلك مئات الرموز. 

5) الرمز يحدد طول الاستجابة الممكنة: النموذج يمتلك حدًا أقصى لعدد الرموز التي يستطيع التعامل معها دفعة واحدة.
- مثال: عند إدخال ملف طويل جدًا، قد يطلب منك النموذج تقسيمه؛ لأن الحد الأقصى للرموز قارب الامتلاء.

6) الرمز يشبه قطع اللغز التي تجتمع لتكوين المعنى: النموذج لا يقرأ النص دفعة واحدة حرفيًا، بل يفككه إلى رموز صغيرة ويعيد تركيبها لفهم المعنى.
- مثال: كلمة “إقلاع” تُفهم من رموزها، ثم تُربط بسياقها، مثل “لحظة إقلاع”.

7) علامات الترقيم تُعد رموزًا: الفاصلة والنقطة وعلامة السؤال تُحسب رمزًا مستقلًا.
- مثال: “كيف تحقق النهوض؟” = كيف | تحقق | النهوض | ؟ = أربعة رموز. 

8) المسافات قد تتحول إلى رموز: أحيانًا تفصل النماذج بين الكلمات عبر رمز يمثل المسافة.
- مثال: “جيل زد” قد تتحول إلى: جيل | _ | زد (علامة المسافة تشكّل رمزًا). 

9) اللغات المختلفة تنتج عددًا مختلفًا من الرموز: بعض اللغات كالعربية تضغط المعنى، بينما الإنجليزية تُجزّئ أكثر.
- مثال: “نهضة” = رمز واحد غالبًا، لكن ترجمتها الإنجليزيّة “Renaissance” قد تُجزّأ إلى أكثر من رمز. 

10) فهم الرمز يساعد على استخدام ChatGPT بذكاء: عندما تدرك أنّ النموذج يحسب كل جزء من النص رمزًا. يسهل تنظيم الأسئلة، وضبط الطول، وتقليل التكلفة.
- مثال عملي: بدل كتابة 3 فقرات طويلة لسؤال واحد، يمكن صياغة سؤال مختصر وطلب التفصيل لاحقًا، مما يوفر رموزًا ويزيد كفاءة النموذج.