فيه ناس كتير إتكسفت live في مؤتمرات لما كانت بانية حاجة علي ال LLMs و طلعت تجربها قدام الناس و مشتغلتش و قالوا (أنا لسه مجربها إمبارح و كانت شغالة). معروف إن أحد مشاكل ال LLMs إن نتايجها مش بتكرر، لو سألتها إمبارح علي حاجة هترد رد مختلف عن ردها النهاردة علي نفس الحاجة.
بس أزاي يعني إذا كانت دي نماذج إحصائية؟ يعني لما أقول إنها بتحاول تستنج الكلمة اللي جاية بعد الكلام اللي كتبته، بناء علي إحتمالات مبنية علي تحليل ملايين النصوص علي الإنترنت و الكتب، هي الإحصاء بتتغير؟ يعني في الإنجليزي بعد جملة (أفضل ما في الذكاء الصناعي هو قدرته علي) أكتر إحتمال إحصائياً هو كلمة (التعلم)، فليه كل مرة تسأل أي LLMs عن أفضل ما في الذكاء الصناعي هيطلع إجابة مختلفة؟ هي الإحصاء إتغيرت يعني ما بين إمبارح و النهاردة؟
الفكرة إن لو الذكاء الصناعي فعلاً فضل ماشي يختار أكتر إحتمال بناء علي الإحصاء الكلام هيطلع صناعي روبوتي و يمكن يبقي فيه أخطاء لغوية. فعلياً اللي بيحصل إن فيه معامل إسمه temperature بيحكم إختيار الكلمة اللي جاية بنسبة إحتمال، يعني بدل ما يختار الكلمة اللي ليها أعلي إحتمال إحصائي يمكن يختار تاني ولا تالت ولا خامس أكتر كلمة، و إحتمالية إختيار أول ولا تاني ولا تالت ولا عاشر أكتر كلمة ده هو نفسه إحتمال عشوائي بيتحكم فيه معامل ال temperature ده.
لو ال temperature كانت واحد يبقي أنت هتطلع كلام كل مرة زي المرة اللي قبلها، مفيش عشوائية و النتائج قابلة للتوقع و التكرار بس هتطلع كلام مش زي كلام البني آدمين، لو ال temperature دي بقت صفر أنت هتطلع أي هلس.
بالتالي نماذج الذكاء الصناعي بتحاول تلعب في معامل ال temperature ده بناء علي الإستخدام: لو عايز تستخدمها في حاجة جد شوية نرفعها علشان نلطع كلام محكوم شوية، لو عايزها في شات يبان فيه سمة آدمية نقللها بس هنطلع كلام عشوائي أكتر. حاجة كده زي بدلة سمير غانم اللي لما يظبط البنطلون الجاكتة تضرب و العكس.
المهم بقي إن مفيش تفسير علمي لغاية دلوقتي للموضوع ده، مفيش حد عارف ليه لما نختار الكلمات بشيء من العشوائية بتطلع فيها سمت آدمي في تركيب الجمل و ليه لما نختار أعلي إحتمال بس يطلع الكلام روبوتي الطابع و يمكن غلط لغوياً. إحنا لقيناها كده بالتجربة و الخطأ بس محدش عارف التفسير العلمي لغاية دلوقتي.
و لغاية ما ربنا يكرمنا و حد يفهم إيه اللي بيحصل ده فمفيش مخرج علمي يخلينا نطلع كلام آدمي الطابع بس محكم و مكرر و يطلع نفس النتيجة كل مرة نستخدمه فيها.
و هنا نرجع تاني لأساس التسمية و أساس من أساسيات العلم ناس قليلة قوي فاهماه رغم إنها عدت من جنبه كتير قوي. LLM إختصار ل large language model. يعني إيه نموذج Model؟
الحياة معقدة قوي، فلما ميكونش عندنا القدرة علي إننا نفهمها بنعمل نموذج، هو حاجة مبسطة علي قد فهمنا لما نستخدمها نعرف نحاكي الحياة.
مثال بسيط من أساسيات الحياة: لما تستثار ذره الهيدروجين بتطلع الوان طيف معينة مشهورة بإسم طيف الهيدروجين. راح واحد إسمه نيلس ديفيد بور قال تعالي نفترض إن الإلكترونات بتدور حوالين الذرة في مدرات، كل مدار ليه طاقة معينة، لما تستثار الذرة الإلكترونات بتطلع من مدار للمدار الأعلي منه، بعدين تنزل تاني و تطلع فرق الطاقة بين المدارين دول في هيئة ضوء (طيف). بالورقة و القلم و الرياضيات اللي قاله ده طلع فعلاً الوان طيف (تردد ضوء) زي اللي بنشوفها في المعمل. بس خلاص بقي ده إسمه نموذج بور للذرة، و أخد عليه نوبل في الفيزياء.
بس الهيدروجين ده أبسط ذرة في العالم، فيها الكترون يتيم و بروتون يتيم. النموذج ده لا يصلح للتطبيق علي الهيليوم اللي هو بس فيها 2 إلكترون. يعني لما نيجي نطبقه علي طيف الهيليوم الكلام اللي علي الورق مش بيطلع زي اللي نشوفه في المعمل.
بالتالي ظهر نموذج تاني للذرة أكثر تعقيداً من نموذج بور قادر يفسر طيف الهيليوم. بس مشتغلش مع ذارت أكتر تعقيداً من الهيليوم فعملنا نموذج تالث و عاشر و هكذا.
أنا لما درست الكلام ده بشكل ميكانيكي في الكلية كنت مذهول إن محدش شاور بوضوح علي الفكرة بتاعة النماذج دي في العلم، و لما كبرت بعد كده عرفت الحكمة الأساسية في النماذج الرياضية دي كلها: كل النماذج خطأ لكن بعض النماذج مفيدة all models are wrong but some models are useful. إحنا بنحاول نقرب من الطبيعة بس الأمور معقدة قوي علينا فإحنا هنرتضي بحاجة شغالة شوية في بعض التطبيقات و مش شغالة في تطبيقات تانية.
و القاعدة الأساسية في أي نموذج، في الفيزياء ولا الإقتصاد ولا أي حاجة، إنك تعرف هو مفيد في تفسير إيه أو دراسة إيه و مش مفيد فين. تعرف حدوده.
ال LLMs هي نماذج لغوية، تقريب للواقع علي قد فهمنا، و حتي أسلوب شغلها إحنا مش قادرين نفسره قوي، و كل ده قشطة طول ما هو في إطار model بالمعني الرياضي اللي كل الناس عارفاه: حاجة بتقرب من الطبيعة شوية، علي قد فهمنا، و حدود شغلها هو كذا و كذا، بتشتغل كويس في كذا و مش بتشتغل كويس في كذا.
بس اللي حاصل مع ال LLMs إن ناس كتير نازلة تستصيع علي الواقع زي ما كان محمد نعيم بيوصف الإخوان، يعني إحنا من جوه عارفين إنها مش لو طلعت نفس النتيجة كل مرة هتبقي مش سليمة لغوياً، و لو بقت سليمة لغوياً فهي هتطلع نتائج غير قابلة للتكرار و فيها نسبة خطأ، و عارفين كمان معامل تحريكها من (تشبه كلام البشر) ل ( نتايجها قابلة للتكرار) و ممكن نلعب فيه و نشوف النتيجة يعني، و كل ده مش عارفين له تفسير واضح، بس إحنا هنتظاهر بإنها بس عايزة شوية سيرفرات زيادة علشان تتفوق علي الإنسان، و تطلع كلام شبه كلام الإنسان و في نفس الوقت سليم و قابل للتكرار و يتبني عليه.
الكلام ده أنا إتعلمته من كتاب لستيفن ولفرام بيشرح ال LLMs. لو أنت متعرفش مين ده فده عالم computer science مشهور كان شغال في شبابه مع ريتشارد فاينمان و ليه إنجازات ضخمة، لو درست computer science فهو ده اللي إكتشف ال cellular automata بجانب حاجات تانية كتير يعني.
الكتاب بتاع ستيفن ولفرام في التعليقات، هو مجاني علي موقعه و ممكن تشتريه مطبوع من أمازون. هو صغير يعني مية صفحة و شوية.
بس ستيفن ولفرام مش بس عمل الكتاب ده، هو كمان عمل ما يشبه لغة برمجة تسمح لك تلعب في نماذج الذكاء الصناعي اللي تشغلها علي جهازك الشخصي بحيث تشوف إيه اللي يحصل لما تلعب في ال temperature و إحتمالات الكلمة اللي جاية بعد ما تكون كتبت شوية كلمات، الخ.
رابط المقال