نحو 330 ألف توكن مقابل نحو 76 ألفًا، وفي النهاية لم أحصل من أي من النموذجين على موقع يبرز فيديوهاتي كما أردت. هذه كانت أهم ملاحظة خرجت بها من مقارنة Fable 5.2 وAstra 6.2: قد تشتري لك التوكنز الإضافية نتيجة أجمل، لكنها لا تضمن أن المهمة الأساسية أُنجزت كما ينبغي.
أعجبني تصميم Fable أكثر. وكان Astra أسرع وأقل استهلاكًا للتوكنز في هذه المهمة. لكن سؤال «أي نموذج أفضل؟» أصبح أقل فائدة من سؤال آخر: أفضل في ماذا، وما الذي بقي عليّ إصلاحه؟
هذا هو السؤال الذي يهمني عندما أستخدم الذكاء الاصطناعي في شغلي، لا عندما أتابع المنافسة بين الشركات فقط.
وصف «أسوأ نموذج» يستحق اختبارًا، لا إعادة نشر
كان مدخل التجربة هو الانتقادات القاسية التي عرضتها في الحلقة، والمنسوبة إلى بعض المختبرين المبكرين لـAstra 6.2 من OpenAI. وصل بعضها إلى وصفه بأنه أسوأ نموذج قدمته الشركة.
هذا حكم كبير. بدل تبنّيه أو الدفاع عن النموذج، وضعت Astra أمام Fable 5.2 من Anthropic في ثلاث مهام: إعادة تصميم موقعي، وإنشاء مشهد 3D للبتراء، وكتابة شعر عربي.
اخترت مهام تكشف جوانب مختلفة: فهم مشروع قائم، وبناء تجربة بصرية تفاعلية، والتعبير بلغة قريبة من الناس. لم أرد أن تكون المقارنة محصورة في شكل واجهة جميلة أو نتيجة اختبار معياري.
لكن حدود التجربة مهمة: هذه اختبارات محددة وانطباعاتي عن نتائجها، وليست تقييمًا شاملًا. وهي لا تثبت صحة كل الانتقادات السابقة ولا تنفيها؛ إنما تسمح لي بأن أحكم على ما رأيته بنفسي.
في تصميم الموقع، الشكل الأفضل لم يكن تنفيذًا أكمل
طلبت من النموذجين إعادة تصور موقعي «ذكاء.AI»، مع وجود ملفات المشروع على الجهاز، وطلب العمل على نسخة منه. وفي تجربة الموقع استخدمت إعداد التفكير High لكليهما.
أنهى Astra العمل بسرعة لافتة، بينما كان Fable لا يزال يجمع المعلومات. وفي عمل Fable ظهر أنه راجع المشروع وموقعي وقناتي على يوتيوب قبل تقديم النتيجة.
Astra قدّم مدخلًا مبسطًا، لكنه اختصر أكثر مما أردت
لم تكن نتيجة Astra خالية من الأفكار الجيدة. حاول توجيه الزائر بحسب احتياجه: مبتدئ، أو مدير، أو صانع محتوى، مع اقتراح نقاط بداية تناسبه.
لكن موقعي الأصلي يحتوي على حلقات ومدونة وتفاصيل أكثر بكثير. النتيجة الجديدة بدت أبسط، ولم تمنح الفيديوهات الحضور الذي توقعت أن يكون أساسيًا في موقع مبني حول محتواي.
لذلك لم أعتبر سرعة الإنجاز وحدها نجاحًا. السؤال ليس متى ظهر الموقع، بل هل احتفظ بما يجعله مفيدًا للزائر؟
Fable قدّم تجربة أريح للقراءة، مع النقص نفسه تقريبًا
أعجبني في نتيجة Fable وضوح المسارات وسهولة النظر إلى الصفحة. بدل مطالبة الزائر بتعلّم كل شيء عن الذكاء الاصطناعي، دعاه إلى اختيار طريقه ثم التعرف إلى أولى الخطوات المناسبة له.
كان ذلك أقرب إلى تجربة تساعد شخصًا على البدء، وليس مجرد صفحة تعرض روابط. ومن ناحية الشكل وسهولة القراءة، فضّلت هذه النتيجة.
ومع ذلك، لم يبرز Fable فيديوهاتي كما توقعت أيضًا. وهنا لا يصح أن أحاسب النموذجين وكأن صياغة الطلب كانت مثالية: استخدمت برومتًا صاغه الذكاء الاصطناعي لتحدّيهما، وربما جعلت طريقة صياغته المهمة أصعب أو أقل وضوحًا.
الدرس الذي آخذه إلى التجربة التالية: سأفصل بين مساحة الإبداع والعناصر التي لا يجوز إسقاطها. يمكن للنموذج تغيير الهوية وطريقة التصفح، لكن إبراز الحلقات والمدونة يجب أن يكون شرط قبول صريحًا، لا توقعًا ضمنيًا.
شو جابت التوكنز الزيادة؟ تحسنًا رأيته، لا تفوقًا محسومًا
في مهمة الموقع، بلغ الاستهلاك الذي رصدته نحو 330 ألف توكن لدى Fable، مقابل نحو 76 ألفًا لدى Astra. الفرق واضح، لكنه يخص هذه المهمة كما نُفذت في التجربة.
لا أتعامل مع هذه الأرقام بوصفها مقارنة مالية، ولا قاعدة عامة عن استهلاك النموذجين. ما أستطيع قوله هو أن Fable استهلك توكنز أكثر، وقدّم تصميمًا فضّلته، لكنه لم يحل كل ما كنت أريده من الموقع.
وفي المقابل، لا أستطيع اعتبار Astra الأفضل لمجرد أنه أنهى العمل أسرع وباستهلاك أقل. لو كانت النتيجة تتطلب مني إعادة أجزاء أساسية، فلن يكون التوفير في التنفيذ الأول هو المقياس الوحيد الذي يهمني.
لم أقِس وقت الإصلاح اللاحق في هذه المقارنة، لذلك لن أختلق حسابًا للقيمة النهائية. لكن التجربة جعلتني أكثر اقتناعًا بأن التقييم العملي يجب أن يجمع ثلاثة أسئلة: ماذا أنجز النموذج؟ ماذا أغفل؟ وكم بقي من العمل قبل الاستخدام؟
أما تفسير النتيجة بأن التركيز على الكفاءة أضعف الجودة، أو بأن تحسين البنشماركس جاء على حساب الاستخدام الحقيقي، فيبقى فرضية لا تثبتها هذه الاختبارات. يمكنني وصف المخرجات، لا الجزم بسببها داخل النموذج.
البتراء غيّرت الترتيب: أجمل لقطة ليست بالضرورة أفضل تجربة
في اختبار البتراء، طلبت مشهدًا ثلاثي الأبعاد يمكن استكشافه. هنا لم يكن المطلوب صورة ثابتة فقط، بل بيئة فيها رحلة وحركة وتفاصيل.
قدّم Fable منظرًا أعجبني للسيق والخزنة: جدران داكنة، وإضاءة في الوسط، وحركة بداية شعرت معها كأنني أحمل كاميرا سينمائية. بصريًا، كانت هذه اللقطة أقرب إلى ما تخيلته.
لكن Astra حاول إضافة تفاصيل أكثر في عناصر المشهد، وقدّم إمكانات للحركة والتقريب، رغم أن التحكم لم يكن مريحًا كما أردت، وبعض الأشكال بدت غير متقنة.
لهذا رجّحت Astra في هذا الاختبار، مع تفضيلي جانبًا من الإخراج البصري لدى Fable. لم يكن هناك فائز في كل عنصر من عناصر التجربة.
وأنا لست خبيرًا بالدقة التاريخية لمعالم البتراء؛ حكمي هنا بصري وتجريبي، وليس توثيقًا أثريًا. إذا كانت مهمتك مشابهة، فحدّد أولًا هل تريد لقطة عرض جميلة أم مشهدًا قابلًا للاستكشاف، لأن اختلاف الهدف قد يغيّر اختيارك.
في العربية، التفاصيل المحلية قرّبت النص منّي… لكنها لم تجعله قصيدة
كان الاختبار الثالث كتابة شعر عربي. أردت أن أرى ما يتجاوز نقل المعلومات: هل يستطيع النموذج بناء مشهد فيه إحساس ولغة تبدو قريبة من حياتنا؟
قدّم Astra نصًا بعنوان «تكة تكتين»، عن أب أنهى عمله مبكرًا بمساعدة الذكاء الاصطناعي وعاد إلى ابنته. كانت هناك حكاية وتفاصيل صغيرة، لكنني لم أجد فيه ما يجعلني أعدّه قصيدة ناجحة وفق ما كنت أنتظره.
أما نص Fable، «بعدين»، فكان أقرب إليّ. أب اختصر رسائل العمل والتقرير، ثم جلس يستمع إلى ابنته بدل أن يطلب منها الاختصار أيضًا، وترك الهاتف يهتز في جيبه.
التفصيل الذي ابتسمت له كان رائحة قلاية البندورة. نعم، بالنسبة إليّ كأردني، هذه ليست إضافة عابرة؛ إنها تفصيلة تجعل البيت في النص مألوفًا، لا مكانًا عامًا يمكن أن يكون في أي مكان.
لكن إعجابي بهذا القرب لا يعني أن النص حقق الطلب كاملًا. فضّلت كتابة Fable، ولم أعتبر مخرجات أي منهما قصيدة ناجحة. وهذا تمييز مهم في تقييم المحتوى: قد يكون النص مؤثرًا أو محليًا، ومع ذلك لا ينجح في الشكل الأدبي المطلوب.
اختر على أساس المهمة التي تتكرر في عملك
حصيلة التجربة كانت أقرب مما توحي به الانتقادات: فضّلت Fable في تصميم الموقع والنص العربي، ورجّحت Astra في مشهد البتراء بسبب التفاصيل الإضافية. لم أرَ ما يبرر حكمًا شاملًا بأن أحدهما متفوق في كل شيء أو أن الآخر غير صالح للاستخدام.
ولو كنت سأحوّل هذه المقارنة إلى طريقة لاتخاذ قرار عملي، فسأبدأ بالآتي:
- اختبر مهمة تعرفها جيدًا. وجود موقعي الحالي أعطاني مرجعًا واضحًا لما غاب عن التصميمين، بدل الاكتفاء بالإعجاب بالشكل الجديد.
- اكتب شروط القبول قبل التجربة. ظهور الفيديوهات، وسهولة الحركة، والشكل الأدبي للنص ليست تفاصيل ثانوية إذا كانت هي سبب طلبك أصلًا.
- افصل التفضيل عن اكتمال التنفيذ. قد تحب نتيجة أكثر، لكنها تظل ناقصة في جزء أساسي من المهمة.
- سجّل السرعة والاستهلاك وما يحتاج إلى إصلاح. لا تجعل رقمًا واحدًا يختصر قيمة النتيجة كلها.
إذا كان اشتراكك الحالي يخدم عملك، فلا أرى في الضجة وحدها سببًا لإلغائه. أما إذا واجهت مشكلات مؤثرة في مهامك، فهذه نقطة بداية أفضل لتجربة بديل ومقارنته على أساس واضح.
السؤال ليس أي شركة تستحق ولاءك، بل أي أداة تنجز المهمة التي بين يديك بصورة يمكنك الاعتماد عليها. وفي هذه التجربة، لم تكن الإجابة اسمًا واحدًا لكل المهام.
شاهد المقارنة الكاملة ونتائج الاختبارات الثلاثة على يوتيوب
في عملك، ما المهمة التي كشفت لك الفرق الحقيقي بين نموذجين؟ اذكر المهمة وما نجح أو تعطل فيها، لا اسم النموذج وحده.