قياسُ أدوات التشكيل الآليّ على نصوصٍ عربيّةٍ مضبوطة

سؤالُ هذه المادّة واحد: هل بلغ التشكيلُ الآليُّ حدًّا يُعتمد عليه في نصٍّ عربيٍّ يُنشر؟

ولم يُجَب عنه بانطباع، بل بقياسٍ على نصوصٍ من هذا الموقع نفسِه — نصوصٍ ضبطها أصحابُها بأيديهم ولم يكونوا يعلمون أنّها ستكون مرجعًا لاختبار. وهذا هو موضعُ القوّة فيها: أيُّ أداةٍ تُقاس بنصٍّ اختير لها تُحسن.

طريقةُ القياس

في قاعدة الموقع خمسةٌ وتسعون نصًّا مضبوطًا بالحركات. أُخذت منها مجموعتان: عشرةُ نصوصٍ مشكولةٍ ضبطًا تامًّا (أكثرُها شعر)، وعشرةٌ مضبوطةٌ ضبطًا انتقائيًّا — وهذه الثانيةُ أصدقُ اختبارًا، لأنّ الكاتبَ فيها لا يضبط إلّا ما يُشكل، فالمواضعُ التي اختارها هي بعينها المواضعُ التي يحتاج القارئُ فيها إلى ضبط.

ثمّ جُرّد النصُّ من حركاته، وأُعيد تشكيلُه بالأداة، وقُورن الناتجُ بما كتبه صاحبُه.

ولا يُحسب على الأداة ما تركه الكاتبُ بلا ضبط. فإن زادت حركةً في موضعٍ سكت عنه صاحبُ النصّ لم تُعَدّ خطأً — وهذا في مصلحة الأداة لا عليها.

وفُصلت حركةُ الآخِر عمّا قبلها، لأنّهما مسألتان لا مسألةٌ واحدة: ضبطُ بنية الكلمة معجميٌّ يُعرف من المعجم، وحركةُ الآخِر إعرابٌ لا يُعرف إلّا بفهم الجملة. والثانيةُ هي التي يُخطئ فيها الآليُّ.

الأداتان

مِشْكال — أداةٌ قاعديّةٌ مفتوحةُ المصدر (GPL-3.0)، تُشكّل بقواعدَ كتبها إنسانٌ حرفًا حرفًا: تحليلٌ صرفيٌّ ثمّ ترجيحٌ بالشيوع ثمّ نظرٌ في العلاقات النحويّة. وأخطاؤها مفهومةٌ ويمكن تتبّعها.

CATT — محوّلٌ عصبيٌّ (Apache 2.0) تعلّم التشكيلَ من نصوصٍ مشكولةٍ كثيرة. أدقُّ، ولا يُعرف لماذا اختار حركةً بعينها. وله نموذجان: أسرعُ وأدقّ، وقيسا كلاهما.

النتائج

ونموذجا CATT: الأسرعُ والأدقّ

لأداة CATT نموذجان، يوصي صاحبُها بالأوّل للسرعة وبالثاني للدقّة. وقياسُ الثاني مكلفٌ في الزمن — يولّد الحركاتِ حرفًا بعد حرفٍ لا دفعةً واحدة — فقُيس الثلاثةُ على عيّنةٍ صغيرةٍ واحدة ليصحّ التقابل: ستّةُ نصوصٍ، ثلاثةٌ شعرًا وثلاثةٌ نثرًا، مئتان وسبعون كلمة.

والعيّنةُ صغيرة، فلا يُبنى على فروقها الدقيقة. وأرقامُها أعلى من أرقام الجدول الأوّل لأنّها من أوائل النصوص وأقصرِها، لا لأنّ الأدوات تحسّنت — والجدولان لا يُقارن أحدُهما بالآخر، وإنّما يُقارن ما في كلٍّ منهما بما بجانبه.

وما تدلّ عليه بوضوح أنّ النموذجين متقاربان، وأنّ الأبطأَ لا يشتري بزمنه دقّةً في حركة الآخِر — بل تقدّمه فيها الأسرعُ في هذه العيّنة. وهي ملاحظةٌ تنفع من أراد أن يبني على هذه الأداة: الثمنُ في الزمن قد لا يُقابله عائدٌ في الإعراب.

وللنموذج الأدقّ ثمنٌ في الزمن: استغرق قياسُه على مئتين وسبعين كلمةً دقائقَ، وعجز عن إتمام النصوص الكاملة في ساعةٍ كاملةٍ من التشغيل. فتقديمُه خدمةً لجمهورٍ مسألةٌ في العتاد قبل أن تكون مسألةً في الدقّة — وذاك سببٌ ثانٍ يُضاف إلى ضعف النتيجة.

وأينَ تخطئ

قُسّمت مواضعُ الاختلاف على أنواعها، لأنّ «لم تكتب حركة» غيرُ «كتبت حركةً خاطئة»: الأوّلُ نقصٌ يراه القارئُ فيتجاوزه، والثاني يُقرأ فيُضلّ. وفي «مِشْكال» كان الغلطُ الصريحُ ١٤٫٣٪ من المواضع، والتنوينُ ٣٫٠٪، والباقي نقصٌ أهونُ منه.

ومن أمثلة الخطأ في نصوص الموقع: «أَكْتُبُ» صارت «أَكَتَبَ» — مضارعٌ صار ماضيًا؛ و«أُرْسِلَ» صارت «أَرْسَلَ» — مبنيٌّ للمجهول صار معلومًا؛ و«الآخَرين» صارت «الآخِرَين» — وهذه كلمةٌ أخرى لا حركةٌ أخرى.

وعيبٌ ليس في الحركات

«مِشْكال» تحذف علاماتِ الترقيم وتلصق الكلمتين. فـ«الحمد لله. ثمّ أمّا بعد» تخرج «الْحَمْدُ لِلَهَّثُمَّ أَمَّا بَعْد»، و«العربية: لغة الضاد» تخرج «الْعَرَبِيَّةُلُغَةُ الضَّادِ». وقياسُ ذلك أنّ ٣٨٪ من كلمات النثر خرجت مشوّهةً لا يمكن حتّى مقارنتُها بأصلها.

و«CATT» لا تلصق شيئًا، لكنّها تُسقط الترقيمَ — وذاك عيبٌ أهونُ، إذ ترتيبُ الكلمات محفوظٌ فيمكن إعادةُ النقاط إلى مواضعها.

الخلاصة

التشكيلُ العصبيُّ أفضلُ من القاعديّ بفارقٍ واضح، وأوضحُ ما يكون في الإعراب. ومع ذلك لا تبلغ أيٌّ منهما حدًّا يُعتمد عليه في نصٍّ يُنشر باسم صاحبه: نحوُ نصف الكلمات يخرج مضبوطًا ضبطًا تامًّا، والنصفُ الآخر فيه ما يُغيّر القراءة.

ومن يكتشف الخطأ لا يحتاج الأداة، ومن يحتاجها لا يكتشف الخطأ. فالباحثُ الذي يعرف أنّ المعطوفَ على منصوبٍ منصوبٌ سيصحّح ويمضي؛ والمتعلّمُ الذي لا يعرف سيأخذ ما وجد. وذاك وحدَه سببٌ كافٍ لألّا تُقدَّم هذه الأدواتُ خدمةً في موقعٍ لغويّ، وأن يُكتفى بالتعريف بها وترك الحكم لأهل اللغة.

ولا يُقلّل هذا من قدر الأداتين ولا من جهد أصحابهما: كلتاهما مفتوحةُ المصدر، مبذولةٌ لخدمة العربية، ونافعةٌ لمن يضبط نصًّا ثمّ يراجعه بنفسه. وإنّما الفرقُ بين أداةٍ يستعملها عارفٌ وبين خدمةٍ يُقدّمها موقعٌ للناس أنّ الثانيةَ لا مراجعَ لها.

عن هذا القياس: أُجري في أيلول/سبتمبر ٢٠٢٦ على «مِشْكال ١٫١٠» و«CATT» بنموذجيها، آليًّا وبمعونة الذكاء الاصطناعيّ، على نصوصٍ من هذا الموقع. وهو حالُ الأداتين يومَ قيستا لا حكمًا عليهما أبدًا — وكلتاهما تُطوَّر، فمن قرأ هذا بعد حينٍ فليُعِد القياس. والمقارنةُ حاسوبيّةٌ حرفًا بحرفٍ لا حكمًا لغويًّا: تُقاس مطابقةُ الناتج لما كتبه صاحبُ النصّ، ولا تُقاس صحّةُ ما كتبه صاحبُ النصّ. وقد يكون في المرجع نفسِه ما يُختلف فيه — وخاصّةً في الشعر، حيث تُسكَّن القوافي ويُتوسَّع في الضبط. وطريقةُ القياس وشيفرتُه منشورةٌ، فمن أراد أن يُعيدها أو يردّها فله ذلك.