دراسة تكشف: نماذج الذكاء الاصطناعي لا تزال قاصرة عن كشف وإصلاح ثغرات البرامج

يشهد استخدام نماذج الذكاء الاصطناعي من شركات مثل أنثروبيك وأوبن أيه.آي تزايدًا ملحوظًا في مهام البرمجة. وقد أشار سوندار بيتشاي، الرئيس التنفيذي لجوجل، إلى أن 25% من الأكواد البرمجية الجديدة في الشركة يتم إنشاؤها بواسطة الذكاء الاصطناعي. وبالمثل، أعرب مارك تسوكربيرج، رئيس ميتا، عن نيته في نشر نماذج برمجة الذكاء الاصطناعي على نطاق واسع داخل الشركة.

ومع ذلك، كشفت دراسة حديثة أجرتها مايكروسوفت أن نماذج الذكاء الاصطناعي، بما في ذلك كلود 3.7 سون نت (أنثروبيك) و03-ميني (أوبن أيه.آي)، لا تزال تعاني من قصور في إصلاح المشكلات البرمجية، وفقًا لمعيار إس.دبليو.إي-بنش لايت.

يشير موقع تك كرانش إلى أن هذه النتائج تذكرنا بأنه على الرغم من الضجة المثارة حول قدرات الذكاء الاصطناعي، إلا أنها لا تزال غير قادرة على استبدال العنصر البشري في العديد من المهام، مثل البرمجة.

قام الباحثون باختبار تسعة نماذج ذكاء اصطناعي مختلفة، ومنحوها إمكانية الوصول إلى أدوات تصحيح الأخطاء، بما في ذلك مصحح أخطاء بايثون. وكلفوا هذه النماذج بحل 300 مهمة تصحيح أخطاء برمجية وفقًا لمعايير إس.دبليو.إي-بنش لايت.

أظهرت النتائج أنه حتى مع استخدام أحدث نماذج الذكاء الاصطناعي، لم يتمكن الوكيل من إكمال أكثر من نصف مهام اكتشاف وإصلاح الثغرات بنجاح. حقق نموذج كلود 3.7 سون نت أعلى نسبة نجاح (48.8%)، يليه نموذج 01 من أون أيه.آي (30.2%)، ثم نموذج 03-ميني (22.1%).

د ب أ