العدد: 9305
الخميــــــــس 28 شـــباط 2019
هو نظام للتعرف على لغة الصم والكم من خلال تحليل حركة اليد أمام الكاميرا الرقمية، يتم بداية التقاط الصور عبر كاميرا فيديو، ثم يتم تقطيع الصورة للحصول على منطقة اليد، ليتم بعدها تطبيق عدد من العمليات الموفولوجية من أجل ترشيح الصورة الناتجة وإلغاء المناطق غير المهمة، في المرحلة التالية يتم تدريب مصنف شبكة عصبونية ومصنف مسافة إقليدية من أجل حفظ شكل سمات صور راحة اليد الموافقة للأحرف الأبجدية، وفي مرحلة الاختبار يتم التقاط صورة اختبار عبر الكاميرا ثم أخذ سمات هذه العينة وتقديمها للمصنف الذي يقوم بحساب الفروق بين سمات قاعدة البيانات وسمات عينة الاختبار لمعرفة العينة التي يتم التعرف عليها.
هذا ما تصدت له الطالبات: نورغانم وصبا جولاق ونور جود، إشراف الدكتور: حسن الأحمد في جامعة تشرين كلية الهندسة الميكانيكية والكهربائية، قسم هندسة الحاسبات والتحكم الآلي وذلك بعنوان: التعرف على إشارات اليد باستخدام معالجة الصورة، التقيناهن لتحدّثن عن المشروع:
البرامج والأدوات المستخدمة
نستخدم في المشروع أداتين أساسيتين الأولى هي برنامج الماتلاب من أجل عملية التصميم البرمجي وتصميم الواجهة الرسومية والمحاكاة، أما الأداة الثانية فهي قاعدة بيانات صور تمثل صور اليد المكافئة لحركات الصم والبكم.
برنامج الماتلاب
الواجهة الرئيسية لبرنامج الماتلاب أولاً: شريط العنوان Title bar يحتوي شريط العنوان على اسم البرنامج ورمز البرنامج واسم الملف أو النافذة المفتوحة حالياً، كما يحتوي في أقصى يمينه على مفاتيح التحكم الثلاثة: Maximize/Restore عند النقر على هذا المفتاح يتم تكبير النافذة إلى الحد الأقصى أو استعادة النافذة إلى حد أصغر. Minimize عند النقر على هذا المفتاح يتم تصغير النافذة على شريط المهام ولاستعادتها مرة أخرى يتم النقر على اسم النافذة على شريط المهام . في قائمة desktop الموجود بشريط المهام menu bar كيفية إظهار نافذة الأوامر لوحدها
تصبح نافذة محرر الأوامر منفصلة عن سطح مكتب برنامج matlab نافذة الأوامر، منطقة فضاء العمل workspace
هي النافذة ذات واجهة الاستخدام الرسومية والتي فيها عرض أسماء جميع المتغيرات Name وقيم هذه المتغيرات Values ونوع المتغيرات Class وحجم هذه المتغيرات size التي تم استخدامها خلال جلسة العمل الحالية إلى حين إغلاق برنامج MATLAB أو تنفيذ الأمر clear كما تمكننا نافذة Workspace من إعادة تحرير وشحن المتغيرات لذلك تعد هذه النافذة بمثابة الذاكرة المؤقتة لبرنامج MATLAB.
ملاحظة: عند بدء العمل على MATLAB أول مرة تظهر نافذة Workspace وتظهر بالضغط بزر الفأرة على كلمة workspace الموجودة بعنوان النافذة.
فضاء العمل
× نافذة الدليل الحاليCurrent Directory: هي نافذة ذات واجهة رسومية.
× الملفات التنفيذية لبرنامج MATLAB – نافذة تسجيل الأوامر COMMAND HISTORY
يتم تسجيل الأوامر التي يتم إدخالها في نافذة محرر الأوامر وكما أن عند بدء عمل برنامج MATLAB لأول مرة تظهر نافذة تسجيل الأوامر كما في الشكل الآتي:
× مكان تخزين التعليمات الأخيرة – استخدام الماتلاب بمعالجة الصورة الرقمية
× يتم فتح أو قراءة صورة بالحاسوب باستخدام التعلمية(imread)
نتائج المشروع
في هذا المشروع قمنا بتصميم برنامج للتعرف على حركة إشارات اليد لمحاكاة لغة الصم والبكم وتم الاعتماد على قاعدة بيانات لأشكال الحروف الأبجدية وفق لغة الصم والبكم، تم تصميم المشروع ليكون من النمط on-line أي يتم التقاط الصورة من الكاميرا مباشرة ثم استخلاص سماتها ثم التعرف على شكل إشارة اليد ومعرفة الحرف الدالة عليه، تم استخلاص سمات صورة اليد باستخدام طريقتين الأولى هي السمات الشكلية وفق تحويل المويجات والثانية السمات الهندسية وفق القيم المستخلصة بتابع regionprops. تم الحصول على شعاع سمات مكون من 81926 سمة، تم تدريب شبكة عصبونية بطبقتين وتمت محاكاة الشبكة باستخدام سمات أشعة صور قاعدة البيانات وتخزين الناتج في شعاع Featues، تم اختبار النظام من خلال التقاط صورة اختبار من الكاميرا، ثم استخلاص سماتها بذات الطريقة ثم محاكاة الشبكة المدربة بهذه السمات للتعرف على رقم الحرف الناتج، تم التوصل لمعدل تعرف 94.44% على 18 صورة اختبار، تم اختبار النظام على صور ملتقطة لأيدي مختلفة لا تعود لذات الشخص لمعرفة قدرة النظام على التعرف على الإشارة مع تغير حجم وشكل اليد.
المقترحات والتوصيات
زيادة قاعدة البيانات لتشمل كل إشارات اليد للأحرف الأبجدية كاملة. بناء نظام للتعرف على إشارات اليد للغة العربية. استخدام طرق تدريب وتصنيف أخرى والمقارنة معه.
نور محمد حاتم