فهم شامل لمبادئ التصوير المرئي ثلاثي الأبعاد

يعد تصوير الرؤية ثلاثية الأبعاد أحد أهم طرق إدراك المعلومات للروبوتات الصناعية، والتي يمكن تقسيمها إلى طرق تصوير بصرية وغير بصرية. في الوقت الحاضر، الطرق البصرية الأكثر استخدامًا، بما في ذلك: طريقة وقت الرحلة، طريقة الضوء المنظم، طريقة المسح بالليزر، طريقة تموج في النسيج، طريقة رقطة الليزر، قياس التداخل، القياس التصويري، طريقة تتبع الليزر، الشكل من الحركة، الشكل من الظل، وغيرها من ShapefromX. تقدم هذه الورقة العديد من المخططات النموذجية.

1. وقت الرحلة التصوير ثلاثي الأبعاد

يستخدم كل بكسل من كاميرا وقت الرحلة (TOF) الفارق الزمني في رحلة الضوء للحصول على عمق الكائن.

في طريقة القياس TOF الكلاسيكية، يبدأ نظام الكاشف وحدة الكشف والاستقبال حتى الوقت الذي تنبعث فيه النبضة الضوئية. عندما يستقبل الكاشف الصدى البصري من الهدف، يقوم الكاشف مباشرة بتخزين وقت الرحلة ذهابًا وإيابًا.

المعروف أيضًا باسم Direct TOF (DTOF)، يُستخدم D-TOF بشكل شائع في أنظمة النطاق أحادي النقطة، حيث غالبًا ما تكون تقنية المسح مطلوبة لتحقيق تصوير ثلاثي الأبعاد على مستوى المنطقة.

لم يتم تحقيق تقنية التصوير TOF 3D بدون مسح ضوئي حتى السنوات الأخيرة، لأنه من الصعب جدًا تنفيذ توقيت إلكتروني دون النانو ثانية على مستوى البكسل.

البديل لـ D-TOF ذو التوقيت المباشر هو TOF غير المباشر (I-TOF)، حيث يتم استقراء الرحلة ذهابًا وإيابًا بشكل غير مباشر من قياسات بوابات زمنية لشدة الضوء. لا يتطلب I-TOF توقيتًا دقيقًا، ولكنه يستخدم بدلاً من ذلك عدادات الفوتون ذات البوابات الزمنية أو أدوات تكامل الشحن، والتي يمكن تنفيذها على مستوى البكسل. I-TOF هو الحل التجاري الحالي للخلاطات الإلكترونية والبصرية المعتمدة على كاميرات TOF.

يمكن استخدام التصوير TOF في مجال رؤية واسع، ومسافة طويلة، ودقة منخفضة، والحصول على صور ثلاثية الأبعاد منخفضة التكلفة. خصائصه هي: سرعة الكشف السريعة، مجال رؤية كبير، مسافة عمل طويلة، سعر رخيص، ولكن دقة منخفضة، من السهل أن يتداخل مع الضوء المحيط.

2. المسح الضوئي للتصوير ثلاثي الأبعاد

يمكن تقسيم طرق التصوير ثلاثي الأبعاد إلى نطاق المسح والتثليث النشط وطريقة التشتت البؤري وما إلى ذلك. في الواقع، طريقة التشتت البؤري هي طريقة مسح ونطاق، مع الأخذ في الاعتبار أنها تستخدم حاليًا على نطاق واسع في الصناعة التحويلية مثل الهواتف المحمولة وشاشات العرض المسطحة، ويتم تقديمها بشكل منفصل هنا.

1. المسح والمدى

قياس مسافة المسح هو استخدام شعاع موازي لمسح السطح المستهدف بالكامل من خلال قياس مسافة أحادية البعد لتحقيق قياس ثلاثي الأبعاد. طرق المسح النموذجية هي:

1، وقت نقطة واحدة لطريقة الطيران، مثل نطاق تعديل تردد الموجة المستمر (FM-CW)، نطاق النبض (LiDAR)، وما إلى ذلك؛

2 ، قياس التداخل المتناثر بالليزر ، مثل مقاييس التداخل القائمة على مبادئ التداخل متعدد الأطوال الموجية ، والتداخل المجسم ، وتداخل بقع الضوء الأبيض ، وما إلى ذلك.

3، طريقة متحد البؤر، مثل تشتت متحد البؤر، والتركيز الذاتي، وما إلى ذلك.

في طريقة المسح الثلاثي الأبعاد لنقطة واحدة، يكون وقت الطيران لنقطة واحدة مناسبًا للمسح لمسافات طويلة، وتكون دقة القياس منخفضة، بشكل عام في حدود المليمترات. طرق المسح الأخرى بنقطة واحدة هي: قياس التداخل بالليزر بنقطة واحدة، وطريقة متحد البؤر وطريقة التثليث النشط بالليزر بنقطة واحدة، ودقة القياس أعلى، ولكن الأول له متطلبات بيئية عالية؛ دقة مسح الخط معتدلة، وكفاءة عالية. تعتبر طريقة التثليث بالليزر النشط وطريقة البؤر للتشتت أكثر ملاءمة لإجراء قياس ثلاثي الأبعاد في نهاية الذراع الآلية.

2. التثليث النشط

تعتمد طريقة التثليث النشطة على مبدأ التثليث، باستخدام حزم موازية، واحدة أو أكثر من الحزم المستوية لمسح السطح المستهدف لإكمال القياس ثلاثي الأبعاد.

يتم الحصول على الشعاع عادةً بالطرق التالية: موازنة الليزر، توسيع الشعاع الزاوي الأسطواني أو الرباعي، الضوء غير المتماسك (مثل الضوء الأبيض، مصدر ضوء LED) من خلال الثقب، الإسقاط الشق (الصريف) أو حيود الضوء المتماسك.

يمكن تقسيم التثليث النشط إلى ثلاثة أنواع: المسح بنقطة واحدة، والمسح بخط واحد، والمسح متعدد الأسطر. معظم المنتجات التي يتم تسويقها حاليًا للاستخدام في نهاية الأذرع الآلية هي ماسحات ضوئية ذات نقطة واحدة وخط واحد.

في طريقة المسح متعدد الخطوط، من الصعب تحديد رقم القطب الهامشي بشكل موثوق. من أجل تحديد أرقام الخطوط بدقة، عادةً ما يتم اعتماد التصوير المتناوب عالي السرعة لمجموعتين من المستويات البصرية العمودية، والتي يمكنها أيضًا تحقيق مسح "FlyingTriangulation". تظهر عملية المسح وإعادة البناء ثلاثي الأبعاد في الشكل التالي. يتم إنشاء عرض ثلاثي الأبعاد متفرق عن طريق التصوير الاصطرابي للإسقاط متعدد الخطوط، ويتم إنشاء العديد من تسلسلات العرض ثلاثي الأبعاد عن طريق مسح الإسقاط الطولي والأفقي. ثم يتم إنشاء نموذج سطح ثلاثي الأبعاد كامل ومدمج بدقة عالية عن طريق مطابقة الصور ثلاثية الأبعاد.

3. طريقة التشتت متحد البؤر

يبدو أن متحد البؤر التشتت قادر على مسح وقياس الأجسام الخشنة وغير الشفافة والشفافة، مثل المرايا العاكسة والأسطح الزجاجية الشفافة وما إلى ذلك، ويحظى بشعبية كبيرة حاليًا في مجال الكشف ثلاثي الأبعاد عن لوحات غطاء الهاتف المحمول.

هناك ثلاثة أنواع من المسح البؤري المشتت: المسح المطلق أحادي البعد أحادي النقطة، والمسح متعدد النقاط، والمسح المستمر للخط. يسرد الشكل التالي نوعين من أمثلة المسح المطلق والمسح المستمر للخط على التوالي. من بينها، يعد مسح الخط المستمر أيضًا بمثابة مسح للمصفوفة، لكن المصفوفة تحتوي على شبكة أكثر كثافة.

في المنتجات التجارية، يعد مستشعر المسح البؤري الطيفي الأكثر شهرة هو STILMPLS180 الفرنسي، والذي يعتمد 180 نقطة مصفوفة لتشكيل خط يبلغ الحد الأقصى لطول الخط 4.039 مم (نقطة القياس 11.5 مساءً، والتباعد من نقطة إلى نقطة 22.5 مساءً). منتج آخر هو FOCALSPECUULA الفنلندي. تم اعتماد تقنية تشتت مثلث متحد البؤر.

3. التصوير ثلاثي الأبعاد مع إسقاط الضوء المنظم

يعد التصوير ثلاثي الأبعاد للإسقاط الضوئي المنظم حاليًا الطريقة الرئيسية للإدراك البصري ثلاثي الأبعاد للروبوت، ويتكون نظام التصوير الضوئي المنظم من عدة أجهزة عرض وكاميرات، والأشكال الهيكلية شائعة الاستخدام هي: كاميرا واحدة لجهاز عرض واحد، وكاميرا مزدوجة لجهاز عرض واحد، وجهاز عرض واحد متعدد كاميرا، كاميرا واحدة - جهاز عرض مزدوج وكاميرا واحدة - أجهزة عرض متعددة وأشكال هيكلية نموذجية أخرى.

مبدأ العمل الأساسي للتصوير ثلاثي الأبعاد لإسقاط الضوء المنظم هو أن أجهزة العرض تعرض أنماط إضاءة ضوئية منظمة محددة لاستهداف الكائنات، ويتم التقاط الصور المعدلة بواسطة الهدف بواسطة الكاميرا، ومن ثم يتم الحصول على المعلومات ثلاثية الأبعاد للكائن المستهدف من خلال الصورة المعالجة والنموذج البصري.

تشتمل أجهزة العرض الشائعة الاستخدام بشكل أساسي على الأنواع التالية: إسقاط الكريستال السائل (LCD)، وإسقاط تعديل الضوء الرقمي (DLP: مثل أجهزة المرآة الدقيقة الرقمية (DMD))، والإسقاط المباشر بنمط LED بالليزر.

وفقًا لعدد إسقاطات الضوء المنظمة، يمكن تقسيم التصوير ثلاثي الأبعاد لإسقاط الضوء المنظم إلى طرق إسقاط ثلاثية الأبعاد فردية وطرق إسقاط ثلاثية الأبعاد متعددة.

1. التصوير بإسقاط واحد

يتم تحقيق الضوء المنظم للإسقاط الفردي بشكل أساسي عن طريق ترميز تعدد الإرسال الفضائي وترميز تعدد الإرسال الترددي. أشكال الترميز الشائعة هي ترميز الألوان، والمؤشر الرمادي، وترميز الأشكال الهندسية، والبقع العشوائية.

في الوقت الحاضر، في تطبيق نظام اليد والعين الآلي، للمناسبات التي لا تكون فيها دقة القياس ثلاثي الأبعاد عالية، مثل منصات التحميل، وإلغاء التوزيع، والإمساك ثلاثي الأبعاد، وما إلى ذلك، من الشائع أكثر عرض بقع عشوائية زائفة للحصول على معلومات ثلاثية الأبعاد عن الهدف. يظهر مبدأ التصوير ثلاثي الأبعاد في الشكل التالي.

2. التصوير بالإسقاط المتعدد

يتم تنفيذ طريقة الإسقاط المتعدد ثلاثي الأبعاد بشكل أساسي عن طريق تشفير مضاعفة الوقت. وأشكال تشفير الأنماط شائعة الاستخدام هي: التشفير الثنائي، وتشفير زحزحة الطور متعدد الترددات τ35، والتشفير المختلط (مثل أهداب زحزحة الطور العشرية للشفرة الرمادية).

يظهر المبدأ الأساسي للتصوير الهامشي ثلاثي الأبعاد في الشكل أدناه. يتم إنشاء أنماط الضوء المنظمة بواسطة جهاز كمبيوتر أو يتم إنشاؤها بواسطة جهاز بصري خاص، والتي يتم عرضها على سطح الكائن المقاس من خلال نظام إسقاط بصري، ومن ثم يتم استخدام أجهزة الحصول على الصور (مثل كاميرات CCD أو CMOS) لجمع صور ضوئية مشوهة ومُشكَّلة بواسطة سطح الجسم. تُستخدم خوارزمية معالجة الصور لحساب العلاقة المقابلة بين كل بكسل في الصورة والنقطة الموجودة على مخطط الكائن. وأخيرًا، من خلال نموذج هيكل النظام وتكنولوجيا المعايرة، يتم حساب المعلومات الكنتورية ثلاثية الأبعاد للكائن المقاس.

في التطبيقات العملية، غالبًا ما يتم استخدام تقنية إسقاط الكود الرمادي أو الإسقاط الهامشي ذو التحول الجيبي أو الإسقاط المختلط ذو التحول الطوري الجيبي أو تقنية الإسقاط المختلط ثلاثي الأبعاد ذات الكود الرمادي.

3. تصوير الانحراف

بالنسبة للأسطح الخشنة، يمكن إسقاط الضوء المنظم مباشرة على سطح الجسم لقياس التصوير البصري. ومع ذلك، بالنسبة للقياس ثلاثي الأبعاد للأسطح الملساء ذات الانعكاس الكبير والأجسام المرآة، لا يمكن إسقاط الضوء المنظم مباشرة على السطح المقاس، ويتطلب القياس ثلاثي الأبعاد أيضًا استخدام تقنية انحراف المرآة، كما هو موضح في الشكل التالي.

في هذا المخطط، لا يتم عرض الحواف مباشرة على الكفاف المقاس، ولكن يتم عرضها على شاشة مبعثرة، أو يتم استخدام شاشة LCD بدلاً من شاشة التشتت لعرض الحواف مباشرة. تقوم الكاميرا بتتبع مسار الضوء عبر السطح الساطع، وتحصل على المعلومات الهامشية المعدلة بواسطة تغيير انحناء السطح الساطع، ثم تقوم بحل ملف التعريف ثلاثي الأبعاد.

4. رؤية ستيريو تصوير ثلاثي الأبعاد

تشير الرؤية المجسمة حرفيًا إلى إدراك البنية ثلاثية الأبعاد بعين واحدة أو بكلتا العينين، وتشير بشكل عام إلى إعادة بناء البنية ثلاثية الأبعاد أو معلومات العمق للكائن المستهدف من خلال الحصول على صورتين أو أكثر من وجهات نظر مختلفة.

يمكن تقسيم الإشارات البصرية لإدراك العمق إلى إشارات بصرية وإشارات مجهر (اختلاف المنظر). في الوقت الحاضر، يمكن تحقيق التصوير المجسم ثلاثي الأبعاد من خلال الرؤية الأحادية، والرؤية الثنائية، والرؤية متعددة العيون، والتصوير ثلاثي الأبعاد في مجال الضوء (العين الإلكترونية المركبة أو الكاميرا المصفوفية).

1. التصوير البصري أحادي العين

تتضمن إشارات إدراك العمق الأحادي عادةً المنظور، وفرق الطول البؤري، والتصوير متعدد الرؤية، والتغطية، والظل، واختلاف الحركة، وما إلى ذلك. يمكن أيضًا استخدام المرآة 1 في رؤية الروبوت، وغيرها من أشكال الشكل من X10 وطرق أخرى لتحقيقها.

2. تصوير الرؤية بالعينين

القرائن البصرية لإدراك العمق بالعينين هي: موضع التقارب للعينين واختلاف المنظر بين العينين. في الرؤية الآلية، يتم استخدام كاميرتين للحصول على صورتي عرض من نقطتي رؤية إلى نفس المشهد المستهدف، ومن ثم يتم حساب اختلاف المنظر لنفس النقطة في صورتي العرض للحصول على معلومات العمق ثلاثية الأبعاد للمشهد المستهدف. تتكون عملية حساب الرؤية المجسمة النموذجية من الخطوات الأربع التالية: تصحيح تشويه الصورة، وتصحيح زوج الصور المجسمة، وتسجيل الصور، وإعادة إسقاط التثليث، وحساب خريطة اختلاف المنظر