چکيده: در اين پايان نامه، روش جديدي جهت تشخيص حالت‌هاي احساسي ظريف چهره ارائه مي‌گردد. براي نمايان ساختن حرکات ظريف چهره از روش بزرگنمايي ويدئويي اولر استفاده شده است. روش بزرگنمايي ويدئويي اولر حرکات ظريف سيگنال‌ها (تغيير رنگ يا حرکت انتقالي)را با پردازش زماني و مکاني تقويت مي‌کند. ورودي اين روش، ويدئوهايي از چهره اشخاص مي‌باشد و نتيجه حاصل از آن به صورت دنباله تصاوير بزرگنمايي شده است. سپس نوع حالت احساسي دنباله تصاوير بزرگنمايي شده را با استفاده از چهره‌هاي ويژه بررسي نموده‌ايم. در اين پژوهش، آزمايش بر روي 164 ويدئو از 16 شخص در پايگاه دادهاحساسات ظريف غيرارادي انجام گرفت. در ابتدا تشخيص تغيير در چهره به هنگام بروز حالات احساسي ظريف را بررسي کرده‌ايم. تغيير در چهره به طور ميانگين به ميزان %19/65 به هنگام بروز حالت منفي، %29/68 به هنگام بروز حالت مثبت و %75/69 به هنگام بروز حالت تعجب تشخيص داده شده است. همچنين تشخيص و تفکيک دو حالت مثبت و منفي در دنباله تصاوير مورد ارزيابي قرار داده‌ايم. همانطور که نتايج نشان مي‌دهند دقت تشخيص کلي بين دو حالت منفي و مثبت با به کارگيري بزرگنمايي ويدئويي اولر برابر با % 66/66 مي‌باشد. در حالي که بدون استفاده از اين روش بزرگنمايي، تشخيص کلي به %00/50 کاهش مي‌يابد. بنابراين استفاده از بزرگنمايي ويدئويي اولر در بازيابي حرکات نامحسوس چهره به هنگام بروز احساس، عملکرد روش تشخيص حالات احساسي ظريف مبتني بر چهره‌هاي ويژه و همچنين تشخيص تغيير را بالا مي‌برد.کلمات کليدي: تشخيص حالات احساسي ظريف چهره، تشخيص تغيير در چهره، روش بزرگنمايي ويدئويي اولر، روش چهره‌هاي ويژهفهرست مطالبعنوان صفحهفهرست علايم..........سفهرست جدولهاکفهرست شکل‌ها..لفصل اول: مقدمه11-1 پيشگفتار.............................21-2 بيان مسئله‌ي تشخيص تغيير در تصوير.............................31-3 بيان مسئله‌ي تشخيص حالات احساسي چهره.............................41-4 هدف از اين الگو و دستورالعمل5فصل دوم:توضيح سيستم تشخيص حالات احساسي چهره72-1عوامل مؤثر بر تشخيص حالت احساسي چهره.......82-2 تقسيم سيستم‌هاي تحليل حالت‌هاي چهره.......102-3متدولوژي تشخيص حالات احساسي.......102-4 تشخيص چهره و عمليات پيش پردازش.......122-5 استخراج ويژگي‌هاي احساسي.......122-5-1روش‌هاي مبتني بر ويژگي هندسي.......122-5-2روش‌هاي مبتني بر ظاهر.......132-6 کلاسه بندي احساسات.......152-6-1روش‌هاي مبتني بر داوري.......162-6-2روش‌هاي مبتني بر علامت.......16 فصل سوم: روش‌ها و پيشينه تحقيقات تشخيص حالات احساسي چهره.............173-1ويژگي‌هاي چهره.............183-2 تحليل حالت‌هاي چهره.......193-3 مدل‌هاي تشخيص حالات احساسي چهره.......203-4مروري بر تحقيقات گذشته.......243-4-1 مروري بر پيشينه تشخيص حالات احساسي چهره بر اساس واحدهاي حرکتي در سيستم FACS243-4-2 مروري بر پيشينه تشخيص حالات احساسي چهره بر اساس جريان نوري 283-4-3 مروري بر پيشينه تشخيص حالات احساسي چهره بر اساس چهره‌هاي ويژه و PCA 313-4-4 مروري بر پيشينه تشخيص حالات احساسي چهره بر اساس FCP323-4-5 مروري بر پيشينه تشخيص حالات احساسي چهره با استفاده از روش‌هاي مختلف ديگر323-4-6 مروري بر پيشينه تشخيص حالت چهره سه بعدي343-4-7 مروري بر پيشينه حالات احساسي ظریف چهره............................................................................................................363-5 پايگاه داده‌ها............................................................................................................................413-5-1 پايگاه داده Cohn-Kanade............................................................................................................................423-5-2 پايگاه داده AR............................................................................................................................433-5-3 پايگاه داده بيان احساسات MMI433-5-4 پايگاه داده احساس غير ارادي............................................................................................................................443-5-5 پايگاه داده بيان احساسات زنان ژاپني(JAFFE )443-5-6 پايگاه داده تشخيص احساس و ژست FG_Net453-5-7 پايگاه داده احساس چهره CMU AMP453-5-8 پايگاه داده سه بعدي حالات چهره453-5-9 پايگاه داده احساسات ظريف غير ارادي (SMIC)47فصل چهارم: تشخيص حالات احساسي چهره به روش چهره ويژه484-1 چهره‌هاي ويژه.................494-2 کليات سيستم تشخيص چهره براساس چهره‌هاي ويژه.......504-3 محاسبه چهره‌هاي ويژه.......524-4 کاهش بعد در روش‌هاي مبتني بر ظاهر524-5 تحليل مؤلفه‌هاي اصلي....................534-6 محاسبه مقادير و بردارهاي ويژه در روش چهره‌هاي ويژه54 فصل پنجم: بزرگنمايي ويدئويي اولر براي بازيابي تغييرات ظريف در جهان.......565-1 بزرگنمايي ويدئويي اولر.......575-2 تحليل چند مقياسي.......645-3 مبحث حساسيت به نويز.......685-4 مقايسه روش بزرگنمايي ويدئويي اولر در مقابل روش لاگرانژى .......705-5 محاسبه خطا در روش بزرگنمايي ويدئويي اولر و روش لاگرانژى705-5-1 محاسبه خطا در روش بزرگنمايي ويدئويي اولر و روش لاگرانژى در حالت بدون نويز705-5-2 محاسبه خطا در روش بزرگنمايي ويدئويي اولر و روش لاگرانژى در حالت با نويز725-6 نتيجه گيري نهايي ........73 فصل ششم: روش پيشنهادي ........746-1 نماي کلي از پژوهش.......756-2 استفاده از چهره‌هاي ويژه در تشخيص حالات احساسي.......756-3 تشخيص حالات ظريف احساسي با به کار گيري روش بزرگنمايي ويدئويي اولر و روش چهره‌هاي ويژه 766-3-1 بررسي تشخيص تغيير در چهره به هنگام بروز حالات احساسي ظريف796-3-2 بررسي تشخيص حالات احساسي ظريف چهره (تنها يک حالت مثبت و منفي از هر شخص).......................866-3-3 بررسي تشخيص حالات احساسي ظريف چهره (چندين حالت مثبت و منفي از هر شخص)...................886-4 جمع‌بندي ....................90مراجع........................ ..92مراجع لاتين.......92مراجع فارسي............102چکيده انگليسي............103 فهرست جدولهاعنوان صفحهجدول 3‑1. واحدهاي حرکتي چهره در FACS..............................................................................................................25جدول 5‑1. مقادير α، ، و براي ويدئوهاي مختلف67جدول 6‑1. جمع بندي کلي تشخيص تغيير چهره در هر 3 حالت (منفي، مثبت و تعجب) در دو مجموعه داده83جدول 6‑2. تشخيص دو حالت چهره (يک حالت مثبت و يک حالت منفي) 86جدول 6‑3. درجه حساسيت، درجه تشخيص، دقت، ميزان تشخيص کلي و نرخ خطا(يک حالت مثبت و یک حالت منفي)..............................................................................................................87جدول 6‑4. تشخيص دو حالت چهره (چندين حالت مثبت و چندين حالت منفي)88جدول 6‑5. درجه حساسيت، درجه تشخيص، دقت، ميزان تشخيص کلي و نرخ خطا(چندین حالت مثبت و منفي)..............................................................................................................89 فهرست شکلهاعنوان صفحهشكل1‑1. تصويري از نمونه‌هاي تغيير تصوير3شكل1‑2. شش حالت احساسي چهره5شكل2‑1. ژست‌هاي مختلف از يک تصوير8شكل2‑2. تصوير مسدود شده9شكل2‑3. نورپردازي‌هاي متفاوت در تصوير9شكل2‑4. بلوک دياگرام تشخيص حالات احساسي11شكل2‑5. دسته بندي روش‌هاي تشخيص حالات احساسي14شكل3‑1. تشخيص احساس مبتني بر مدل‌هاي پويا و انعطاف پذير20شكل3‑2. تشخيص احساس مبتني بر مدل نوارهاي حاشيه‌اي21شكل3‑3. تشخيص احساس مبتني بر مدل حرکت نقطه21شكل3‑4. قاب‌هاي تعريف شده در مدل لبه-ويژگي22شكل3‑5. مدل گراف personspotterو حذف پس زمينه22شكل3‑6. تصويري از الگوريتم الگوي نسبت و الگوي نسبت مکاني23شكل3‑7. کاربردي از الگوريتم الگوي نسبت و الگوي نسبت مکاني24شكل3‑8. کدبندي‌هاي مربوط به نواحي حرکتي چهره26شكل3‑9. نمونه‌اي از مدل درونيابي زماني39شكل3‑10. نرمال کردن چهره39 شكل3‑11. نمايش کلي از تشخيص حالات احساسي ظريف چهره به روش دورنيابي زماني40شكل3‑12. نمونه‌اي از تصاوير پايگاه داده FERET41شكل3‑13. نمونه‌اي از تصاوير پايگاه داده Cohn-Kanade42شكل3‑14. نمونه‌اي از تصاوير پايگاه داده AR43شكل3‑15. نمونه‌اي از تصاوير پايگاه داده MMI44شكل3‑16. نمونه‌اي از تصاوير پايگاه داده JAFFE45شكل3‑17. نمونه‌اي از تصاوير پايگاه داده .BU-3DFE46شكل3‑18. نمونه‌اي از تصاوير پايگاه داده SMIC47شكل4‑1. مؤلفه‌هاي اصلي در داده‌هاي دو بعدي54شكل5‑1. مثالي از چارچوب روش بزرگنمايي ويدئويي اولر جهت تجسم ضربان نبض انسان57شكل5‑2. ديدگاهي از چارچوب بزرگنمايي ويدئويي اولر59شكل5‑3. تأثيرات بزرگنمايي بر روي سيگنال يک بعدي61شكل5‑4. بزرگنمايي نادرست حرکات به هنگام افزايش بيش از حد α63شكل5‑5. رابطه بين فاکتور تقويت α و فرکانس مکاني63شكل5‑6. نمونه‌هايي از ويدئو که با استفاده از روش بزرگنمايي ويدئويي اولر ارزيابي شده‌اند65شكل5‑7. بزرگنمايي حرکت در يک دنباله از ويدئو از سايه خورشيد66شكل5‑8. به کارگيري روش بزرگنمايي ويدئويي اولر براي تقويت حرکات ظريف رگ‌هاي دست66شكل5‑9. ادغام مکاني مناسب براي آشکارسازي سيگنال‌هاي مورد نظر69شكل6‑1. نماي کلي از تشخيص حالات احساسي ظريف چهره با استفاده از روش چهره‌هاي ويژه78شكل6‑2. نتيجه حاصل از اجراي روش بزرگنمايي ويدئويي اولر بر روي دنباله تصاوير80شكل6‑3. نمودار حاصل از تشخيص تغيير چهره به هنگام بروز حالت منفي در دو مجموعه داده81شكل6‑4. نمودار حاصل از تشخيص تغيير چهره به هنگام بروز حالت مثبت در دو مجموعه داده81شكل6‑5. نمودار حاصل از تشخيص تغيير چهره به هنگام بروز حالت تعجب در دو مجموعه داده82شكل6‑6. ميانگين درصد تشخيص تغيير چهره به هنگام بروز سه حالت احساسي83شكل6‑7. نمودار حاصل از عدم تشخيص تغيير چهره به هنگام بروز حالت منفي در دو مجموعه داده84شكل6‑8. نمودار حاصل از عدم تشخيص تغيير چهره به هنگام بروز حالت مثبت در دو مجموعه داده.85شكل6‑9. نمودار حاصل از عدم تشخيص تغيير چهره به هنگام بروز حالت تعجب در دو مجموعه داده..85شكل6‑10. نمونه‌اي از تشخيص دو حالت مثبت و منفي با به کارگيري روش بزرگنمايي ويدئويي اولر..88فهرست علايمنشانهعلائمنشانهعلائمفاکتور تقويت حرکتشدت تصوير در مکان x و زمانtI(x,t)طول موج قطع نويزS(r)مجموعه آموزشΓفيلتر پايين گذر مکانيتصوير چهره iام از مجموعه آموزشيفيلترهاي پايين گذر IIRتصوير ناشناختهفيلترهاي پايين گذر IIRميانگين تصويرفيلتر پايين گذر مکانيماتريس کواريانسC وفرکانس مکانيWکسر هر تصوير از ميانگين تصاويرخطاي روش بزرگنمايي لاگرانژىتصويرXخطاي روش بزرگنمايي ويدئويي اولرترانهاده ماتريس Xسرعت فريم دوربينماتريس تفاضل هر تصوير از ميانگين تصاويرسيگنال حرکتي تصويربردار ويژهu و Vفيلتر زمانيمقدار ويژهوشعاعRچهره ويژهنويز در مکان x وزمانtوزن تصويرiامطرح حفظ محليتLPPبردار وزني براي تصوير iامتحليل جداساز خطيLDAمقدار آستانهالگوي باينري محليLBPاحساسات ظريف غير اراديSMICتابع پايه شعاعيRBFتشخيص حالات احساسي چهرهFERپايگاه داده cohn-kanadeCKواحد حرکتيAUحالات احساسي زنان ژاپنيJFFEسيستم کدبندي حرکات چهرهFACSماشين بردار پشتيبانيSVMتحليل مؤلفه‌هاي اصليPCAتوزيع ويژگي سطح اوليهPSFDتحليل اجزاي مستقلICAواحدهاي پارامتري انيميشني چهرهFAPUsنقاط مشخصه چهرهFCPمدل شکل فعالASMمجموعه فازي مفهوميCFSيادگيري هسته‌اي چندگانهMKLروش C ميانگين فازيFCMمدل درونيابي زمانيTIMآنتروپي نسبيKDLدوربين سرعت بالاHSالگوي باينري گابور محليLGBPدوربين نزديک مادون قرمزNIRدوربين معمولي ديداريVISفصل اولمقدمه1-1 پيشگفتار تشخيص تغيير يکي از تحقيقات جديد در حوزه پردازش تصوير و بينايي ماشين بوده و در طي سال‌هاي اخير روند رو به رشدي داشته است. تشخيص تغيير به صورت يک فرآيند تقسيم‌بندي زماني است که در تصاوير و ويدئويي‌هايي که در طول زمان‌هاي مختلف گرفته شده‌اند، انجام مي‌گيرد. تکنيک‌هاي تشخيص تغيير در تصوير يک نقش اساسي در نظارت تصويري، تصوير برداري پزشکي، تصوير برداري زير آب و نظارت بر ترافيک براي شناسايي خودکار اشياء و اهداف در حال حرکت است. يکي از کاربردهاي مهم در اين زمينه، تشخيص تغيير در چهره به هنگام بروز احساس مي‌باشد که نقش مهمي در ارتباطات بشر دارد. بنابراين تشخيص حالات احساسي چهره (FER[1]) نه تنها توسط بسياري از محققان روانشناسي مورد مطالعه قرار گرفته است بلکه در زمينه‌اي از علم کامپيوتر نيز مطرح شده است. دانشمندان کامپيوتر براي شناسايي و تشخيص حالات چهره واقعي انسان تلاش‌هاي فراواني انجام داده‌اند.حالات چهره نقش اساسي در ارتباطات کلامي و غير کلامي و انتقال نظرات بين افراد بر عهده دارد. حالات چهره، بيانگر عمل و عکس العمل‌هايي مي‌باشدکه انسان نسبت به محيط اطراف خود بروز مي‌نمايد. شناسايي حالات چهره مي‌تواند در بسياري از زمينه‌هاي تحقيقاتي و کاربردي مفيد باشد که از جمله آن‌ها مي‌توان به لب خواني، ويدئو کنفرانس، رباتيک، مطالعات روانشناسي و غيره اشاره کرد.در شاخه رباتيک، ربات‌هاي انسان نمايي مطرح مي‌شوند که با کاربر در تعامل هستند و خود را با حالت روحي او تطبيق مي‌دهند. همچنين در شاخه روانشناسي، آزمون‌هايي در زمينه درماني طراحي گرديده است که با نشان دادن تصاوير به شخص بيمار، واکنش‌هاي ايجاد شده در چهره وي بررسي شده و وضعيت روحي فرد تحليل مي‌شود. بحث شبيه سازي حالات احساسي چهره نيز در انيميشن‌هاي تصويري و کارتوني حائز اهميت مي‌باشد. اين موارد و کاربردهاي گوناگون ديگر منجر به تحقيقات متعددي در اين زمينه گرديده است. 1-2 بيان مسئله‌ي تشخيص تغيير در تصوير در اين بخش ابتدا مسئله‌ي تشخيص تغيير به اين صورت مطرح مي‌شود هدف نهايي از تشخيص تغيير، شناسايي مجموعه پيکسل‌هاي متصل به هم در يک فريم که با فريم بعدي متمايز مي‌باشند. مجموعه پيکسل‌ها، شامل ماسک تغيير هستند. هدف از اين مسئله شناسايي اين ماسک و بخش‌بندي پس‌زمينه مي‌باشد.اين ماسک، ترکيبي از چند عامل اساسي، از جمله حرکت جسم نسبت به بيننده، تغيير شکل اشياء و ظاهر آن‌ها و ناپديد شدن اشياء خواهد بود. همچنين اشياء مي‌توانند با شدت نور متفاوت يا از نظر رنگ تغيير کنند. چالش اصلي اين است که ماسک تغيير نبايد شامل موارد نامعلوم و اشکال نادرست تغيير ناشي از حرکت دوربين، تغييرات نور و شرايط آب و هوايي باشد.جهت تشخيص تغيير، M تصوير گرفته شده با دوربين در هر ثانيه به صورت نشان داده مي‌شوند که هر پيکسل داراي مختصات و رنگ مي‌باشد. مقاديرk و l وابسته به نوع تصوير است. به عنوان مثال براي تصاوير خاکستري و براي تصاوير RGB به کار مي‌رود. همچنين براي تصاوير هوايي يا نظارت ماهواره‌اي و يا براي اطلاعات پزشکي يا بيولوژيکي در نظر گرفته مي‌شود. تکنيک رياضي تشخيص تغيير هر پيکسل براي تصوير ورودي به صورت زير است"Chhabra et al., 2009"