پایان نامه رويکرد جديد در بهنگام سازی پايگاه پردازش تحليلي یک پژوهش کامل میباشد و در 5 فصل تنظیم شده است.این پایان نامه با معرفی پایگاه پردازش تحلیلی به طراحي و پياده سازي نوسازی داده در پايگاه پردازش تحليلي پرداخته است.شما میتوانید فهرست مطالب پروژه را در ادامه مشاهده نمایید.پایان نامه بصورت فایل قابل ویرایش ورد(WORD) در 230 صفحه برای رشته کامپیوتر در پایین همین صفحه قابل دانلود میباشد. شایسته یادآوری است که پروژه از ابتدا تا آخر ویرایش وتنظیم , سکشن بندی (section) ، نوشتن پاورقی (Footnote) و فهرست گذاری کامل شده وآماده تحویل است.چکيدهدر اين پروژه ابتدا پايگاه پردازش تحليلي معرفی شده و مسائل تحقيقاتي در آن مورد بررسی قرار می گيرد. هدف اصلی نوسازی داده در پايگاه پردازش تحليلي است به نحوی که همواره اطلاعات بروز در گزارش گيريها ارائه شود. به اين منظور ابتدا کارهای مختلف در نوسازی داده (استخراج و ثبت اطلاعات و پاکسازی داده ها) و روشهای انجام آنها بررسی شده، سپس کارهای انجام شده بر روی نوسازی داده بررسی می شود. ملاحظه شد که در روشهای ارائه شده، لزوما اطلاعات بروز در گزارش گيريها ارائه نمی شود.در روش ارائه شده، پروتکلی به منظور نوسازی داده ارائه می شود که بر اساس پنج روش مختلف زمان، حجم، برخط بودن، با درخواست کاربر و ترکيب زمان و حجم می باشد. اين پروتکل بر روی سيستم بيمه سلامتی برای انجام آزمايشات پياده سازی می شود. لازم به ذکر است که به منظور پياده سازی از نرم افزارهای SQL-Server و Delphi استفاده می شود. پس از انجام آزمايشات ملاحظه می شود که بسته به کاربردهای مختلف، از روشهای مختلف به منظور نوسازی داده می توان استفاده نمود. کلمات کليدی:فارسی: پايگاه داده، پايگاه پردازش تحليلي، نوسازی داده، بهنگام سازیانگليسي:Database, data warehouse, refreshment, updatingفهرست مطالبمقدمه. 1فصل اولمعرفي پايگاه پردازش تحليلي1-1- تعريف پايگاه داده. 41-2- تعريف تراکنش.... 51-3- سيستم های تصميم يار. 71-4- تعاريف پايگاه پردازش تحليلي.. 71-5- مشخصات پايگاه پردازش تحليلي.. 91-5-1- مبتنی بر موضوع. 101-5-2- يکپارچگی.. 101-5-3- محدوده وسيع زمانی.. 101-5-4- غير قابل تغيير. 111-6- انواع داده در پايگاه پردازش تحليلي.. 111-7- ساختار پايگاه پردازش تحليلي.. 121-7-1- جدول حقيقت... 131-7-2- جدول ا بعاد. 141-7-3- قدمهای اصلی در فرايند طراحی مدل چندبعدی سيستم.. 141-8- روش ساخت پايگاه پردازش تحليلي.. 151-9- نوسازی داده در پايگاه پردازش تحليلي و اهميت آن.. 161-10- خلاصه و نتايج.. 20فصل دوممسائل تحقيقاتي در پايگاه پردازش تحليلي2-1- معماري پايگاه پردازش تحليلي.. 222-2-مدل داده در پايگاه پردازش تحليلي.. 242-3- نگهداري ديد. 252-3-1- خودنگهداري.. 262-3-2- فيلترسازي بهنگام سازي.. 272-3-3- نگهداري برخط ديد. 272-4- موازي سازي در پايگاه پردازش تحليلي.. 282-5- نوسازی داده. 292-6- ديگر مسائل تحقيقاتي.. 29فصل سومنوسازی داده در پايگاه پردازش تحليلي3-1- انتخاب و بارگذاري داده ها از منابع داده به پايگاه پردازش تحليلي.. 363-1-1- بارگذاري داده هاي بايگاني شده قديمي.. 373-1-2- بارگذاري داده هاي بايگاني شده اي که در محيط هاي عملياتي قرار دارند. 383-1-3- نوسازی داده پايگاه پردازش تحليلي.. 393-1-3-1- يافتن تغييرات عملياتي.. 393-1-3-2- استفاده از نوار ثبت وقايع:423-1-3-3- اهداف عمليات کامپيوتري.. 423-1-3-4- خواندن نوار ثبت وقايع.. 433-1-3-5- فوائد استفاده ازنوار ثبت وقايع.. 453-1-3-6- فرکانس نوسازی داده. 463-1-4- روشهاي مختلف استخراج تغييرات.. 473-2- پاکسازي داده در پايگاه پردازش تحليلي.. 473-2-1- مسائل پاکسازي داده. 493-2-1-1- مسائل تک منبعه. 503-2-1-2- مسائل چند منبعه. 533-2-2- روشهاي پاکسازي داده. 553-2-2-1- آناليز داده. 563-2-2-2- تعريف تغيير داده. 583-2-2-3- تحليل تناقض.... 593-2-2-4- پشتيباني ابزار. 613-2-3- خلاصه نتايج پاکسازي.. 613-3- بهنگام سازي پايگاه پردازش تحليلي برخط.. 623-3-1- افزونگي عمودي MVNL. 653-3-1-1- چند نسخه اي.. 653-3-1-2- اصلاح طرح ارتباطات.. 673-3-1-3- اصلاح بهنگام ساز. 683-3-1-4- اصلاح خواندن.. 703-3-1-5- جمع آوري داده هاي نادرست... 713-3-1-6- مديريت نسخه ها713-3-2- افزونگي عمودي در برابر افزونگي افقي.. 723-3-2-1- افزونگي افقي 2VNL. 733-3-2-2- افزونگي افقيn-VNL. 753-3-2-3- مقايسات.. 763-3-3- آزمايشات.. 793-4- مدلسازي نوسازی داده در پايگاه پردازش تحليلي بصورت جريانی کاري.. 793-4-1- فرايند نوسازی داده در چرخه حيات پايگاه پردازش تحليلي.. 793-4-2- فرايند نوسازی داده به عنوان جريان کاري.. 823-4-2-1- جريان کاري فرايند نوسازی داده. 823-4-2-2- تعريف سناريوهاي نوسازي.. 873-4-3- مفهوم فرايند نوسازی داده. 903-4-4- کيفيت در فرايند نوسازی داده. 913-4-4-1- آناليز کيفيت براي نوسازی داده. 923-5- خلاصه و نتايج.. 95فصل چهارمطراحي و پياده سازي نوسازی داده در پايگاه پردازش تحليلي4-1-تعريف محيط عملياتی.. 974-1-1- جدول اشخاص... 984-1-2- جدول قرارداد. 984-1-3- جدول تعهدات.. 994-1-4- جدول خسارات.. 994-2- پايگاه پردازش تحليلي براي پايگاه داده مورد نظر. 1004-2-1- بعد زمان.. 1014-2-2- بعد شخص.... 1014-2-3- بعد قرارداد. 1024-2-4- بعد تعهدات.. 1024-3- پر کردن پايگاه داده. 1044-4- بارگذاری اوليه اطلاعات از پايگاه داده به پايگاه پردازش تحليلي.. 1054-5- مشاهده و ثبت تغييرات ايجادشده در پايگاه داده. 1064-6- پروتکل ارائه شده به منظور نوسازی داده در پايگاه پردازش تحليلي.. 1084-7- خلاصه و نتايج.. 113فصل پنجممقايسه روشهای ارائه شده به منظور نوسازی داده5-1- برنامه ارائه شده به منظور انجام مقايسات.. 1155-2- انجام آزمايشات با استفاده از برنامه ارائه شده و ارائه نتايج.. 1165-2-1- برنامه هايي که بايد هميشه بروز باشند. 1165-2-2- برنامه هايي که در زمانهای خاصی گزارش گيری می شوند. 1195-2-2-1- زمان.. 1195-2-2-2-حجم.. 1215-2-2-3- درخواست... 1235-2-2-4- بطور برخط.. 1265-2-3- برنامه هايي که در آنها تغييرات بسيار کند است... 1275-2-3-1- زمان.. 1275-2-3-2-حجم.. 1295-2-3-3- درخواست... 1315-2-3-4- بطور برخط.. 1345-2-3-5- زمان يا حجم.. 1355-3- خلاصه و نتايج.. 136خلاصه و نتايجپيشنهادات برای ادامه کار. 138ضمائمضميمه 1: پر کردن جدول Person_Table. 141ضميمه 2: پر کردن جدول Damage_Table. 143ضميمه 3: پر کردن جدول Commitment_Table. 144ضميمه 4: بارگذاری اوليه بعد قرارداد. 145ضميمه 5: بارگذاری اوليه بعد تعهدات.. 145ضميمه 6: بارگذاری اوليه بعد شخص.... 146ضميمه 7: بارگذاری اوليه جدول حقايق.. 148ضميمه 8: کد ارائه شده به منظور نوسازی داده در روش زمانی.. 153ضميمه 9: کد ارائه شده به منظور انجام مقايسات.. 172ضميمه 10: فهرست معادل کلمات انگليسي به ترتيب حروف فارسی.. 208ضميمه 11: فهرست معادل کلمات انگليسي به ترتيب حروف انگليسي.. 210فهرست منابع.. 212 فهرست شکل هافصل اولمعرفي پايگاه پردازش تحليليشکل 1-1 : يک نمونه مدل چند بعدی.. 13شکل 1-2: پارامتر تحليلي مجموع گروه ذخيره شده در روز. 15شکل 1-3: فعاليتهای لازم جهت ساخت پايگاه پردازش تحليلي.. 16فصل دوممسائل تحقيقاتي در پايگاه پردازش تحليليشکل 2-1 : معماري کلي پايگاه پردازش تحليلي.. 22شکل2-2 : معماري دقيق پايگاه پردازش تحليلي.. 24فصل سومنوسازی داده در پايگاه پردازش تحليليشکل 3-1 : محيط رايج پايگاه پردازش تحليلي.. 33شکل 3-2 : فرايند نوسازی داده پايگاه پردازش تحليلي.. 35شکل 3-3:بارگذاری داده از محيط های قبلی.. 36شکل 3-4: بارگذاری اوليه پايگاه پردازش تحليلي.. 37شکل 3-5: بارگذاری اوليه داده فعال از محيط عملياتي.. 38شکل 3-6: نوسازی داده در پايگاه پردازش تحليلي.. 39شکل 3-7: خواندن پايگاه داده عملياتی و جستجوی تغييرات.. 40شکل 3-8: خواندن تعداد زيادی رکورد برای يافتن تغييرات کم.. 40شکل 3-9: لزوم فعال بودن پايگاه داده. 41شکل 3-10: انجام پردازش در محيط کامپيوترهاي بزرگ پر هزينه است... 41شکل 3-11: استفاده از نوار ثبت وقايع.. 42شکل 3-12: راههای استفاده کارا از نوار ثبت وقايع.. 43شکل 3-13: برخي از موانع در خواندن از نوار ثبت وقايع.. 44شکل3-14: استفاده از واسطه براي خواندن ومديريت نوار ثبت وقايع.. 45شکل 3-15: نوار ثبت وقايع به عنوان منبعي براي نوسازی داده. 45شکل 3-16: پردازشهای انجام شده بر روی داده های نوار ثبت وقايع پيش از ارسال بمنظور نوسازی داده 46شکل 3-17: قدمهاي ساخت پايگاه پردازش تحليلي:فرايند ETL.. 48شکل 3-18: دسته بندي مسائل کيفيت داده در منابع داده. 50جدول 1: مثال براي مسائل تک منبعه در سطح کل طرح (نقض محدوديت هاي جامعيت)51جدول 2 : مثال براي مسائل تک منبعه در سطح نمونه هاي قبول شده. 52شکل 3-19: مثالهاي مسائل چندمنبعه در سطوح کل طرح و نمونه هاي قبول شده. 54جدول 3 : مثالهايي براي استفاده از فراداده به منظور آدرس دهي مسائل کيفيت داده. 57شکل 3-20 مثالي از تعريف قدمهاي تغيير. 58شکل 3-21: چرخه حيات يک رکورد. 66جدول 4 : نگاشت عمليات بهنگام سازي منطقي به فيزيکي.. 68شکل 3-22 : اجراي غير همزمان: الگوريتم هاي برون خطي.. 77شکل 3-23 :اجراي همزمان: 2VNL.. 77شکل 3-24 : اجراي همزمان: MVNL.. 78شکل 3-26: مثال اول سناريوي نوسازی داده. 88شکل 3-27: مثال دوم سناريوي نوسازی داده. 89فصل چهارمطراحي و پياده سازي نوسازی داده در پايگاه پردازش تحليليشکل 4-1: جدول شخص (Person_Table)98شکل4-2: جدول رابطه (Relation_Table)98شکل 4-3: جدول قرارداد (Contract_Table)99شکل 4-4: جدول تعهدات (Commitment_Table)99شکل 4-5: جدول نوع تعهد (Commitment_Type_Table)99شکل 4-6: جدول خسارت (Damage_Table)99شکل 4-7: دياگرام ارتباطي پايگاه داده. 100شکل 4-8 : جدول حقيقت (Insurance_Fact)100شکل 4-11 : بعد قرارداد (Contract_Dimension)102شکل 4-12 : بعد تعهد (Commitment_Dimension)103شکل 4-13: دياگرام ارتباطي ستاره شکل.. 103شکل 4-14 : پارامتر تحليلي مربوط به ماه. 104شکل 4-15 : پارامتر تحليلي مربوط به سال.. 104شکل 4-16: جدول ثبت تغييرات خسارت (Damage_Table_Monitor)106شکل 4-17: جدول ثبت تغييرات قرارداد(Contract_Table_Monitor)106شکل 4-18: جدول ثبت تغييرات تعهدات(Commitment_Table_Monitor)107شکل 4-19: جدول ثبت تغييرات اطلاعات اشخاص(Person_Table_Monitor)107فصل پنجممقايسه روشهای ارائه شده به منظور نوسازی دادهشکل 5-1: برنامه نوشته شده به منظور ارزيابی.. 116شکل 5-2: زمان صرف شده برای نوسازی داده در برنامه های بروز (تغييرات هر يک دقيقه)117شکل 5-3: تعداد رکوردهايي که نوسازی داده شده اند در برنامه های بروز (تغييرات هر يک دقيقه)117شکل 5-4: زمان صرف شده به منظور نوسازی داده در گزارش گيري در برنامه های بروز (تغييرات هر يک دقيقه)117شکل 5-5: زمان صرف شده برای نوسازی داده در برنامه های بروز (تغييرات هر 15 دقيقه)118شکل 5-6: تعداد رکوردهايي که نوسازی داده شده اند در برنامه های بروز (تغييرات هر 15 دقيقه)118شکل 5-7: زمان صرف شده به منظور نوسازی داده در گزارش گيري در برنامه های بروز (تغييرات هر 15 دقيقه)118شکل 5-8: زمان صرف شده برای نوسازی داده (برنامه هاييکه در زمانهای خاصی گزارش گيري میشوند, روش زمان, نوسازی داده هر 18 دقيقه)119شکل 5-9: تعداد رکوردهايي که نوسازی داده شده اند(برنامه هاييکه در زمانهای خاصی گزارش گيري می شوند, روش زمان, نوسازی داده هر 18 دقيقه)119شکل 5-10: زمان صرف شده به منظور نوسازی داده در گزارش گيري.. 120شکل 5-11: زمان صرف شده برای نوسازی داده(برنامه هاييکه در زمانهای خاصی گزارش گيري میشوند, روش زمان, نوسازی داده هر 5 دقيقه)120شکل 5-12: تعداد رکوردهايي که نوسازی داده شده اند(برنامه هاييکه در زمانهای خاصی گزارش گيري میشوند, روش زمان, نوسازی داده هر 5 دقيقه)120شکل 5-13: زمان صرف شده به منظور نوسازی داده در گزارش گيري(برنامه هاييکه در زمانهای خاصی گزارش گيري می شوند, روش زمان, نوسازی داده هر 5 دقيقه)121شکل 5-14: زمان صرف شده برای نوسازی داده(برنامه هاييکه در زمانهای خاصی گزارش گيري می شوند, روش حجم, هر 5 رکورد)121شکل 5-15: تعداد رکوردهايي که نوسازی داده شده اند(برنامه هاييکه در زمانهای خاصی گزارش گيري می شوند, روش حجم, هر 5 رکورد)122شکل 5-16: زمان صرف شده به منظور نوسازی داده در گزارش گيري(برنامه هاييکه در زمانهای خاصی گزارش گيري می شوند, روش حجم, هر 5 رکورد)122شکل 5-17: زمان صرف شده برای نوسازی داده(برنامه هاييکه در زمانهای خاصی گزارش گيري می شوند, روش حجم, هر 9 رکورد)122شکل 5-18: تعداد رکوردهايي که نوسازی داده شده اند (برنامه هاييکه در زمانهای خاصی گزارش گيري می شوند, روش حجم, هر 9 رکورد)123شکل 5-19: زمان صرف شده به منظور نوسازی داده در گزارش گيري (برنامه هاييکه در زمانهای خاصی گزارش گيري می شوند, روش حجم, هر 9 رکورد)123شکل 5-20: زمان صرف شده برای نوسازی داده (برنامه هاييکه در زمانهای خاصی گزارش گيري می شوند, روش درخواست, درخواست هر 18 دقيقه)1245-21: تعداد رکوردهايي که نوسازی داده شده اند (برنامه هاييکه در زمانهای خاصی گزارش گيري می شوند, روش درخواست, درخواست هر 18 دقيقه)124شکل 5-22: زمان صرف شده به منظور نوسازی داده در گزارش گيري (برنامه هاييکه در زمانهای خاصی گزارش گيري می شوند, روش درخواست, درخواست هر 18 دقيقه)124شکل 5-23: زمان صرف شده برای نوسازی داده (برنامه هاييکه در زمانهای خاصی گزارش گيري می شوند, روش درخواست, درخواست هر 5 دقيقه)125شکل 5-24: تعداد رکوردهايي که نوسازی داده شده اند (برنامه هاييکه در زمانهای خاصی گزارش گيري می شوند, روش درخواست, درخواست هر 5 دقيقه)125شکل 5-25: زمان صرف شده به منظور نوسازی داده در گزارش گيري (برنامه هاييکه در زمانهای خاصی گزارش گيري می شوند, روش درخواست, درخواست هر 5 دقيقه)125شکل 5-26: زمان صرف شده برای نوسازی داده (برنامه هاييکه در زمانهای خاصی گزارش گيري می شوند, روش برخط)126شکل 5-27: تعداد رکوردهايي که نوسازی داده شده اند (برنامه هاييکه در زمانهای خاصی گزارش گيري می شوند, روش برخط)126شکل 5-28: زمان صرف شده به منظور نوسازی داده در گزارش گيري (برنامه هاييکه در زمانهای خاصی گزارش گيري می شوند, روش برخط)126شکل 5-29: زمان صرف شده برای نوسازی داده (برنامه هاييکه تغييراتشان کند است, روش زمان, نوسازی داده هر 17 دقيقه)127شکل 5-30: تعداد رکوردهايي که نوسازی داده شده اند (برنامه هاييکه تغييراتشان کند است, روش زمان, نوسازی داده هر 17 دقيقه)127شکل 5-31: زمان صرف شده به منظور نوسازی داده در گزارش گيري (برنامه هاييکه تغييراتشان کند است, روش زمان, نوسازی داده هر 17 دقيقه)128شکل 5-32: زمان صرف شده برای نوسازی داده (برنامه هاييکه تغييراتشان کند است, روش زمان, نوسازی داده هر 31 دقيقه)128شکل 5-33: تعداد رکوردهايي که نوسازی داده شده اند (برنامه هاييکه تغييراتشان کند است, روش زمان, نوسازی داده هر 31 دقيقه)128شکل 5-34: زمان صرف شده به منظور نوسازی داده در گزارش گيري (برنامه هاييکه تغييراتشان کند است, روش زمان, نوسازی داده هر 31 دقيقه)129شکل 5-35: زمان صرف شده برای نوسازی داده (برنامه هاييکه تغييراتشان کند است, روش حجم, نوسازی داده هر 2 رکورد)129شکل 5-36: تعداد رکوردهايي که نوسازی داده شده اند (برنامه هاييکه تغييراتشان کند است, روش حجم, نوسازی داده هر 2 رکورد)130شکل 5-37: زمان صرف شده به منظور نوسازی داده در گزارش گيري (برنامه هاييکه تغييراتشان کند است, روش حجم, نوسازی داده هر 2 رکورد)130شکل 5-38: زمان صرف شده برای نوسازی داده (برنامه هاييکه تغييراتشان کند است, روش حجم, نوسازی داده هر 6 رکورد)130شکل 5-39: تعداد رکوردهايي که نوسازی داده شده اند (برنامه هاييکه تغييراتشان کنداست, روش حجم, نوسازی داده هر 6 رکورد)131شکل 5-40: زمان صرف شده به منظور نوسازی داده در گزارش گيري (برنامه هاييکه تغييراتشان کند است, روش حجم, نوسازی داده هر 6 رکورد)131شکل 5-41: زمان صرف شده برای نوسازی داده (برنامه هاييکه تغييراتشان کند است, روش درخواست, نوسازی داده هر 17 دقيقه)132شکل 5-42: تعداد رکوردهايي که نوسازی داده شده اند (برنامه هاييکه تغييراتشان کند است, روش درخواست, نوسازی داده هر 17 دقيقه)132شکل 5-43: زمان صرف شده به منظور نوسازی داده در گزارش گيري (برنامه هاييکه تغييراتشان کند است, روش درخواست, نوسازی داده هر 17 دقيقه)132شکل 5-44: زمان صرف شده برای نوسازی داده (برنامه هاييکه تغييراتشان کند است, روش درخواست, نوسازی داده هر 31 دقيقه)133شکل 5-45: تعداد رکوردهايي که نوسازی داده شده اند (برنامه هاييکه تغييراتشان کند است, روش درخواست, نوسازی داده هر 31 دقيقه)133شکل 5-46: زمان صرف شده به منظور نوسازی داده در گزارش گيري (برنامه هاييکه تغييراتشان کند است, روش درخواست, نوسازی داده هر 31 دقيقه)133شکل 5-47: زمان صرف شده برای نوسازی داده(برنامه هاييکه تغييراتشان کند است, روش برخط)134شکل 5-48: تعداد رکوردهايي که نوسازی داده شده اند (برنامه هاييکه تغييراتشان کند است, روش برخط)134شکل 5-49: زمان صرف شده به منظور نوسازی داده در گزارش گيري(برنامه هاييکه تغييراتشان کند است, روش برخط) می بينيم اين روش از تمام روشها نتيجه بهتری ارائه مي دهد.135شکل 5-50: زمان صرف شده برای نوسازی داده (برنامه هاييکه تغييراتشان کند است, روش زمان و حجم, نوسازی داده هر 25 دقيقه يا پس از تغيير هر دو رکورد)135شکل 5-51: تعداد رکوردهايي که نوسازی داده شده اند (برنامه هاييکه تغييراتشان کند است, روش زمان و حجم, نوسازی داده هر 25 دقيقه يا پس از تغيير هر دو رکورد)136شکل 5-52: زمان صرف شده به منظور نوسازی داده در گزارش گيري (برنامه هاييکه تغييراتشان کند است, روش زمان و حجم, نوسازی داده هر 25 دقيقه يا پس از تغيير هر دو رکورد)136