چکیدهدر مدلهای رگرسیونی، معمولا برای برآورد پارامترها از دو روش، حداقل مربعات خطا و یا روش ماکزییم درستنمایی ،MLE، استفاده می شود. در این پایان نامه هدف، برآورد پارامتر در مدلهای رگرسیونی است که شامل دادههای سانسور شده تصادفی از راست و همچنین، علاوه بر خطای مدل، متغیر مستقل در این مدل نیز همراه با خطا میباشد. در این تحقیق، برای برآورد پارامتر از تعمیم این دو روش استفاده میشود.Koul و همکارانش در سال 1980 مدلهای رگرسیونی با دادههای سانسور شده تصادفی از راست را ارائه کردند، وبرآوردگر پارامترها را نیز بهدست آوردند. تعمیمها و اصلاحات این روش نیز مورد مطالعه قرار گرفته است.و همچنین Liu و Xue در سال 2008 مدلهای رگرسیونی با خطا در متغیرهای پیشبینی کننده را ارائه دادند و برآوردگر پارامتر مجهول آن را در حالت مجانبی بدست آوردند.و در این پایان نامه ابتدا مدل رگرسیونی با خطای اندازهگیری با وجود دادههای سانسور شده را معرفی میشود و سپس دو روش برای برآورد پارامترهای این مدل و ساخت نواحی اطمینان ارائه و با بیان مثالی این دو روش را با هم مقایسه میگردد.کلید واژه. مدلهای رگرسیون خطی، دادههای سانسور شده، مدلهای رگرسیونی با خطای اندازهگیری (EV)، نرمال تجربی، درستنمایی تجربی. فهرست مطالبعنوان صفحهفصل اول:تعاریف و مقدمات اولیه1.1 مدل خطی....................................................................................................................................................................... 12.1 انواع برآوردگرهای استوار.............................................................................................................................................. 51.2.1 برآورد M................................................................................................................................................................... 53.1 آنالیز بقا............................................................................................................................................................................ 61.3.1 برآوردگر کاپلان مایر............................................................................................................................................... 72.3.1سانسور....................................................................................................................................................................... 94.1 مدل رگرسیون خطی با خطای اندازهگیری........................................................................................................... 14فصل دوم : دادهای سانسور شده از راست و مدل های رگرسیونی1.2 مقدمه و تاریخچه......................................................................................................................................................... 212.2 برآوردگرSusarla _Van Ryzin_ Koul..................................................................................................... 221.2.2 مزایایی و معایب برآوردگر KSV..................................................................................................................... 243.2 اصلاحات و تعمیم های برآوردگر KSV................................................................................................................ 251.3.2 تبدیل های دیگر................................................................................................................................................... 252.3.2 اصلاحات برآوردگر KSV.................................................................................................................................. 261.2.3.2 طبقه بندی...................................................................................................................................................... 262.2.3.2 برآورد M......................................................................................................................................................... 274.2 تحلیل باقیمانده........................................................................................................................................................... 295.2 مثال................................................................................................................................................................................ 30فصل سوم : برآورد مدل مدل های خطی خطا با داده های سانسور شده1.3 مقدمه............................................................................................................................................................................. 372.3 . مدل رگرسیون خطی با دادههای سانسور شده با وجود خطا در متغیرهای مستقل................................. 401.2.3 اصلاح روش حداقل مربعات................................................................................................................................ 412.2.3 روش درستنمایی تجربی وساخت فاصله اطمینان......................................................................................... 454.3 اثبات قضایا.................................................................................................................................................................... 50 فصل چهارم :مطالعات شبیه سازی1.4 حالت یک بعدی.............................................................................................................................................................. 6پیوستبرآوردگر کاپلان مایر با وجود دادههای سانسور شده................................................................................................... 66نسبت لگاریتم درستنمایی تجربی.................................................................................................................................... 67معرفی نمادهای و ................................................................................................................................ 70واژه نامهواژه نامه انگلیسی-فارسی................................................................................................................................................... 72وژه نامه فارسی-انگلیسی.................................................................................................................................................... 77مراجع........................................................................................................................................................................................ 82فهرست جداولعنوان صفحهجدول شماره 2.1: مجموع مربعات باقیمانده................................................................................................................... 31جدول شماره 2.2: مجموع مربعات باقیمانده.................................................................................................................. 34جدول شماره 3.2: ضرائب برآورد شده (برای مدل کامل)........................................................................................... 35جدول شماره 1.3: متوسط طول و احتمالات پوشش فواصل اطمینان روش NA برای .................................. 62جدول شماره 1.3: متوسط طول و احتمالات پوشش فواصل اطمینان روش AEL برای ............................... 63فهرست شکلها عنوان صفحهشکل شماره 1.2: نمودار باقیمانده ها برای داده های پیوند قلب استانفورد، برازش درجه دوم............................ 20شکل شماره 2.2: نمودار باقیمانده ها برای داده های پیوند قلب استانفورد، برازش خطی................................... 21فصل اول:مقدماتدر این فصل تعاریف و مقدمات اولیه برای مدلهای خطی، مدلهای خطی با خطای اندازهگیری، برآوردگرهای استوار بهویژه برآورد M، آنالیز بقا، برآوردگر کاپلان مایر، دادههای سانسورشده و انواع سانسور ارائه میشود.1-1- مدل خطییکی از کاربردیترین روشها برای تحلیل دادهها در بین ابزارهای آماری، تحلیل رگرسیونی است. تحلیل رگرسیونی،روشی کارآمد برای بررسی و مدلسازی ارتباط بین متغیرها است که از این مدل های رگرسیونی در توصیف دادهها، برآورد پارامترهای مجهول، پیشگویی و کنترل استفاده می شود.در بیشتر موارد، پاسخ یک آزمایش به چندین متغیر مستقل مثلا k متغیر مستقل، وابسته است. در این صورت یک مدل خطی رابطهای به صورت زیر را در نظر میگیرد:که n اندازه نمونه میباشد. متغیرهای را متغیرهای توضیحی و متغیر تصادفی قابل مشاهده y را متغیر پاسخ مینامند.متغیر تصادفی غیرقابل مشاهده متغیر خطا تلقی میشود، بدین معنی که به عنوان متغیری تصادفی، انداره ناتوانی مدل در برازش دقیق دادهها را اندازهگیری میکند. این خطا ممکن است به دلیل عدم حضور برخی از متغیرهای مؤثر، خطاهای تصافی مربوط به مشاهدات و اندازهگیریها و غیره صورت پذیرد.همچنین فرض میشود که خطاها دارای توزیع نرمال با میانگین صفر و واریانس نامعلوم و ناهمبسته باشند.پارامترهای و مجهول هستند و باید با استفاده از دادهها برآورد شوند. فرض میشوددادهها عبارتند از که در آن پاسخ متناظر با k سطح از متغیرهای مستقل است. یعنی بنابر معادله (1.1.1) میتوان نوشت:آنگاه هدف ما به دست آوردن برآوردهای برای به ترتیب به نامهای و در نتیجه به دست آوردن رابطه زیر است.که در آن نشان دهنده مقدار برآورد شده y به ازای مقادیر است. در این صورت معادله (3.1.1) به عنوان معادله پیش بینی کننده میتواند مورد استفاده قرار گیرد.معمولترین روش در برآورد پارامترهای یک مدل خطی، استفاده از روش "کمترین مربعات معمول (OLS)" است که روشی بسیار سودمند و کارا است.پایه و اساس روش کمترین مربعات به Gaussو Legendreباز میگردد. این روش (و تعمیمهای آن ) به دلیل راحتی محاسبات و جوابهای بسته مبتنی برآن مورد توجه بسیاری از آماردانان است.برآوردهای را به گونهای برمیگزینیم که مجموع توان دوم انحرافها را کمینه کند، یعنی آنها را به گونهای به دست میآوریم که در معادله زیر هنگامی که به ترتیب جایگزین میشوند، کمترین مقدار ممکن را تولید کنند.برآوردهای با مشتق گرفتن از معادله (4.1.1) نسبت به و مساوی صفر قرار دادن آنها به دست میآیند. ملاحظه میشود که برای حل این معادله های نرمال بهتر است که از روش ماتریسی استفاده شود. می توان رابطه (1.1.1) را به فرم ماتریسی زیرر در نظر گرفت.بطوریکه .فرم ماتریسی را میتوان بصورت زیر نوشت.این مدل را یک مدل خطی گویند، زیرا نسبت به پارامترهای مدل، خطی است.در این مدل خطی Yیک ماتریس ، X یک ماتریس ، یک ماتریس و یک ماتریس هستند.آنگاه میتوان معادلههای نرمال را به صورت زیر نوشت:زیرا چون یک ماتریس است در نتیجه با ترانهاده خود برابر است پس:و خواهیم داشت:با مشتق گرفتن از رابطه (7.1.1) نسبت به بردار و جایگزین کردن به جای و مساوی صفر قرار دادن آن، معادلههای نرمال (6.1.1) به دست میآیند.ماتریسهای و عبارتند از:با فرض معکوسپذیر بودن ماتریس داریم:که در این صورت معادله پیش بینی کننده عبارت است از:که در آن داریم:اما زمانی که داده پرت داشته باشیم روش کمترین مربعات معمولی جوابگو نیست، به همین دلیل به معرفی برآوردگرهای استوار می پردازیم.1-2- انواع برآوردگرهای استوار:برآوردگرهای استوار برآوردهایی هستند که با استفاده از آنها میتوان حساسیت روش حداقل مربعات را نسبت به وجود دادههای پرت کاهش داد.برای این منظور روش کمیزیر را معرفی میکنیم:میتوان را توسط تابع دیگری مانند جایگزین کرد. و با کمینه کردن به برآوردگری استوار دست یافت. برآوردهای ، برآوردهای M و برآوردهای GM با این روش حاصل میشوند. که در این پایان نامه فقط به معرفی برآورد M میپردازیم.تذکر. جایگزین کردن مجموع یا میانگین با کمیتهای استوار نظیر آنها مانند میانه یا میانگین پیراسته است. بر این اساس، روشهایی تحت عنوان LMS (کمترین میانه مربعات) یا LTS (کمترین میانگین پیراسته مربعات) معرفی شدهاند.1-2-1- برآوردMمیتوان در رابطه ی به جای توابع دیگری مانند را قرار داد و برآوردهای پارامترها را بهگونهای یافت که کمیت زیر حاصل شود.که یک تابع حقیقی با ویژگیهای زیر است:الف.ب. تابع متقارن است.ج. تابع پیوسته است.د. اگر آنگاه است.ه. فرض کنید باشد، آنگاه است.و. اگر و ، آنگاه است.تذکر.میباشد.1-3- مدل رگرسیون خطی با خطای اندازهگیریتجزیه و تحلیل مدل رگرسیونی، هنگامی که برخی متغیرها را نتوان دقیقا مشاهده یا اندازهگیری نمود، از مدتها پیش به عنوان یک مسئله مهم در برخی از بخشهای کاربردی آمار شناخته شده است.مشکل عمده در این مدلها عدم وجود برآوردهای مناسب (نااریب و ساگار)، برای پارامترهای مدل میباشد و تحقیقات بیشتر در این زمینه بر مبنای اضافه نمودن فرضهای مناسب و بدست آوردن برآوردهای مناسب میباشد.اگر بخواهیم رابطه میان دو متغیر را بررسی نمائیم، روش معمول استفاده از یک مدل رگرسیونی است. برای قابل شناسایی بودن مدل، لازم است فرضیاتی در نظربگیریم، و اگر هر یک از این فرضیات برقرار نباشد نتایج حاصله اعتبار نخواهند داشت. از جمله فرضهای هر مدل رگرسیونی عدم وابستگی بین متغیرهای خطا و متغیرهای مستقل مدل میباشد. تحت این فرض، بهراحتی و با استفاده از روشهای موجود ، میتوان مدل را کاملا تجزیه و تحلیل و پارامترهای آن را برآورد نمود.اما در بسیاری از مواقع این فرض برقرار نبوده و بین متغیرهای خطا و متغیرهای مستقل وابستگی وجود دارد. این مشکل زمانی به وجود میآید که متغیر مستقل را فقط با خطا بتوان مشاهده نمود. در این صورت در مدل یک متغیر خطای دیگر نیز ظاهر میشود. این مدلها را مدلهای رگرسیونی با خطا در متغیرها مینامند.مهمترین مشکل این مدلها این است که از روشهای از قبیل حداقل مربعات و ماکزیمم درستنمایی مستقیما نمیتوان استفاده نمود و برآوردهای مناسب برای مدل وجود نخواهند داشت، مگر آنکه فرضیاتی بر مدل اضافه شود. اما در عمل بسیاری از این فرضیات کاربردی ندارند. اما بهرحال روشهای مختلفی برای تجزیه و تحلیل این مدلها موجود میباشد. برخی فقط جنبه تئوری دارند و برخی دیگر از جنبه عملی کاربردهای بسیاری دارند.مدل رگرسیونی زیر را در نظر بگیرید:در این مدل مقادیر غیر قابل مشاهده و مقادیر قابل مشاهده میباشند. همچنین پارامترهای مدل، متغیرهای تصادفی خطا که دارای توزیع مستقل با میانگین صفر و واریانس میباشند. متغیر قابل مشاهده را متغیر آشکار و متغیر غیر قابل مشاهده را متغیر پنهان می نامند.تذکر. زمانی که خطای اندازهگیری نداشته باشیم، مدل رگرسیونی تبدیل به مدل رگرسیون خطی معمول میشود، در این صورت با برابر است.برای روشن شدن مطلب مثالی را ارائه میدهیم:در این مثال رابطه بین میزان محصول ذرت و میزان نیتروژن موجود در خاک را در نظر میگیریم. فرض کنید که رابطه بین تولید ذرت و میزان نیتروژن به صورت یک مدل رگرسیون خطی معمولی است، ، میزان نیتروژن خاک، ، میزان محصول ذرت و ضریب نشان دهنده رابطه بین این دو میباشد. به عبارتی با افزایش میزان نیتروژن موجود در خاک میزان تولید محصول هم بالا میرود. برای برآورد میزان نیتروژن، نمونهای از خاک برای انجام آزمایش و تحلیلهای آزمایشگاهی انتخاب میشود. میزان نیتروژن مشاهده شده برآوردی از میباشد که با نشان میدهیم و که خطای اندازهگیری به وسیله نمونهگیری و تحلیلهای آزمایشگاهی میباشد.در این مدل ها ممکن است متغیرهای تصادفی و یا مقادیر ثابت باشند. اگر ها متغیرهای تصادفی باشند. مدل را ساختاری و اگر مقادیر ثابت باشند، مدل را تابعی مینامیم (برای اطلاعات بیشتر به Fuller در سال 1987 مراجعه شود).در مدل رگرسیون خطی معمولی برآوردگر پارامتر به صورت زیر به دست میآید:
برآوردیابی پارامترهای یک مدل خطی برای داده های سانسورشده word
چکیدهدر مدلهای رگرسیونی، معمولا برای برآورد پارامترها از دو روش، حداقل مربعات خطا و یا روش ماکزییم درستنمایی ،MLE، استفاده می شود. در این پایان نامه هدف، برآورد پارامتر در مدلهای رگرسیونی است که شامل دادههای سانسور شده تصادفی از راست و همچنین، علاوه بر خطای مدل، متغیر مستقل در این مدل نیز همراه با خطا میباشد. در این تحقیق، برای برآورد پارامتر از تعمیم این دو روش استفاده میشود.Koul و همکارانش در سال 1980 مدلهای رگرسیونی با دادههای سانسور شده تصادفی از راست را ارائه کردند، وبرآوردگر پارامترها را نیز بهدست آوردند. تعمیمها و اصلاحات این روش نیز مورد مطالعه قرار گرفته است.و همچنین Liu و Xue در سال 2008 مدلهای رگرسیونی با خطا در متغیرهای پیشبینی کننده را ارائه دادند و برآوردگر پارامتر مجهول آن را در حالت مجانبی بدست آوردند.و در این پایان نامه ابتدا مدل رگرسیونی با خطای اندازهگیری با وجود دادههای سانسور شده را معرفی میشود و سپس دو روش برای برآورد پارامترهای این مدل و ساخت نواحی اطمینان ارائه و با بیان مثالی این دو روش را با هم مقایسه میگردد.کلید واژه. مدلهای رگرسیون خطی، دادههای سانسور شده، مدلهای رگرسیونی با خطای اندازهگیری (EV)، نرمال تجربی، درستنمایی تجربی. فهرست مطالبعنوان صفحهفصل اول:تعاریف و مقدمات اولیه1.1 مدل خطی....................................................................................................................................................................... 12.1 انواع برآوردگرهای استوار.............................................................................................................................................. 51.2.1 برآورد M................................................................................................................................................................... 53.1 آنالیز بقا............................................................................................................................................................................ 61.3.1 برآوردگر کاپلان مایر............................................................................................................................................... 72.3.1سانسور....................................................................................................................................................................... 94.1 مدل رگرسیون خطی با خطای اندازهگیری........................................................................................................... 14فصل دوم : دادهای سانسور شده از راست و مدل های رگرسیونی1.2 مقدمه و تاریخچه......................................................................................................................................................... 212.2 برآوردگرSusarla _Van Ryzin_ Koul..................................................................................................... 221.2.2 مزایایی و معایب برآوردگر KSV..................................................................................................................... 243.2 اصلاحات و تعمیم های برآوردگر KSV................................................................................................................ 251.3.2 تبدیل های دیگر................................................................................................................................................... 252.3.2 اصلاحات برآوردگر KSV.................................................................................................................................. 261.2.3.2 طبقه بندی...................................................................................................................................................... 262.2.3.2 برآورد M......................................................................................................................................................... 274.2 تحلیل باقیمانده........................................................................................................................................................... 295.2 مثال................................................................................................................................................................................ 30فصل سوم : برآورد مدل مدل های خطی خطا با داده های سانسور شده1.3 مقدمه............................................................................................................................................................................. 372.3 . مدل رگرسیون خطی با دادههای سانسور شده با وجود خطا در متغیرهای مستقل................................. 401.2.3 اصلاح روش حداقل مربعات................................................................................................................................ 412.2.3 روش درستنمایی تجربی وساخت فاصله اطمینان......................................................................................... 454.3 اثبات قضایا.................................................................................................................................................................... 50 فصل چهارم :مطالعات شبیه سازی1.4 حالت یک بعدی.............................................................................................................................................................. 6پیوستبرآوردگر کاپلان مایر با وجود دادههای سانسور شده................................................................................................... 66نسبت لگاریتم درستنمایی تجربی.................................................................................................................................... 67معرفی نمادهای و ................................................................................................................................ 70واژه نامهواژه نامه انگلیسی-فارسی................................................................................................................................................... 72وژه نامه فارسی-انگلیسی.................................................................................................................................................... 77مراجع........................................................................................................................................................................................ 82فهرست جداولعنوان صفحهجدول شماره 2.1: مجموع مربعات باقیمانده................................................................................................................... 31جدول شماره 2.2: مجموع مربعات باقیمانده.................................................................................................................. 34جدول شماره 3.2: ضرائب برآورد شده (برای مدل کامل)........................................................................................... 35جدول شماره 1.3: متوسط طول و احتمالات پوشش فواصل اطمینان روش NA برای .................................. 62جدول شماره 1.3: متوسط طول و احتمالات پوشش فواصل اطمینان روش AEL برای ............................... 63فهرست شکلها عنوان صفحهشکل شماره 1.2: نمودار باقیمانده ها برای داده های پیوند قلب استانفورد، برازش درجه دوم............................ 20شکل شماره 2.2: نمودار باقیمانده ها برای داده های پیوند قلب استانفورد، برازش خطی................................... 21فصل اول:مقدماتدر این فصل تعاریف و مقدمات اولیه برای مدلهای خطی، مدلهای خطی با خطای اندازهگیری، برآوردگرهای استوار بهویژه برآورد M، آنالیز بقا، برآوردگر کاپلان مایر، دادههای سانسورشده و انواع سانسور ارائه میشود.1-1- مدل خطییکی از کاربردیترین روشها برای تحلیل دادهها در بین ابزارهای آماری، تحلیل رگرسیونی است. تحلیل رگرسیونی،روشی کارآمد برای بررسی و مدلسازی ارتباط بین متغیرها است که از این مدل های رگرسیونی در توصیف دادهها، برآورد پارامترهای مجهول، پیشگویی و کنترل استفاده می شود.در بیشتر موارد، پاسخ یک آزمایش به چندین متغیر مستقل مثلا k متغیر مستقل، وابسته است. در این صورت یک مدل خطی رابطهای به صورت زیر را در نظر میگیرد:که n اندازه نمونه میباشد. متغیرهای را متغیرهای توضیحی و متغیر تصادفی قابل مشاهده y را متغیر پاسخ مینامند.متغیر تصادفی غیرقابل مشاهده متغیر خطا تلقی میشود، بدین معنی که به عنوان متغیری تصادفی، انداره ناتوانی مدل در برازش دقیق دادهها را اندازهگیری میکند. این خطا ممکن است به دلیل عدم حضور برخی از متغیرهای مؤثر، خطاهای تصافی مربوط به مشاهدات و اندازهگیریها و غیره صورت پذیرد.همچنین فرض میشود که خطاها دارای توزیع نرمال با میانگین صفر و واریانس نامعلوم و ناهمبسته باشند.پارامترهای و مجهول هستند و باید با استفاده از دادهها برآورد شوند. فرض میشوددادهها عبارتند از که در آن پاسخ متناظر با k سطح از متغیرهای مستقل است. یعنی بنابر معادله (1.1.1) میتوان نوشت:آنگاه هدف ما به دست آوردن برآوردهای برای به ترتیب به نامهای و در نتیجه به دست آوردن رابطه زیر است.که در آن نشان دهنده مقدار برآورد شده y به ازای مقادیر است. در این صورت معادله (3.1.1) به عنوان معادله پیش بینی کننده میتواند مورد استفاده قرار گیرد.معمولترین روش در برآورد پارامترهای یک مدل خطی، استفاده از روش "کمترین مربعات معمول (OLS)" است که روشی بسیار سودمند و کارا است.پایه و اساس روش کمترین مربعات به Gaussو Legendreباز میگردد. این روش (و تعمیمهای آن ) به دلیل راحتی محاسبات و جوابهای بسته مبتنی برآن مورد توجه بسیاری از آماردانان است.برآوردهای را به گونهای برمیگزینیم که مجموع توان دوم انحرافها را کمینه کند، یعنی آنها را به گونهای به دست میآوریم که در معادله زیر هنگامی که به ترتیب جایگزین میشوند، کمترین مقدار ممکن را تولید کنند.برآوردهای با مشتق گرفتن از معادله (4.1.1) نسبت به و مساوی صفر قرار دادن آنها به دست میآیند. ملاحظه میشود که برای حل این معادله های نرمال بهتر است که از روش ماتریسی استفاده شود. می توان رابطه (1.1.1) را به فرم ماتریسی زیرر در نظر گرفت.بطوریکه .فرم ماتریسی را میتوان بصورت زیر نوشت.این مدل را یک مدل خطی گویند، زیرا نسبت به پارامترهای مدل، خطی است.در این مدل خطی Yیک ماتریس ، X یک ماتریس ، یک ماتریس و یک ماتریس هستند.آنگاه میتوان معادلههای نرمال را به صورت زیر نوشت:زیرا چون یک ماتریس است در نتیجه با ترانهاده خود برابر است پس:و خواهیم داشت:با مشتق گرفتن از رابطه (7.1.1) نسبت به بردار و جایگزین کردن به جای و مساوی صفر قرار دادن آن، معادلههای نرمال (6.1.1) به دست میآیند.ماتریسهای و عبارتند از:با فرض معکوسپذیر بودن ماتریس داریم:که در این صورت معادله پیش بینی کننده عبارت است از:که در آن داریم:اما زمانی که داده پرت داشته باشیم روش کمترین مربعات معمولی جوابگو نیست، به همین دلیل به معرفی برآوردگرهای استوار می پردازیم.1-2- انواع برآوردگرهای استوار:برآوردگرهای استوار برآوردهایی هستند که با استفاده از آنها میتوان حساسیت روش حداقل مربعات را نسبت به وجود دادههای پرت کاهش داد.برای این منظور روش کمیزیر را معرفی میکنیم:میتوان را توسط تابع دیگری مانند جایگزین کرد. و با کمینه کردن به برآوردگری استوار دست یافت. برآوردهای ، برآوردهای M و برآوردهای GM با این روش حاصل میشوند. که در این پایان نامه فقط به معرفی برآورد M میپردازیم.تذکر. جایگزین کردن مجموع یا میانگین با کمیتهای استوار نظیر آنها مانند میانه یا میانگین پیراسته است. بر این اساس، روشهایی تحت عنوان LMS (کمترین میانه مربعات) یا LTS (کمترین میانگین پیراسته مربعات) معرفی شدهاند.1-2-1- برآوردMمیتوان در رابطه ی به جای توابع دیگری مانند را قرار داد و برآوردهای پارامترها را بهگونهای یافت که کمیت زیر حاصل شود.که یک تابع حقیقی با ویژگیهای زیر است:الف.ب. تابع متقارن است.ج. تابع پیوسته است.د. اگر آنگاه است.ه. فرض کنید باشد، آنگاه است.و. اگر و ، آنگاه است.تذکر.میباشد.1-3- مدل رگرسیون خطی با خطای اندازهگیریتجزیه و تحلیل مدل رگرسیونی، هنگامی که برخی متغیرها را نتوان دقیقا مشاهده یا اندازهگیری نمود، از مدتها پیش به عنوان یک مسئله مهم در برخی از بخشهای کاربردی آمار شناخته شده است.مشکل عمده در این مدلها عدم وجود برآوردهای مناسب (نااریب و ساگار)، برای پارامترهای مدل میباشد و تحقیقات بیشتر در این زمینه بر مبنای اضافه نمودن فرضهای مناسب و بدست آوردن برآوردهای مناسب میباشد.اگر بخواهیم رابطه میان دو متغیر را بررسی نمائیم، روش معمول استفاده از یک مدل رگرسیونی است. برای قابل شناسایی بودن مدل، لازم است فرضیاتی در نظربگیریم، و اگر هر یک از این فرضیات برقرار نباشد نتایج حاصله اعتبار نخواهند داشت. از جمله فرضهای هر مدل رگرسیونی عدم وابستگی بین متغیرهای خطا و متغیرهای مستقل مدل میباشد. تحت این فرض، بهراحتی و با استفاده از روشهای موجود ، میتوان مدل را کاملا تجزیه و تحلیل و پارامترهای آن را برآورد نمود.اما در بسیاری از مواقع این فرض برقرار نبوده و بین متغیرهای خطا و متغیرهای مستقل وابستگی وجود دارد. این مشکل زمانی به وجود میآید که متغیر مستقل را فقط با خطا بتوان مشاهده نمود. در این صورت در مدل یک متغیر خطای دیگر نیز ظاهر میشود. این مدلها را مدلهای رگرسیونی با خطا در متغیرها مینامند.مهمترین مشکل این مدلها این است که از روشهای از قبیل حداقل مربعات و ماکزیمم درستنمایی مستقیما نمیتوان استفاده نمود و برآوردهای مناسب برای مدل وجود نخواهند داشت، مگر آنکه فرضیاتی بر مدل اضافه شود. اما در عمل بسیاری از این فرضیات کاربردی ندارند. اما بهرحال روشهای مختلفی برای تجزیه و تحلیل این مدلها موجود میباشد. برخی فقط جنبه تئوری دارند و برخی دیگر از جنبه عملی کاربردهای بسیاری دارند.مدل رگرسیونی زیر را در نظر بگیرید:در این مدل مقادیر غیر قابل مشاهده و مقادیر قابل مشاهده میباشند. همچنین پارامترهای مدل، متغیرهای تصادفی خطا که دارای توزیع مستقل با میانگین صفر و واریانس میباشند. متغیر قابل مشاهده را متغیر آشکار و متغیر غیر قابل مشاهده را متغیر پنهان می نامند.تذکر. زمانی که خطای اندازهگیری نداشته باشیم، مدل رگرسیونی تبدیل به مدل رگرسیون خطی معمول میشود، در این صورت با برابر است.برای روشن شدن مطلب مثالی را ارائه میدهیم:در این مثال رابطه بین میزان محصول ذرت و میزان نیتروژن موجود در خاک را در نظر میگیریم. فرض کنید که رابطه بین تولید ذرت و میزان نیتروژن به صورت یک مدل رگرسیون خطی معمولی است، ، میزان نیتروژن خاک، ، میزان محصول ذرت و ضریب نشان دهنده رابطه بین این دو میباشد. به عبارتی با افزایش میزان نیتروژن موجود در خاک میزان تولید محصول هم بالا میرود. برای برآورد میزان نیتروژن، نمونهای از خاک برای انجام آزمایش و تحلیلهای آزمایشگاهی انتخاب میشود. میزان نیتروژن مشاهده شده برآوردی از میباشد که با نشان میدهیم و که خطای اندازهگیری به وسیله نمونهگیری و تحلیلهای آزمایشگاهی میباشد.در این مدل ها ممکن است متغیرهای تصادفی و یا مقادیر ثابت باشند. اگر ها متغیرهای تصادفی باشند. مدل را ساختاری و اگر مقادیر ثابت باشند، مدل را تابعی مینامیم (برای اطلاعات بیشتر به Fuller در سال 1987 مراجعه شود).در مدل رگرسیون خطی معمولی برآوردگر پارامتر به صورت زیر به دست میآید: