به عنوان یک نتیجه مستقیم از قضیه۱-۲، واریانس و اریبی شرطی مجانبی برآوردگر پارامتر مفصل، را تعیین می­کنیم.
نتیجه۱-۱: فرض کنید، شرایط قضیه۱-۲، برقرار باشد آن­گاه:
می­توان از نتیجه۱-۱، برای تقریب زدن واریانس و اریبی برآورد پارامتر مفصل استفاده کرد. کمیت در عبارت واریانس را می­توان به صورت زیر تقریب زد:

به­ طوری­که چگالی مربوط به خانواده مفصل مورد نظر است. تقریب فاصله اطمینان برای پارامتر مفصل عبارت است از:
که و اریبی و واریانس برآورد شده در (۱-۹) و (۱-۱۰) هستند و چندک -ام توزیع نرمال استاندارد است. در عمل، برآورد اریبی از طریق مشتقات نامعلوم مراتب بالاتر می ­تواند مشکل باشد. متناوباً، وقتی در حدود اطمینان بالا تغییرپذیری زیاد باشد، ممکن است برای پایین آوردن اریبی در سطوح ناچیز از پهنای باند کوچکتری استفاده کنیم.
در عمل، ممکن است برآورد توزیع­های کناری شرطی روی استنباط پارامتر مفصل تاثیر گذارد. اگر بتوان توزیع­های کناری را به اندازه کافی با یک مدل پارامتری مشخص کرد، نرخ همگرایی در مقایسه با نرخ همگرایی ناپارامتری ناچیز است، بنابرابن، تغییرپذیری اضافی به واسطه برآورد حاشیه­های شرطی را می­توان نادیده گرفت.
درحالتی­که توزیع­های کناری شرطی به صورت ناپارامتری برآورد می­شوند، نرخ همگرایی به همان ترتیبی است که برای برآوردگر مفصل است. بنابراین مشکل است که به صورت تحلیلی دو منبع عدم حتمیت را در یک شیوه مشترک، ارزیابی کنیم. در عمل، یک روش مناسب برای جادادن عدم حتمیت از برآورد ناپارامتری حاشیه­ها، خودگردان­ساز کردن داده ­های خام و محاسبه چندک بر پایه فاصله اطمینان خودگردان است. غیرمنتظره نیست که، بواسطه عدم حتمیت در حاشیه­های ناپارامتری حدود خودگردان­ساز پهن­تر از مجانبی استفاده شده (۱-۱۱) باشد. بنابراین در صورت نبود مدل کناری پارامتری مناسب، استفاده از روش خودگردان­ساز خام پیشنهاد می­ شود.

۱-۶ مونت کارلوی زنجیر مارکوفی (MCMC)

روش­های مونت کارلوی زنجیر مارکوفی، یک سری الگوریتم برای نمونه گیری از توزیع­های احتمال پیچیده دلخواه هستند که از طریق اجرای یک زنجیر مارکوف تولیدشده مناسب برای زمانی طولانی، انجام می­ شود. الگوریتم­های مونت کارلوی زنجیر مارکوفی معمولاً برای تعیین انتگرال­های با بعد بزرگ به کار می­روند (در استنباط بسامد­گرا، معمولاً، برای محاسبه امیدریاضی و در استنباط بیزی برای نمونه گیری از توزیع پسین). برای اولین بار، متروپلیس و همکاران (۱۹۵۳)، نمونه گیری مونت کارلوی زنجیر مارکوفی را معرفی کردند و بعداً توسط هستینگس (۱۹۷۰) تعییم داده شد. ایده اصلی مونت کارلوی زنجیر مارکوفی، توسط بروکس (۱۹۹۸) به صورت زیر ارائه شد:
برای نمونه گیری از توزیع پیچیده که ، نمونه گیری مستقیم از آن مشکل است. یک روش، ساختن یک زنجیر مارکوف نامتناوب و تحویل­ناپذیر با تکیه­گاه و توزیع ایستای است. بنابراین، اجرای زنجیر به اندازه کافی بزرگ، مقادیری از زنجیر را که وابسته به نمونه گیری از توزیع هدف است، را تولید خواهد کرد و می­توان در مورد استنباط کرد.
در زیر، تعریف انتگرال مونت کارلو و الگوریتم­های مختلف مونت کارلوی زنجیر مارکوفی برای تعیین آن، بیان شده است.

۱-۶-۱ انتگرال مونت کارلو

فرض کنید، محاسبه انتگرال پیچیده زیر مورد نظر باشد:
اگر بتوان را به صورت ضرب تابع و تابع چگالی احتمال با انتگرال روی نوشت، آن­گاه داریم:
بنابراین، انتگرال را می­توان به­عنوان امیدریاضی روی چگالی بیان کرد. اگر متغیرهای تصادفی ، …، با چگالی باشند، آن­گاه:
انتگرال مونت کارلو را می­توان برای تقریب توزیع­های پسین مورد نیاز در تحلیل بیزی به کار برد. انتگرال را در نظر بگیرید این انتگرال با رابطه زیر تقریب زده شود:
به طوری که، از چگالی گرفته شده است. برآورد خطای استاندارد مونت کارلو عبارت است از:

۱-۶-۲ نمونه گیری نقاط مهم

فرض کنید چگالی ، چگالی دلخواه را تقریب بزند، آن­گاه
این روابط پایه­ای برای روش نمونه گیری نقاط مهم به صورت زیر است:
که در آن ، از توزیع گرفته شده است. به عنوان مثال، چگالی کناری تابع ، که ، به صورت زیر تقریب زده می­ شود:

که در آن ، از چگالی تقریبی گرفته شده است.

رابطه دیگری که برای نمونه گیری نقاط مهم تعریف شده است، به شکل زیر است:

که در آن و ، از چگالی تقریبی گرفته شده است. این رابطه دارای واریانس مونت کارلو، به صورت زیر است:

۱-۶-۳ زنجیرهای مارکوف

فرض کنید مقدار متغیر تصادفی در زمان و فضای وضعیت، دامنه مقادیر ممکن باشد. متغیر تصادفی را دارای خاصیت مارکوف گویند اگر احتمالات انتقال بین مقادیر مختلف در فضای وضعیت، تنها وابسته به وضعیت اخیر متغیر تصادفی باشد، یعنی:
بنابراین برای پیش ­بینی آینده متغیر تصادفی مارکوف، تنها اطلاع در مورد وضعیت اخیر آن مورد نیاز است و اطلاع از وضعیت­های قبلی، احتمال انتقال را تغییر نمی­دهد. زنجیر مارکوف دنباله­ای از متغیرهای تصادفی تولید شده از فرایند مارکوف است. یک زنجیر خاص که با احتمالات انتقالش (یا هسته انتقالش) تعریف می­ شود، است که آن احتمالی است که، فرایند در فضای وضعیت در یک گام از به وضعیت انتقال یابد، یعنی

فرض کنید

که در آن، نشان­دهنده احتمال این­که زنجیر در زمان در وضعیت است، می­باشد و بردار سطری احتمالات فضای وضعیت در گام را نشان می­دهد. زنجیر با بردار شروع می­ شود. بر اساس شروع فرایند در وضعیت خاصی، عناصر جز یک عنصر که ۱ است مابقی ۰ هستند.

احتمالی که زنجیر برای وضعیت در زمان (یا گام) دارد از معادله چپمن-کلوموگروف که جمع روی وضعیت خاص در گام اخیر است، حاصل می­ شود و احتمال انتقالی که در وضعیت قرار می­گیرد عبارت است از:

می­توان معادلات چپمن کلوموگروف را به صورت ماتریسی نوشت. ماتریس احتمال انتقال به عنوان ماتریسی که عنصر -ام آن است، تعریف می­ شود. مجموع سطرها یک می­ شود ( مثلاً )، بنابراین معادله چپمن کلوموگروف عبارت است از:

با بهره گرفتن از شکل ماتریسی، معادله چپمن کلوموگروف با سرعت بیشتری تکرار می­ شود، یعنی
با ادامه این کار داریم:
با تعریف احتمال انتقال گام -ام به عنوان احتمالی که فرایند در گام از وضعیت به وضعیت انتقال می­یابد، یعنی
آن­گاه ، عنصر ، ام، است.
زنجیر مارکوف را تحویل ناپذیر (ارگودیک) گویند هرگاه به ازای هر و ، باشد. بنابراین همه وضعیت­ها با هم در ارتباط هستند. هم­چنین، زنجیر را نامتناوب گویند هرگاه تعداد گام­های مورد نیاز برای حرکت بین دو وضعیت ضریبی از چند عدد نباشد. به عبارت دیگر، زنجیری است که بین وضعیت­های مشخص طول چرخه ثابتی ندارد.
توزیع ایستا به صورت زیر تعریف می­ شود:
به عبارت دیگر، ، مقدار ویژه سمت چپ را به مقدار ویژه ، مرتبط می­ کند. شرط توزیع ایستا این است که زنجیر تحویل­ناپذیر و نامتناوب باشد. وقتی زنجیر متناوب باشد، می ­تواند بین وضعیت­ها بچرخد و بنابراین در یک توزیع ایستا قرار نمی­گیرد.
شرط کافی برای توزیع ایستای یکتا این است که، معادله تعادل زیر برقرار باشد:
یا به طور معادل
اگر معادله بالا به ازای هر و برقرار باشد، زنجیر مارکوف را برگشت­پذیر گویند و بنابراین این معادله را شرط برگشت­پذیری می­نامند. این شرط بیان می­ کند که ، به عنوان مثال عنصر -ام عبارت است از:
زنجیر مارکوف وضعیت گسسته می ­تواند با داشتن هسته احتمال برای تولید فرایند مارکوف زمان پیوسته به کار رود، که در آن
و بسط حالت پیوسته­ی معادله چپمن کلوموگروف به صورت زیر می­ شود:
در معادله تعادل، توزیع ایستا در رابطه زیر صدق می­ کند:

۱-۶-۴ الگوریتم متروپلیس هستینگس

فرض کنید هدف نمونه گیری از توزیع باشد، به طوری که و ثابت نامعلومی است که محاسبه آن مشکل می­باشد. الگوریتم متروپلیس، دنباله­ای از این توزیع را به صورت زیر تولید می­ کند: