متغیرهای تصادفی گسسته چگونه محاسبه می شوند؟
امید ریاضی
متغیر تصادفی گسسته، حالت قابل شمارش فرض کنید"X"یک متغیر تصادفی گسسته‌ای باشد که مقادیر "x", "x", … به ترتیب با احتمالات، "p", "p", … را در خود می‌گیرد. پس مقدار مورد انتظار این متغیر تصادفی جمع متناهی زیر می‌باشد:
امید ریاضی شرطی
در نظر داشته باشید که برای متغیر های تصادفی مستقل، formula_26. که از این می‌توان نتیجه گرفت که formula_27. آزمایش برنولی
فرایند برنولی یک فرایند تصادفی با زمان گسسته شامل دنباله‌ای شمارا یا ناشمار از متغیرهای تصادفی با احتمال‌های مستقل از هم می‌باشد. متغیرهایی مثل "... ,X", "X", "X" بطوری که: شبیه‌سازی رویداد گسسته
شبیه‌سازی، نیاز به تولید متغیرهای تصادفی از انواع مختلف، بسته به مدل سیستم دارد. واین با یک یا چند انجام می‌شود. استفاده از اعداد شبه تصادفی در مقابل به اعداد تصادفی واقعی یک فایده‌است که باید یک شبیه‌ساز بتواند دقیقاً با همان رفتار دوباره اجرا کند. یکی از مشکلات با توزیع تصادفی اعداد مورد استفاده در شبیه‌سازی رویداد گسسته این است که توزیع‌های ثابت از زمان رویداد ممکن نیست در ابتدا شناخته شوند. در نتیجه، مجموعه اولیه از رویدادهای قرار داده شده در مجموعه رویداد انتظار، نمایشگر زمان‌های ورودی توزیع حالت پایدار ندارند. این مشکل به‌طور معمول با خود راه اندازی (bootstrapping) مدل شبیه‌سازی، حل شده‌است. فقط یک تلاش محدودی برای تعیین زمان‌های واقع بینانه به مجموعه‌ای اولیه از رویدادهای در انتظار ساخته شده‌است. این رویدادها، با این حال، رویدادهای دیگری را زمان‌بندی می‌کند و با گذشت زمان، توزیع زمان رویدادها به موقعیت ثابتشان نزدیک می‌شوند. واین خود راه اندازی مدل شبیه‌سازی شده نامیده شده‌است. در جمع‌آوری آمار از مدل در حال اجرا، مهم است که رویدادهای مورد توجه قرار گرفته نشده که قبل از حالت پایدار رخ می‌دهد به نتیجه رسیده‌است یا برای اجرای شبیه‌سازی را برای به اندازه کافی طولانی است که وضعیت خود راه انداز توسط وضعیت ثابت پوشانده می‌شود. (استفاده ازاصطلاح خود راه انداز را می‌تواند با استفاده در هر دو آمار و محاسبات مقایسه شود) متغیر تصادفی
یک مثال برای حالت مختلط این است که سکه را برتاب کنیم و در صورت این مه نتیجه شیر بود دیسک را بجرخانیم اگر نتیجه خط بود X=-۱ و اگر شید بود X برابر با زاویه با شمال است در این صورت احتمال X=-۱ برابر ۰٫۵ خواهد بود و احتمال حالت پیوسته را نیز با توجه به مثال قبل می‌توان حساب کرد (چگالی احتمال برابر ۱/۷۲۰ است). متغیر تصادفی مستقل
formula_4 الگوریتم امید ریاضی–بیشینه کردن
اگر formula_25 ، formula_26 داده مستقل از یک توزیع مخلوط گاوسی با بُعد formula_2 باشد و formula_28 متغیرهای پنهانِ مسئله باشد که نشان می‌دهد هر بار داده از کدام یک از توزیع‌های گاوسی آمده است، آنگاه رابطه formula_29 با formula_30 به این شکل خواهد بود (برای سادگی کار تعداد توزیع‌های مخلوط گاوسی دو در نظر گرفته شده): متغیر تصادفی
formula_22. تئوری کارانن-لوف
اگر فرایند گاوسی باشد آنگاه متغیرهای تصادفی Z گاوسی هستند ومستقل آماری هستند. این نتیجه تبدیل "Karhunen–Loève "را عمومیت می‌بخشد. یک مثال مهم از یک فرایند متمرکز در بازهٔ فرایند وینر است.قضیه. را یک فرایند تصادفی با میانگین صفر و انتگرال پذیر برای مربع آن در فضای احتمال و نمایه آن در بازهٔ بستهٔ ["a", "b"] با تابع کوواریانس پیوستهٔ در نظر می‌گیریم. امید ریاضی شرطی
اگر و دو متغیر تصادفی گسسته باشند، آنگاه امید ریاضی شرطی به شرط به صورت زیر محاسبه می‌شود: متغیرهای تصادفی شاخص
که formula_10بیانگر S-A، یعنی متمم A است. اگر چه استفاده از متغیرهای تصادفی شاخص برای کاربدی مانند شمردن تعداد شیرهایی مورد انتظار در یک پرتاب سکه واحد ممکن است عملی افراط‌آمیز به نظر برسد، اما برای تحلیل وضعیت‌هایی که در آن‌ها آزمایش‌های تصادفی تکراری را انجام می‌دهیم مفید می‌باشند. برای روشن تر کردن این مطلب، می‌توانیم formula_11 را متغیر تصادفی شاخص مربوط به پیشامدی در نظر بگیریم که در آن، iامین پرتاب شیر می‌آید. formula_12را متغیر تصادفی که نتیجه iامین پرتاب را نشان می‌دهد در نظر می‌گیریم، داریم formula_13. فرض می‌کنیم X متغیر تصادفی باشد که تعداد کل شیرها در n پرتاب سکه را نشان می‌دهد، لذا می‌خواهیم تعداد مورد انتظار شیرها را محاسبه کنیم، لذا از هر دو طرف معادله بالا انتظار (امید ریاضی) می‌گیریم، داریم گسسته‌سازی
در ریاضیات، گسسته‌سازی روند انتقال توابع پیوسته، مدل‌ها، متغیرها و معادلات به جایگزین‌هایی در ریاضیات گسسته است. این فرایند معمولاً به عنوان اولین گام در راستای مناسب سازی آن‌ها برای ارزیابی عددی و پیاده‌سازی بر روی رایانه‌های دیجیتال، می‌باشد. دوگانگی موردی خاص از گسسته‌سازی است که در آن تعداد کلاس‌های گسسته ۲ می‌باشد، که می‌تواند یک متغیر پیوسته را به عنوان یک متغیر باینری تخمین بزند. (با ایجاد یک دوگانگی برای اهداف مدل سازی، مشابه طبقه‌بندی دودویی). مدل‌سازی گزینه
طراحی یک مدل گزینه یا آزمایش انتخاب گسسته (DCD) معمولاً از این گام‌ها پیروی می‌کند: Yatchew و Griliches ابتدا ثابت کردند که میانگین ها و واریانس ها در مدل های محدود متغیر وابسته (جایی که متغیر وابسته، هر یک از مجموعه های گسسته مقادیر را به جای یک مداوم مانند رگرسیون خطی معمولی می گیرد) ، اشتباه گرفته شده است. این محدودیت به دلایل زیر در مدل انتخاب حاد می شود: یک بتا بزرگ تخمینی از مدل رگرسیون MNL یا هر مدل انتخاب دیگر می تواند به این معنی باشد: این پیامدهای قابل توجهی در تفسیر خروجی مدل رگرسیون دارد. تمام برنامه های آماری با تنظیم برابر واریانس مساوی با یک ثابت، واریانس میانگین را حل می کنند. در واقع ، تمام ضرایب بتا برآورد شده ، یک بتا تخمین زده شده در یک لامبدا تخمین زده شده (عملکرد معکوس واریانس) است. این تحلیلگر را وسوسه می کند تا مسئله را نادیده بگیرد. در حقیقت، یک بتا تخمین زده شده در یک لامبدا تخمین زده شده (عملکرد معکوس واریانس) ضرب می شود. این تحلیلگر را وسوسه می کند تا مسئله را نادیده بگیرد. با این حال او باید بررسی کند که آیا مجموعه ای از ضرایب بتا بزرگ، منعکس کننده ترجیحات قوی (بتا واقعی بزرگ) یا ثبات در انتخاب ها (یک لامبدا واقعی بزرگ) یا ترکیبی از این دو است. تقسیم تمام تخمین ها به یکدیگر- معمولاً متغیر قیمت - اصطلاح اشتباه گرفته شده لامبدا را از عدد و مخرج لغو می کند.  این مشکل با سود اضافی که اقتصاددانان با تمایل پاسخ دهندگان برای پرداخت هر سطح از ویژگی ها فراهم می کنند، حل می شود. با این حال ، یافته های برآورد شده در "فضای مطلوب" با آنچه در "تمایل به پرداخت فضا" تخمین زده شده مطابقت ندارد. نشان می دهد که مشکل سردرگمی با این "ترفند" حل نشده است: واریانس ها ممکن است ویژگی خاص باشند یا برخی از عملکردهای دیگر متغیرها (که این اختلاف را توضیح می دهد). این موضوع تحقیقات فعلی در این زمینه است. در مقابل روشهای مشترک مبتنی بر رتبه بندی سنتی عمده مشکلات سوالات رتبه بندی که با مدلهای انتخابی رخ نمی دهد، عبارتند از: بدون اطلاعات داد و ستد. خطری که در رتبه بندی وجود دارد این است که پاسخ دهندگان تمایل ندارند بین ویژگی های "خوب" درک شده تفاوت قائل شوند و همه آنها را به عنوان امر جذاب ارزیابی می کنند. مقیاس های مختلف شخصی افراد مختلف مقیاس 1 تا 5 را با یک 2 متفاوت ارزیابی می کنند. تجمع فرکانسهای هر یک از مقیاسها مبنای نظری ندارد. هیچ اقدام نسبی چگونه یک تحلیلگر چیزی را که دارای درجه 1 است با چیزی که دارای درجه 2 است مقایسه می کند؟ آیا یکی دو برابر دیگری خوب است؟ باز هم هیچ روش نظری برای جمع آوری داده ها وجود ندارد. امید ریاضی
متغیر تصادفی گسسته، حالت متناهی فرض کنید که متغیر تصادفی "formula_4" بتواند مقدار "formula_37" با احتمال "formula_38"، مقدار "formula_39" با احتمال "formula_40"، و غیره تا مقدار "formula_41" با احتمال "formula_42" را بگیرد. پس امید انی متغیر تصادفی "formula_4" به صورت زیر تعریف می‌شود: توزیع احتمال
واریانس در محاسبات آماری، یک معیار برای سنجش میزان پراکندگی داده‌ها نسبت به میانگین داده‌هاست. ما در این مباحث، امیدریاضی را مشابه میانگین در نظر گرفتیم و به این ترتیب واریانس را چنین تعریف می‌کنیم: formula_38 حکم بسیار مهمی که در محاسبات بسیار راه‌گشاست و از تعریف بالا نتیجه می‌شود به قرار زیر است: formula_39 در این‌جا مقصود از formula_40 این است که مقدارهای متغیر تصادفی را به توان ۲ برسانیم. مثلاً برای محاسبهٔ واریانس متغیر تصادفی تعداد فرزندان دختر در یک خانواده با دو فرزند (که در بخش‌های قبل توزیع احتمال و امیدریاضی آن به دست آمد)، باید به این ترتیب عمل کنیم:formula_41 واریانس مجموع چند متغیر تصادفی مستقل را می‌توان برحسب واریانس تک‌تک این متغیرها حساب کرد: formula_42 تأکید می‌کنیم که این حکم فقط در صورتی قابل استفاده است که متغیرها "مستقل" باشند. متغیر تصادفی
متغیرهای تصادفی که با اعداد حقیقی مقداردهی می‌شوند، در علوم برای پیش‌بینی براساس داده‌های بدست آمده از آزمایش‌های علمی استفاده می‌شوند. علاوه بر کاربردهای علمی، متغیرهای تصادفی برای آنالیز بازی‌های قمار و پدیده‌های تصادفی به وجود آمدند. در چنین مواردی تابعی که خروجی را به یک عدد حقیقی می‌نگارد معمولاً یک تابع همانی یا به‌طور مشابه یک تابع بدیهی است و به‌طور صریح توصیف نشده‌است. با این وجود در بسیاری از موارد بهتر است متغیر تصادفی را به صورت توابعی از سایر متغیرهای تصادفی در نظر بگیریم که دراینصورت تابع نگاشت استفاده شده در تعریف یک متغیر تصادفی مهم می‌شود. به عنوان مثال، توان دو یک متغیر تصادفی با توزیع استاندارد (نرمال) خود یک متغیر تصادفی با توزیع کی دو است. شهود این مطلب بدین صورت است که تصور کنید اعداد تصادفی بسیاری با توزیع نرمال تولید کرده و هرکدام را به توان دو برسانیم و سپس هیستوگرام داده‌های بدست آمده را بکشیم در اینصورت اگر داده‌ها به تعداد کافی باشند، نمودار هیستوگرام تابع چگالی توزیع کی دو را با یک درجه آزادی تقریب خواهد زد. امید ریاضی
برای هر کدام از متغیرهای تصادفی "X"و "Y" (که باید در همان فضای احتمال تعریف شوند) و هر عدد formula_14و formula_15نتیجهٔ بالا در نظر گرفته می‌شود. امید ریاضی مکرر امید ریاضی برای متغیرهای تصادفی گسسته برای هر کدام از متغیرهای تصافی گسستهٔ "X", "Y" ما ممکن است امید ریاضی شرطی را تعریف کنیم: تولیدکننده شماره تصادفی سخت‌افزار
یکی دیگر از پدیده‌های بدنی متغیر که اندازه‌گیری آن آسان است، رانش ساعت است. روش‌های مختلفی برای اندازه‌گیری و استفاده از رانش ساعت به عنوان منبع تصادفی وجود دارد. توزیع هندسی
همچنین می‌توان ثابت کرد اگر یک متغیر تصادفی گسسته بی حافظه باشد، هندسی است. (عکس قضیه) متغیر تصادفی
متغیر تصادفی فوق هندسی: اگر در جامعه‌ای به حجم K ,N نفر دارای یک ویژگی بخصوص باشند و از این جامعه یک نمونه به حجم n انتخاب کنیم در صورتی که تعداد اعضای نمونه که دارای آن ویژگی هستند را با x نشان دهیم آنگاه x یک متغیر تصادفی است که متغیر تصادفی فوق هندسی نامیده می‌شود. مثال: ۲۵٪ پنالتی‌های یک بازیکن بسکتبال وارد سبد نمی‌شود احتمال اولین پنالتی داخل سبد پس از ۶پرتاب. الگوریتم‌های تصادفی
برای آن که بتوانیم متوسط هزینه استخدام را تخمین بزنیم فرض می‌کنیم داوطلبان به صورت رندوم می‌آیند. این به این معناست که ما گویی قبل از ورود داوطلبان جایگاه هر کدام از نظر خوب تر بودن را به ترتیب می‌دانیم و هرروز به صورت رندوم از میان این n نفر یکی را انتخاب می‌کنیم.(می دانیم که این انتخاب ما به صورت رندوم یک انتخاب خوب است) برای محاسبهٔ هزینه میانگین با این توضیحات از ایدهٔ متغیر تصادفی استفاده می‌کنیم. اقتصادسنجی
مهمترین نکته در مورد formula_10 تصادفی بودن آن است. با توجه به تعریفی که از formula_10 ارائه شد، بدیهی است که این فرض قابل قبول است و خلاف آن را نمی‌توان تصور نمود. formula_10 یک متغیر تصادفی است و مثل همه متغیرهای تصادفی دارای یک تابع توزیع احتمال و در نتیجه میانگین و واریانس (و بقیه گشتاورها) است. سؤال مهمی که می‌توان مطرح کرد این است که خصوصیات آماری و شکل تابع توزیع احتمال متغیر تصادفی formula_10 چیست؟ پاسخ به این سؤال فروض کلاسیک نامیده می‌شود. فروض کلاسیک عبارتند از: متغیرهای تصادفی تعویض پذیر
مجموعه‌ای از متغیرهای تصادفی که IID متغیرهای تصادفی مستقل با توزیع یکسان مشروط بر فرض دانستن اطلاعات توزیع، تعویض پذیر هستند. این نتیجه مستقیماً از تعریف دنبالهٔ تعویض پذیر بر اساس توزیع مشترک بدست می‌آید. یا به عبارت دیگر می‌توان یک دنبالهٔ تعویض پذیر را معادل با یک دنبالهٔ IID مشروط به ساختار توزیعی آن‌ها تعریف کرد. توجه باید کرد که این مسئله تنها در مورد دنباله با طول بی‌نهایت صادق است. توزیع حاشیه‌ای
برای متغیرهای تصادفی پیوسته داریم: مدل‌سازی گزینه
انتخاب گسسته توزیع لوی
در اینجا formula_35 متغیرهای تصادفی مستقلی هستند که همگی از توزیع استاندارد لِوی متابعت می‌کنند، در اینجا formula_36.نمونه‌های تصادفی از توزیع لِوی می‌تواند از طریق روش تبدیل معکوس ایجاد شود. با فرض اینکه متغیر تصادفی formula_51 از یک توزیع یکنواخت در فاصله واحد formula_52 گرفته شده باشد، آنگاه توزیع متغیر formula_53 که در پایین تعریف شده‌است لِوی خواهد بود: متغیر تصادفی
formula_21 متغیر تصادفی
به عنوان یک مثال برای حالت پیوسته یک دیسک گردان که با چرخش خود می‌تواند جهتی را در افق مشخص کند در نظر بگیرید می‌توانیم جهت را با شمال و شمال شرق و … نشان دهیم اما متداول‌تر است که جهات را به اعداد حقیقی نسبت دهیم. برای این کار فرض می‌کنیم که نتیجه آزمایش را با زاویه‌ای که با سمت شمال می‌سازد توصیف کنیم در این صورت متغیر تصادفی می‌تواند مقادیر بازه (۰٬۳۶۰] را بگیرد. در این حالت اگر X را به عنوان متغیر تصادفی برابر با زاویه با شمال قرار دهیم احتمال وقوع هر X حقیقی برابر ۰ خواهد بود اما احتمال انتخاب شدن یک بازه مقداری بزرگتر از صفر خواهد بود برای مثال احتمال این که X در بازه [۰٬۱۸۰] قرار داشته باشد برابر ۰٫۵ است. در این حالت به جای استفاده از تابع جرمی احتمال از تابع چگالی احتمال استفاده می‌کنیم و می‌گوییم که چگالی احتمال X برابر ۱/۳۶۰ است و احتمال قرار گرفتن X در بازه‌ای به طول L برابر L/۳۶۰ است در حالت کلی برای حساب کردن احتمال قرار گرفتن X در یک بازه باید از تابع چگالی احتمال روی آن بازه انتگرال بگیریم. الگوریتم متروپلیس-هیستینگز
برای استفاده از روش گیبز باید formula_13را محاسبه کنیم. اگرچه این توزیع برای مدل‌های گرافی گسسته قابل بدست آوردن است؛ اما برای مدل‌های گرافی پیوسته به راحتی قابل محاسبه نیست. محدودیت مهمتری که در این روش وجود دارد این است که زنجیرهٔ گیبز تنها حرکات محدودی در فضای دامنهٔ متغییرهای تصادفی توزیع انجام می‌دهد. در این روش هر بار تنها یک متغیر تغییر می‌کند. در مدل‌هایی که متغییرهای آن به شدت به هم وابسته هستند، چنین تغییری منجر به این خواهد شد که از حالت‌هایی که احتمال بالایی برای وقوع دارند به حالت‌هایی منتقل شویم که احتمال بسیار پایینی برای وقوع دارند. در این صورت حالت‌های با احتمال بالا بیشتر نمونه‌های تولید شده را دربر خواهندگرفت و این موضوع باعث می‌شود زنجیره به سختی بتواند از آن نمونه‌ها فاصله بگیرد که به معنی سرعت پایین همگرایی آن به توزیع اصلی خواهد بود. در این صورت ما معمولاً روش‌هایی را ترجیح می‌دهیم که حرکات آن‌ها برد بیشتری داشته باشد و در نتیجه اجازهٔ حرکت بیشتری در فضای دامنهٔ توزیع احتمالی به ما بدهد. الگوریتم متروپلیس-هیستینگز یکی از این راه‌کارها می‌باشد. فرایند برنولی
فرایند برنولی در آمار و احتمال فرایند برنولی یک دنباله متناهی یا نامتناهی از متغیرهای تصادفی دودویی است. این فرایند، یک فرایند تصادفی گسسته در زمان است که فقط دو مقدار را می‌گیرد (به صورت متعارف صفر و یک). متغیرهای برنولی formula_1 دارای توزیع یکسان و مستقل از هم هستند. در واقع این فرایند را می‌توان به صورت پرتاب‌های متوالی سکه تعبیر کرد که امکان دارد سکه عادل نباشد (احتمال رو آمدن و پشت آمدنش برابر نیست) اما میزان عدم توازن احتمال در طول زمان ثابت است. هر متغیر تصادفی formula_1 در این دنباله متناظر است با یک آزمایش برنولی. تمامی این پرتاب‌ها دارای توزیع برنولی هستند. بیشتر آنچه را که دربارهٔ فرایند برنولی گفته می‌شود می‌توان به آزمایشی با بیش از 2 پیشامد تعمیم داد (مانند پرتاب یک تاس شش وجهی) متغیر تصادفی
و pmf این متغیر به صورت زیر خواهد بود. تابع مولد گشتاور
در آمار و احتمال تابع مولد گشتاور(MGF) برای متغیر تصادفی X به صورت زیر تعریف می‌شود. متغیر تصادفی
تابع توزیع تجمعی متغیر تصادفی X به شکل زیر تعریف می‌شود. متغیر تصادفی
formula_23 توزیع حاشیه‌ای
برای توزیع احتمال‌های چند متغیره، همان فرمولی را به کار می‌گیریم که بالاتر از آن استفاده کردیم با این تفاوت که در این‌جا نمادهای X و/یا Y به عنوان بردار شناخته می‌شوند. به‌طور خاص می‌توان گفت که هر جمع یا انتگرال بر روی تمام متغیرها، بجز متغیرهایی که در X قرار دارند، اعمال می‌شود. یعنی، اگر "X","X",…,"X" متغیرهای تصادفی گسسته باشند، آنگاه تابع جرم احتمال حاشیه‌ای باید به شکل زیر تعریف شود: میانگین متحرک خودهمبسته یکپارچه
formula_4 که در آن formula_5اپراتور تاخیر و formula_6پارامترهای بخش خودگردان مدل هستند وformula_7 پارامترهای بخش میانگین متحرک هستند و formula_8بخش خطای مدل. ترم‌های خطا formula_8 به‌طور کلی فرض می‌شوند متغیرهای تصادفی با توزیع مستقل و یکسان هستند. متغیرهای تصادفی از توزیع‌های نرمال با میانگین صفر برداشته می‌شوند. فرض کنید که چندجمله‌ای formula_10 یک ریشه واحد از درجه "d" دارد. در اینصورت می‌توان نوشت: متغیر تصادفی
formula_8 تابع توزیع تجمعی
در مورد متغیرهای تصادفی با مقادیر گسسته این تعریف به صورت زیر است: متغیر ابزاری
زمانی که متغیرهای کمی برونزا باشند در این صورت می‌توانیم ویژگی‌های نمونه کوچک را می‌توان از تخمین زن OLS به‌طور مستقیم از طریق محاسبه گشتاورهای تخمین زن شرطی روی X به دست آوریم. زمانی که تعدادی از متغیرهای کمی برونزا هستند از تخمین متغیرهای ابزاری استفاده می‌شود وتفسیری که برای گشتاورها ی تخمینزن وجود دارد ساده نیست. به‌طور کلی تخمین زن متغیرهای ابزاری در صورتی که نمونه محدود نباشد دارای مجانب مطلوبی هستند که بر اساس تقریب مجانبی در توزیع نمونه‌گیری تخمین زن را به دست می‌آوریم. حتی زمانی که ابزارها با جزء خطا در معادله هدف همبستگی ندارند و ابزارها نیز ضعیف نیستند ممکن است خصوصیات تخمین زن متغیر ابزاری در یک نمونه کوچک ضعیف باشد. برای مثال اگر نمونه کوچک باشد در این صورت آرمون‌های آماری مربوط به نرمالیزه کردن با اختلال مواجه می‌شود وتخمین‌های به دست آمده با مقدار واقعی پارامترها متفاوت خواهد بود. متغیر تصادفی
formula_38 http://en.wikipedia.org/w/index.php?title=Random_variable&oldid=437209168 تابع چگالی احتمال
formula_16: می‌توان بعضی از متغیرهای تصادفی گسسته را نیز با استفاده از تابع چگالی احتمالی توصیف کرد. به‌طور مثال برای متغیر تصادفی که دو مقدار ۱ و -۱ را هر کدام با احتمال ۱/۲ می‌گیرد، می‌توان چگالی احتمال زیر را نسبت داد متغیر تصادفی
که "(x = g(y". تابع جرم احتمال
فرض کنیم ("X": "S" → "A" (A formula_1 R یک متغیر تصادفی گسسته تعریف شده در یک فضای نمونه "S" است. سپس تابع جرم احتمال [f": "A" → [0, 1" برای "X" اینگونه تعریف میشود: کوواریانس
اگر کواریانس دو متغیر تصادف صفر باشد آن دو متغیر ناهمبسته نامیده می‌شوند. اگر دو متغیر تصادفی formula_16 مستقل باشند آنگاه کواریانس آنها صفر است. این موضوع را می‌توان به این صورت نتیجه گرفت که چون formula_17 پسformula_18. عکس این موضوع صحیح نیست، به این معنا که ممکن است کواریانس دو متغیر تصادفی صفر باشد (formula_18) ولی الزاماً آن دو متغیر تصادفی مستقل از هم نباشند. امید ریاضی
یک نا تساوی مهم برای این موضوع نا تساوی جنسن است، که شامل مقدارهای مورد انتظار تابع‌های محدب می‌شود. استفاده‌ها و کاربردها مقدارهای مورد انتظار توان‌های "X"گشتاورهای "X"می‌نامند؛ گشتاورها نزدیک به میانگین "X" در واقع مقدارهای مورد انتظار توان‌های هستند. گشتاورهای بعضی از متغیرهای تصادفی می‌توانند برای تعیین توزیع‌هایشان از طریق تابع تولیدی گشتاوریشان استفاده شوند. برای تخمین تجربی مقدار مورد انتظار یک متغیر تصادفی، ما به‌طور پیوسته مشاهدات متغیر را اندازه‌گیری می‌کنیم و میانگین حسابی نتایج را محاسبه می‌کنیم. اگر مقدار مورد انتظار وجود دارد، این فرایند مقدار مورد انتظار حقیقی را با یک شیوهٔ غیر تعصبی و غیر طرفدارانه را تخمین می‌زند و ویژگی به حداقل رساندن مجموع مربع‌های باقی‌مانده‌ها دارد (جمع تفاضل‌های مربع بین مشاهدات و تخمین) قانون اعداد بزرگ نشان داد که تحت شرایط نسبتاً مناسب، هنگامیکه اندازهٔ نمونه بزرگتر می‌شود واریانس این تخمین کوچکتر می‌شود. این ویژگی در بسیار از مصارف استفاده می‌شود مانند: مسائل کلی تخمین آماری و آموزش ماشین، بریا تخمین مقدارهای (احتمالی) سود از طریق متود ها/روش‌های مونت کارلو، زیرا اکثر مقدارهای (کمیت‌های) سود می‌تواند از لحاظ امید ریاضی نوشته شوند یعنی، در اینجا تابع شاخصی برای مجموعهٔ است. در مکانیک کلاسیک، مرکز جرم یک مفهوم مشابه امید ریاضی است. برای مثال، فرض کنید "X" یک متغیر تصادفی گسسته با مقدارهای "x" و احتمالات مرتبط "p" است، حالا یک میلهٔ بدون وزن که بر روی آن وزن‌ها در موقعیت‌های "x" در طول میله قرار گرفته‌اند و جرم آنها "p" است (که مجموع آنها یک است) نقطه که در آن میله متعادل E["X"] است. مقدارهای مورد انتظار می‌توانند همچنین برای محاسبهٔ واریانس به وسیلهٔ فرمول‌های محاسباتی واریانس استفاده شوند. توزیع احتمال
متغیر تصادفی، "تابعی" است که از فضای نمونه بر اعداد حقیقی تعریف شده‌است؛ یعنی هر عضو از فضای نمونه را به یک عدد حقیقی مربوط می‌کند. متغیر تصادفی را معمولاً با X نشان می‌دهند. (اشتباه نکنید! متغیر تصادفی، نه متغیر است و نه تصادفی! این تنها یک نام‌گذاری است). متغیر تصادفی
اگر X یک متغیر تصادفی روی formula_15 باشد و formula_16 باشد آنگاه formula_17 نیز یک متغیر تصادفی روی formula_15 خواهد بود. تابع توزیع تجمعی formula_19 از رابطه زیر تبعیت می‌کند متغیر تصادفی
متغیر تصادفی پواسون: تعداد آزمایش‌های تصادفی که در یک محدوده مشخص رخ می‌دهد متغیر تصادفی پواسون نامیده می‌شود. مثال: تعداد پست‌های خالی که (در طول یک سال) در دیوان عالی ایجاد می‌شود. میدان تصادفی
انواع مختلفی از میدان‌های تصادفی وجود دارند. به مانند میدان تصادفی مارکفی (MRF)، میدان تصادفی گیبس(GRF)، میدان تصادفی شرطی(CRF) و میدان تصادفی گوسی. نمایش MRF بدین صورت است: برای هر کدام از مقادیر formula_5و برای هر formula_6، formula_7 تعیین‌کننده مجموعه‌ای از «همسایه‌ها» از اشاره‌گر formula_6. به عبارت دیگر مقدار یک متغیر تصادفی به همسایه‌هایش بستگی دارد. احتمال یک متغیر تصادفی در یک MRF به صورت زیر است: توزیع نرمال چند متغیره
در نظریه احتمال و آمار، توزیع نرمال چند متغیره، توزیع گاوسی چند متغیره، یا توزیع نرمال توأم یک تعمیم از توزیع نرمال یک بعدی (تک متغیره) به ابعاد بالاتر است. یک تعریف این است که اگر هر ترکیب خطی از k عضو یک بردار، توزیع نرمال تک متغیره داشته باشد، به یک بردار تصادفی "k" متغیره گفته می‌شود که به‌طور نرمال توزیع شده‌است. اهمیت آن عمدتاً از قضیه حد مرکزی چند متغیره ناشی می‌شود. برای توصیف هر مجموعه ای از متغیرهای تصادفی با ارزش حقیقی که احتمالاً همبسته اند و هر کدام حول مقداری متوسط جمع می‌شوند، اغلب از توزیع نرمال چندمتغییره استفاده می‌شود. خاصیت بی‌حافظگی
متغیر تصادفی گسستهٔ هندسی و متغیر تصادفی پیوستهٔ نمایی دارای خاصیت عدم حافظه هستند. متغیر تصادفی
متغیرهای تصادفی معمولاً با اعداد حقیقی مقداردهی می‌شوند؛ ولی می‌توان انواع دلخواهی مانند مقدارهای بولی، اعداد مختلط، بردارها، ماتریس‌ها، دنباله‌ها، درخت‌ها، مجموعه‌ها، شکل‌ها، منیفلدها، توابع و فرایندها را در نظر گرفت. عبارت المان تصادفی همه این نوع مفاهیم را دربرمی گیرد. متغیر وابسته و مستقل
اگر متغیرهای Extraneous، به عنوان متغیر مستقل، مشمول یک رگرسیون (regression) باشند، ممکن است با برآورد دقیق پارامتر پاسخ، پیش‌بینی(prediction)، و نیکویی برازش (goodness of fit)، به محقق کمک کنند، بدون توجه ذاتی به فرضیه ی تحت آزمایش. برای مثال، در یک مطالعه آزمایشی، برای تأثیر تحصیلات دانشگاهی بر درآمدهای دوران زندگی، تعدادی از متغیرهای تصادفی می‌تواند جنسیت، قومیت، طبقهٔ اجتماعی، ژنتیک، هوش، سن، و غیره باشد. یک متغیر، extraneous است، تنها زمانی که به‌طور مفروض (یا طوری‌که نشان داده شده باشد) بتواند بر متغیر وابسته تأثیر بگذارد. اگر مشمول رگرسیون (regression) باشد، می‌تواند تناسب مدل را بهبود بخشد. اگر مشمول رگرسیون نباشد، و یک کوواریانس (covariance) غیر صفر به همراه یک یا چند متغیر مستقل دلخواه داشته باشد حذف آن، نتیجه رگرسیون را برای تأثیر آن متغیر مستقل دلخواه، سوگیری(bias)خواهد کرد. این اثر اختلاط (confounding) یا سوگیری متغیرهای حذف شده(omitted variable bias)نامیده می‌شود؛ در این موارد، تغییر طراحی و/یا کنترل آماری فرایندها (statistical control) لازم است. متغیر تصادفی
formula_5 ریاضیات گسسته
با استفاده از همنهشتی می‌توان دنباله‌ای از اعداد شبه تصادفی تولید کرد. این اعداد تصادفی دارای این مزیت هستند که خیلی سریع ساخته می‌شوند و عیب آن در این است که در استفاده از این دنباله‌ها در کارهای مختلف باید پیشگویی‌های زیادی داشته باشیم. متغیر تصادفی
اگر g معکوس پذیر باشد یعنی "g وچود داشته باشد و با فرض صعودی بودن g می‌توان به رابطه زیر رسید. متغیر تصادفی
۳- formula_13 formula_14 متغیر تصادفی مستقل
formula_11 آمار جبری
به طور سنتی ، آمار جبری با طراحی آزمایش ها و تجزیه و تحلیل چند متغیره (به خصوص سری های زمانی ) همراه بوده است.  در سالهای اخیر ، از اصطلاح "آمار جبری" برای محدود کردن استفاده از هندسه جبری و جبر جابجایی برای بررسی مشکلات مربوط به متغیرهای تصادفی گسسته با فضاهای حالت محدود استفاده شده است. جبر جابجایی و هندسه جبری کاربردهایی در آمار دارند زیرا بسیاری از کلاسهای متداول از متغیرهای تصادفی گسسته می توانند به عنوان واریته جبری مشاهده شوند. متغیر تصادفی مستقل
formula_2 امید ریاضی
که در آن formula_3 تابع چگالی احتمال متغیر تصادفی formula_4 است. برای متغیرهای تصادفی گسسته تعریف بالا به صورت زیر بازنویسی می‌شود: متغیرهای تصادفی شاخص
اثبات  بنا به تعریف متغیر تصادفی شاخص و تعریف مقدار مورد انتظار، داریم: ماتریس کوواریانس
جایی که formula_135 "i" امین مقدار گسسته در نمونه "j" تابع تصادفی formula_136 است. مقادیر مورد نیاز در فرمول کوواریانس با استفاده از میانگین نمونه تخمین زده می شود، به عنوان مثال متغیر تصادفی
formula_9 الگوریتم کی-نزدیک‌ترین همسایه
برای متغیرهای گسسته، مانند دسته‌بندی متون، می‌توان از یک معیار دیگر مانند فاصله همینگ استفاده کرد. اعداد تصادفی
یکی از کاربردهای روزانه از اعداد تصادفی در ریاضیات لگاریتم عدد ۲ و نیز عدد پی می‌باشد. ارقام اعشار عدد پی کاملاً به صورت تصادفی یافت می‌شوند و با الگوی خاصی ادامه پیدا می‌کنند. برای به دست آوردن مقادیر تصادفی در ماشین حساب‌ها و برنامه‌نویسی از متد تایمر استفاده می‌شود. برای مثال، اکس ثانیه، عدد(۷.)۹ را در خروجی نمایش می‌دهد، که می‌تواند به صورت زیر نوشته شود: متغیر تصادفی مستقل
= مثال ها = یعنی یک مهره از کیسه بیرون کشیده و پس از بررسی آن را به کیسه باز می‌گردانیم: خودهمبستگی
در تحلیل رگرسیون داده‌های سری زمانی، خودهمبستگی خطاها، یک مشکل است. خودهمبستگی خطاهایی که غیرقابل مشاهده اند، می‌تواند به‌طور کلی بخاطر تولید خودهمبستگی درمانده‌های قابل مشاهده نمایان شود. (خطاها در اقتصادسنجی، «عناصر خطا» نامیده می‌شوند) خودهمبستگی، فرض حداقل مربعات معمولی (OLS) که عناصر خطا ناهمبسته‌اند را نقض می‌کند. زمانی که برآورد ضرایب OLS بدون تورش است، خطاهای استاندارد وقتی خودهمبستگی خطاها در lagهای پایین مثبت است، کمتر از مقدار واقعی تخمین زده می‌شود (و t-مقدار بیشتر از مقدار واقعی). آزمون مرسوم برای وجود خودهمبستگی مرتبه اول، آماره دوربین-واتسون است، یا اگر متغیرهای توضیح دهنده شامل متغیر وابسته لنگی باشد، آزمون انعطاف‌پذیرتر برای پوشش خودهمبستگی مراتب بالاتر و برای اینکه آیا رگرسورهای شامل متغیر وابسته لنگی قابل اجراست یا نه، تست براش-گادفری است. این شامل یک رگرسیون کمکی است، در جایی که مانده‌های به دست آمده از برآورد مدل مورد علاقه روی (الف) رگرسور اصلی و (ب) k باقی‌مانده لنگی، رگرس شده‌اند، که k مرتبه آزمون می‌باشد. ساده‌ترین تفسیر آماره آزمون از این رگرسیون کمکی، "TR" است که T اندازه نمونه و "R" ضریب تعیین هستند. تحت فرضیه صفر (عدم وجود خودهمبستگی) این آماره به‌طور مجانبی، توزیع formula_51 با k درجه آزادی دارد. پاسخ به خودهمبستگی غیر صفر شامل حداقل مربعات تعمیم یافته و تخمین زن Newey-West HAC (واریانس ناهمسانی و خودهمبستگی سازگار) می‌باشد. متغیرهای تصادفی شاخص
متغیرهای تصادفی شاخص، یک روش مناسب برای تبدیل بین احتمال‌ها و انتظارها را فراهم می‌کنند. فرض کنید فضای نمونه S و پیشامد A را داریم. متغیر تصادفی شاخص I{A} مربوط به پیشامد A به صورت زیر تعریف می‌شود: formula_1 تابع مولد احتمال
اگر "X" یک متغیر تصادفی گسسته باشد که مقادیری از بعضی زیر مجموعه‌های نا-منفی اعداد صحیح {۰، ۱، ۲، ...} اتخاذ کند، آنگاه "تابع مولد احتمال X" اینگونه تعریف می‌گردد: که در آن "f" تابع جرمی احتمال"X" است. دقت کنید که نشانه‌گذاری معادل "G" بعضی مواقع برای متمایز ساختن توابع مولد احتمال متغیرهای تصادفی مختلفی مورد استفاده قرار می‌گیرد. امید ریاضی
وقتی که این انتگرال وجود داشته باشد، پس به صورت امید "X" تعریف می‌شود. توجه کنید که هیچ متغیر تصادفی اصلاً مقدار مورد انتظار متناهی ندارد چون ممکن نیست که این انتگرال مطلقاً همگرا باشد؛ بعلاوه برای بعضی این اصلاً تعریف نشده‌است (مثلاً توزیع کوشی). دو متغیر با توزیع احتمال یکسان، مقدار مورد انتظار یکسانی خواهند داشت در صورتی که این انتگرال تعریف شده باشد این موضوع مستقیماً از تعریف حالت گسسته پیروی می‌کند که اگر "X"یک متغیر تصادفی ثابت باشد (یعنی برای چند تا مقدار حقیقی ثابت "b") پس مقدار مورد انتظار"X" نیز "b"خواهد بود. مقدار مورد انتظار یک تابع دلخواه ("X", "g"("X", نسبت به تابع چگالی احتمال ("ƒ"("x" از طریق ضرب داخلی "ƒ" و "g" بدست می‌آید. دامنه (آمار)
formula_4 متغیر تصادفی گسسته ی formula_6 را در نظر بگیرید. متغیر تصادفی مستقل
formula_3 ناهم‌واریانسی
فرض کنیم یک دنباله از متغیرهای تصادفی در اختیار داریم:.{Yt"}"t"=۱"n . ویک دنباله از بردارهای متغیرهای تصادفی:.{Xt"}"t"=۱"n". با استفاده از امید ریاضی"Y". به شرط "X". دنباله ی.{"Y"}. واریانس ناهمسان نامیده می‌شود اگر واریانس Y به شرط "X"با تغییر t تغییر نماید. برخی از منابع از این تعریف تحت عنوان “واریانس ناهمسانی مشروط “یاد می‌کنند، که این موضوع جهت تأکید بر این واقعیت است که «دنباله‌ای از واریانس‌های شرطی» می‌باشند که متفاوت بوده و تغییر می‌یابند و نه واریانس‌های غیر شرطی. در واقع ممکن است واریانس ناهمسانی مشروط داشته باشیم در حالی که متغیرهای تصادفی به‌شکل غیر شرطی واریانس همسان‌اند. باید توجه داشت عکس این موضوع صادق نمی‌باشد. وقتی که از روش‌های آماری از قبیل روش حداقل مربعات جهت برآوردهای آماری استفاده می‌نماییم تعدادی از فروض را به شکل ضمنی لحاظ نموده‌ایم. یکی از این فروض این است که جملات خطا دارای واریانس یکسان‌اند. حتی اگر فرض کنیم که جملات خطا متعلق به توزیع‌های آماری مشابهی باشند این فرض ممکن است صحیح نباشد. برای مثال جملات خطا می‌توانند به ازای هر مشاهده تغییر یافته و فرضاً افزایش یابند. این مسئله برای مشاهداتی که از داده‌های مقطعی بدست آمده‌اند کاملاً رایج است. واریانس ناهمسانی عموماً به عنوان یکی از موضوعات مورد بحث در اقتصادسنجی شناخته می‌شود. در میان اقتصادسنجی‌دان‌ها رابرت انگل در سال ۲۰۰۳ بخاطر مطالعاتی که پیرامون تحلیل رگرسیون با فرض وجود واریانس ناهمسانی داشت موفق به کسب جایزهٔ نوبل گردید. حاصل مطالعات وی روشی جهت تخمین رگرسیون در شرایط واریانس ناهمسانی حاصل نمود که تحت عنوان روش مدل‌سازی آرک شناخته می‌شود. روش تبدیل معکوس
روش تبدیل معکوس برای شبیه‌سازی متغیر تصادفی (نام علمی: "Inverse transform sampling" یا "Inverse transformation method" (همچنین شناخته‌شده تحت عناوین (inverse probability integral transform, Smirnov transform, universality of the uniform, یا golden rule)) یکی از روش‌های عمومی برای شبیه‌سازی متغیرهای تصادفی روش تبدیل معکوس می‌باشد. گزاره: فرض کنید U یک متغیر تصادفی یکنواخت روی فاصله (۱و۰) باشد. برای هر تابع توزیع تجمعی پیوسته F اگر متغیر تصادفی Y را به وسیله Y=F^(-1) (U) تعریف کنیم، آنگاه متغیر تصادفی Y دارای تابع توزیع تجمعی F است. (F^(-1) (x) برابر آن مقدار y که F(y)=x است تعریف می‌شود. تابع جرم احتمال
و میدانیم که تصویر "X" قابل شمارش است، تابع جرم احتمال ("f"("x" برای همه مقادیر قابل شمارش "x" صفر است. ناپیوستگی توابع جرم احتمال یعنی تابع توزیع تجمعی یک متغیر تصادفی گسسته نیز ناپیوسته می باشد که مشتق در آن صفر است. تابع چگالی احتمال
برخلاف احتمالی که به یک متغیر تصادفی گسسته نسبت داده می‌شود، تابع چگالی احتمال می‌تواند مقادیر بیشتر از یک را نیز اختیار کند. به‌طور مثال توزیع یکنواخت در بازه [۱/۲ ،۰] چگالی احتمالی "f"("x") = ۲ برای ۰ ≤ "x" ≤ ½ دارد و "f"("x") = ۰ برای خارج این بازه دارد با داشتن تابع چگالی احتمالی متغیر تصادفی "X" می‌توان مقدار امید ریاضی آن را به شکل زیر محاسبه کرد: الگوریتم جریان داده‌ها
آلون و همکاران formula_53 را با تعریف متغیری تصادفی که به وسیله فضا و زمان داده شده قابل محساسبه است، تخمین زدند. مقدار formula_54 یعنی مقدار میانگین وزن‌دار این متغیر تصادفی بیانگر مقدار تقریبی formula_52 می‌باشد. طول داده m از قبل محاسبه شده‌است. متغیر تصادفی X این‌گونه تعریف می‌شود: فرض کنید formula_60 از formula_61 باشد و formula_62 ازformula_63 باشد، در این صورت الگوریتم formula_62 را به عنوان یک متغیرتصادفی با مقادیر "Y"",Y""... ,Y" و مقدار میانگین "Y" درنطر می‌گیرد. به‌طوری‌که مقدار متوسط برای همه ۱ ≤ "j" ≤ "S" می‌باشد. اکنون مقدارformula_65 را محاسبه می‌کنیم: تابع تصادفی
در نظریه احتمال و کاربردهای آن مانند آمار و رمز نگاری یک تابع تصادفی تابعی است که به صورت تصادفی از بین توابع احتمالی انتخاب شده‌است. تحقق هریک از توابع تصادفی به توابع مختلف منجر می‌شود بنابراین مفهوم یک تابع تصادفی مثالی از یک عنصر تصادفی است و در نتیجه تعمیم این ایده ساده‌تر از متغیر تصادفی است. در آمار و احتمال یکی از انواع مهم توابع تصادفی تحت عنوان متغیر تصادفی مورد مطالعه قرار گرفت. که در آن مدل‌های مختلفی وجود دارد سیستم‌هایی که در آن تابع تصادفی را در زمان یا مکانی که مشاهده می‌کنند توصیف می‌نمایند با این حال کاربردهای دیگری نیز وجود دارد که در آن یک نیاز برای توصیف عدم قطعیت درباره یک تابع شناخته شده‌است. و دانشی درباره تابع حقیقی که می‌توان با گفتن اینکه تحقق نامعلوم درباره یک تابع تصادفی است را بیان کرد برای مثال Dirichlet process. حالت خاصی از یک تابع تصادفی یک جایگشت تصادفی است که تحقق آن می‌تواند به عنوان یک مدلی از یک تابع در مجموعه‌ای از اعداد صحیح که محل اصلی آی‌تمی را که در آن مقدار تابع محل جدید را میسر می‌کند, تفسیر شود. در رمز نگاری یک تابع تصادفی می‌تواند یک بلوک ساختمانی مفید در اختیار پروتکلهای رمز نگاری باشد. رگرسیون چندمتغیره
برای بدست آوردن پارامتر بهینه formula_20 تابع هزینه یعنی formula_21 را به حداقل می‌رسانیم. می‌توان به همین پارامتر بهینه از روش درست نمایی بیشینه هم رسید. فرض می‌کنیم که متغیر وابسته یعنی formula_6 یک متغیر تصادفی است که مقدارش از یک توزیع طبیعی (توزیع گاوسی) پیروی می‌کند. این توزیع احتمال، واریانس ثابتی به اسم formula_63 دارد ولی میانگین آن ترکیبی خطی از متغیرهای مستقل یعنی formula_13 است. به عبارت دیگر میانگین ما برابر است با formula_65. با احتساب میانگین و واریانس توزیع متغیر وابسته ما می‌شود formula_66. حال اگر فرض کنیم داده‌های ما نسبت به هم مستقل هستند تابع درست نمایی برای تمام داده‌ها می‌شود: متغیرهای تصادفی تعویض پذیر
formula_9 خودهمبستگی
برای یک فرایند گسسته به طول n که به صورت formula_40 با میانگین و واریانس معلوم، تخمین خودهمبستگی به صورت زیر بدست می‌آید: برای هر عدد صحیح مثبت formula_42. وقتی میانگین صحیح formula_43 و واریانس formula_44 معلومند، این برآورد، بدون تورش است. اگر میانگین و واریانس فرایند نامعلوم باشند چند احتمال وجود دارد: کمترین مربعات جزئی
فرض می‌کنیم formula_1 داده داریم که هر کدام از یک متغیر وابسته و formula_2 متغیر مستقل تشکیل شده‌است؛ به کمک متغیرهای مستقل متغیر وابسته را پیش‌بینی می‌کنیم. مقادیر متغیرهای مستقل (به همراه یک بردار ثابت formula_3) و مقادیر متغیر وابسته را به ترتیب در ماتریس‌های formula_4 و formula_5 به شکل پایین نمایش می‌دهیم؛ در اینجا formula_6 یک ماتریس formula_7 از مقادیر formula_8 امین متغیر مستقل است: formula_9 formula_10 هدف از رگرسیون خطی بدست آوردن پارامتر formula_11 است به شکلی که formula_12 در اینجا formula_13 یک متغیر تصادفی است که خطای مدل را نشان می‌دهد. این خطا از توزیع طبیعی با میانگین صفر و واریانس ثابت برای تمامی ابعاد پیروی می‌کند به این معنی که formula_14 و formula_15. از طریق روش حداقل مربعات می‌توان formula_16 یعنی مربع میزان خطاها را کمینه کرد و به پارامتر بهینه رسید. این پارامتر با formula_17 برابراست. یکی از مشکلات اصلی این روش عدم وارونپذیری formula_18 است. برای حل این مشکل، حداقل مربعات جزئی، متناوباً مولفه‌هایی متعامد (formula_19 در پایین) که ترکیبی خطی از متغیرهای مستقل هستند تولید می‌کند و در نهایت راه حل حداقل مربعات را بر روی این مولفه‌ها اعمال می‌کند. ضرایب متغیرهای مستقل در مولفه‌ها با ضرب نقطه‌ایِ متغیرهای وابسته و مستقل برابر است. متغیرهای مستقل در ابتدای کار استاندارد شده‌اند یعنی میانگین صفر و واریانس یک دارند. در پایان هر مرحله متغیرهای مستقل نسبت به مولفه آن مرحله متعامد می‌شوند. این کار باعث می‌شود که در پایان تمام مولفه‌ها نسبت به هم متعامد باشند. الگوریتم تولید مولفه‌ها برای formula_20 به شکل پایین است (formula_21 از روش اعتبارسنجی متقابل محاسبه می‌شود): پراکندگی (آمار)
اختلاف هر یک از داده‌ها از میانگین فاصلهٔ آن‌ها را از میانگین نشان می‌دهد. محاسبهٔ اختلاف هر یک از داده‌ها معیار خوبی برای تعیین پراکندگی یک متغیر تصادفی حول میانگینش است اما جمع این اختلاف‌ها واضح است که همواره صفر می‌شود. برای حل این مشکل مجموع توان دوم این اختلاف‌ها را برابر واریانس تعریف کرده‌اند که محاسبهٔ آن برای متغیرهای تصادفی گسسته و پیوسته با میانگین formula_2 به شرح زیر است: formula_3 متغیر تصادفی مستقل
= خصوصیات = معادله دیفرانسیل تصادفی
یک معادلهٔ دیفرانسیل تصادفی یا Stochastic Differential Equation یا SDE معادله‌ای است که در آن یک یا چند متغیر یک فرایند تصادفی هستند. در نهایت جواب این نوع معادلات خود نیز یک فرایند تصادفی هستند. استفاده از SDE‌ها در مدل سازی‌های پیچیدهٔ احتمال بسیار گسترده است؛ از جمله در مدل‌سازی هزینهٔ نوسانات بازار یا مدل‌سازی فیزیکی نوسانات دمایی اشیا. معمولاً در این گونه مدل سازی‌ها از نویز سفید به عنوان پارامتر کاملاً تصادفی استفاده می‌شود که خود نوعی از فرایند تصادفی وینر (Wiener Process) است. اگرچه باید گفت که در مدل‌سازی تصادفی پارامترها در یک معادلهٔ دیفرانسیل تصادفی، استفاده از سایر فرایندهای تصادفی نیز امکان‌پذیر است. توزیع حاشیه‌ای
فرض کنید داده‌های مربوط به دانشجویان یک کلاس ۲۰۰ نفری را داریم. این داده‌ها شامل میزان زمان مطالعه دانشجویان (X) و درصد جواب‌های درست دانشجویان در امتحان (Y) هستند. فرض کنید که X و Y متغیرهای تصادفی گسسته هستند؛ توزیع احتمال توأم X و Y را می‌توان با استفاده از لیست کردن تمام مقادیر ممکن "p"("x","y") همانند جدول پایین، تعریف کرد. تابع تصادفی
یک تابع تصادفی نوعی از یک عنصر تصادفی است که نتیجه آن از کلاسی از توابع انتخاب می‌شود. کلاس شامل چندین دسته از تمامی نقشه‌ها می‌باشد. برای مثال کلاس می‌تواند به تمامی توابع متوالی یا تمامی توابع پله‌ای محدود شود. مقادیر تعیین شده توسط یک تابع تصادفی که در نقاط مختلف از یک واقعیت ارزیابی می‌شود به‌طور کلی از نظر آماری مستقل نمی‌باشد اما با توجه به مدل ممکن است مقادیر مشخص در نقاط یکسان یا مختلف مستقل عمل کنند. متغیرهای تصادفی تعویض پذیر
formula_25 توزیع حاشیه‌ای
برای متغیرهای تصادفی گسسته داریم: بازده سرمایه‌گذاری
در مبحث اندازه‌گیری ریسک بازار، متغیر تصادفی به صورت نرخ بازده روی یک دارایی مالی گرفته می‌شود. برای مثال افق زمانی را یک ماه تعریف می‌کنیم. بازده از پایان ماه قبل تا پایان این ماه اندازه‌گیری می‌شود که با اندیس‌های formula_1 و formula_2 مشخص شده‌اند. بازده ریاضی یا گسسته به صورت سود سرمایه به علاوه پرداخت قراردادی مانند بهره تعریف می‌شود. توزیع نرمال چند متغیره
یک بردار تصادفی حقیقی به صورت formula_1، بردار تصادفی نرمال استاندارد نامیده می‌شود اگر تمام اعضای formula_10 مستقل و هر کدام یک متغیر تصادفی با میانگین صفر و واریانس ۱ باشند که به‌طور نرمال توزیع شده‌اند یعنی formula_11 برای همه formula_12ها. آنتروپی شرطی
متغیر تصادفی گسسته  formula_2 با تصویر formula_13 و formula_1 با تصویر formula_15 با فرض مشخص بودن formula_2 ، آنتروپی شرطی formula_1 به شرط formula_2 به صورت زیر تعریف می شود: (مستقیما ،عبارت زیر می‌تواند به صورت حمع وزن دار formula_6 روی تمام مقادیر ممکن  formula_9 با استفاده وزن های formula_21 تعبیر شود. ) فرایند گاوسی
یک متغیر تصادفی گاوسی چند متغیره است. با استفاده از تابع مشخصه ی متغیرهای تصادفی ویژگی گاوسی می‌تواند به شرح زیر بیان شود: formula_4 گاوسی است اگر و تنها اگر برای هر مجموعه متناهی از شاخص‌های مقادیر حقیقی formula_1 که formula_6 (formula_7) وجود داشته باشد به طوری که معادله زیر برای همهٔ formula_8برقرار باشد: که formula_10 عدد موهومی formula_11 را نشان می‌دهد متغیرهای تصادفی مستقل با توزیع یکسان
در آمار و احتمال دنباله‌ای از متغیرهای تصادفی، مستقل با توزیع یکسان (i.i.d) نامیده می‌شوند اگر همه آن‌ها دارای توزیع یکسان باشند ونیز دو به دو مستقل باشند. i.i.d مخفف شده عبارت Independent and identically distributed می‌باشد. توزیع احتمالی گسسته
در آمار و احتمالات، به دسته‌ای از توزیع‌ها توزیع گسسته گویند که در آنها متغیر تصادفی تنها می‌تواند تعداد محدود یا تعداد شمارایی از مقادیر را اختیار کند. از توزیع های گسسته میتوان توزیع دوجمله ای، توزیع هندسی، توزیع فوق هندسی و توزیع پواسون را نام برد. کنترل تصادفی
یک حالت معمول زمام گسسته کنترل معادلات درجهٔ دوم خطی تصادفی است و هدف کنترلی این است که تابع زیر کمینه شود در معادله بالا E1 نشان دهندهٔ امید شرطی بر روی y0 است و بالانویس T نیز نشان دهندهٔ ترانهادهٔ ماتریس است. همچنین S نشان دهندهٔ بازهٔ تغییرات زمانی است٬که بر مبنای معادلات زیر بدست آمده است. متغیر تصادفی
با توجه به وضع شمارایی فضای نمونه‌ای S، متغیر می‌تواند گسسته یا پیوسته باشد. اگر S متناهی یا نامتناهی شمارا باشد متغیر تصادفی X گسسته و اگر ناشمارا باشد X پیوسته خواهد بود. متغیر تصادفی مستقل
formula_13 متغیر تصادفی
متغیر تصادفی دوجمله ای: از تکرار آزمایش برنولی تعداد nبار متغیر تصادفی دو جمله‌ای حاصل می‌شود. مثال:یک سکه سالم ۳بار پرتاب می‌شود (یا ۳سکه پرتاب می‌شود) اگر xتعداد شیرهای ظاهر شده باشد مجموع مقادیر x عبارت است از: {۰٬۱٬۲٬۳}=(p(x الگوریتم‌های تصادفی
X را یک متغیر تصادفی می‌گیریم که برابر است با تعداد دفعاتی که ما یک منشی استخدام می‌کنیم. می‌دانیم: