Admissible decision rule

src: upload.wikimedia.org

In the theory of statistical decisions, acceptable decision decisions are rules for making decisions so that no other rule is always "better" than (or at least sometimes better and never worse), in the precise meaning "better" is defined below. This concept is analogous to Pareto's efficiency.

Video Admissible decision rule

Definisi

Juga tentukan fungsi kerugian ${\ displaystyle L: \ Theta \ times {\ mathcal {A}} \ rightarrow \ mathbb {R}} Â$ , yang menentukan kerugian yang akan kita terima dengan mengambil tindakan ${\ displaystyle a \ in {\ mathcal {A}}} Â Â$ ketika keadaan sebenarnya dari alam adalah ${\ displaystyle \ theta \ in \ Theta} Â Â$ . Biasanya kita akan mengambil tindakan ini setelah mengamati data ${\ displaystyle x \ in {\ mathcal {X}}} Â Â$ , sehingga kerugian akan ${\ displaystyle L (\ theta, \ delta (x)) \, \!} Â Â$ . (Adalah mungkin meskipun tidak konvensional untuk menyusun kembali definisi berikut dalam hal fungsi utilitas, yang merupakan negatif dari kerugian.)

Tentukan fungsi risiko sebagai harapan

${\ displaystyle R (\ theta, \ delta) = \ operatorname {E} _ {F (x \ mid \ theta)} [{L (\ theta , \ delta (x))]}. \, \!} Â Â$

Apakah aturan keputusan ${\ displaystyle \ delta \, \!}  ÂÂ$ memiliki risiko rendah tergantung pada keadaan alam yang sebenarnya ${\ displaystyle \ theta \, \!}  ÂÂ$ . Aturan keputusan ${\ displaystyle \ delta ^ {*} \, \!}  ÂÂ$ mendominasi aturan keputusan ${\ displaystyle \ delta \, \!}  ÂÂ$ jika dan hanya jika ${\ displaystyle R (\ theta, \ delta ^ {*}) \ leq R (\ theta, \ delta)}  ÂÂ$ untuk semua ${\ displaystyle \ theta \, \!}  ÂÂ$ , dan ketimpangan sangat ketat untuk beberapa ${\ displaystyle \ theta \, \!}  ÂÂ$ .

Decision rules are acceptable (in respect of loss function) if and only if no other rules dominate; otherwise unacceptable . So the accepted decision rule is the maximum element with respect to the above partial order. Unacceptable rules are not preferred (except for reasons of simplicity or computational efficiency), because by definition there are some other rules that will achieve the same or lower risk for all ${\ displaystyle \ theta \, \!}$ . But just because the ${\ displaystyle \ delta \, \!}$ is acceptable does not mean it is a good rule to use. Being acceptable means no other rules are always good or better - but other accepted rules may achieve a lower risk for most ${\ displaystyle \ theta \, \!}$ that occurred in practice. (The Bayes risk discussed below is a way to explicitly consider ${\ displaystyle \ theta \, \!}$ happen in practice.)

Maps Admissible decision rule

Bayes rules and general Bayes rules

Bayes Rules

Biarkan ${\ displaystyle \ pi (\ theta) \, \!}  ÂÂ$ menjadi distribusi probabilitas pada keadaan alam. Dari sudut pandang Bayesian, kami akan menganggapnya sebagai distribusi sebelumnya . Yaitu, distribusi probabilitas percaya kami pada keadaan alam, sebelum mengamati data. Untuk seorang frequentist, itu hanyalah sebuah fungsi pada ${\ displaystyle \ Theta \, \!}  ÂÂ$ tanpa interpretasi khusus seperti itu. The Bayes risk dari aturan keputusan ${\ displaystyle \ delta \, \!}  ÂÂ$ sehubungan dengan ${\ displaystyle \ pi (\ theta) \, \!}  ÂÂ$ adalah harapannya

$            {\displaystyle         r        (        ?        ,        ?        )        =        {\mathrm{E}}_{            ?            (            ?            )          }                [        R        (        ?        ,        ?        )        ]        .                      }        \{\backslash \; displaystyle\; r\; (\backslash \; pi,\; \backslash \; delta)\; =\; \backslash \; operatorname\; \{E\}\; \_\; \{\backslash \; pi\; (\backslash \; theta)\}\; [R\; (\backslash \; theta,\; \backslash \; delta)].\; \backslash \; ,\; \backslash !\}\;  ÂÂ$

Aturan keputusan ${\ displaystyle \ delta \, \!}  ÂÂ$ yang meminimalkan ${\ displaystyle r (\ pi, \ delta) \, \!}  ÂÂ$ disebut aturan Bayes berkenaan dengan ${\ displaystyle \ pi (\ theta) \, \!}  ÂÂ$ . Mungkin ada lebih dari satu aturan Bayes. Jika risiko Bayes tidak terbatas untuk semua ${\ displaystyle \ delta \, \!}  ÂÂ$ , maka tidak ada aturan Bayes yang ditentukan.

Aturan Generalised Bayes

Dalam pendekatan Bayesian terhadap teori keputusan, yang diamati ${\ displaystyle x \, \!}  ÂÂ$ dianggap tetap . Sedangkan pendekatan frequentist (yaitu, risiko) rata-rata atas kemungkinan sampel ${\ displaystyle x \ in {\ mathcal {X}} \, \!}  ÂÂ$ , Bayesian akan memperbaiki sampel yang diamati ${\ displaystyle x \, \!}  ÂÂ$ dan rata-rata di atas hipotesis ${\ displaystyle \ theta \ in \ Theta \, \!}  ÂÂ$ . Dengan demikian, pendekatan Bayesian adalah untuk melihat ${\ displaystyle x \, \!}  ÂÂ$ kerugian yang diharapkan

${\ displaystyle \ rho (\ pi, \ delta \ mid x) = \ operatorname {E} _ {\ pi (\ theta \ mid x)} [L (\ theta , \ delta (x))]. \, \!}  ÂÂ$

di mana harapan berada di atas posterior dari ${\ displaystyle \ theta \, \!}  ÂÂ$ diberikan ${\ displaystyle x \, \!}  ÂÂ$ (diperoleh dari ${\ displaystyle \ pi (\ theta) \, \!}  ÂÂ$ dan ${\ displaystyle F (x \ mid \ theta) \, \!}  ÂÂ$ menggunakan teorema Bayes).

Membuat eksplisit kerugian yang diharapkan untuk setiap ${\ displaystyle x \, \!}  ÂÂ$ secara terpisah, kita dapat menentukan aturan keputusan ${\ displaystyle \ delta \, \!}  ÂÂ$ dengan menetapkan untuk setiap ${\ displaystyle x \, \!}  ÂÂ$ tindakan ${\ displaystyle \ delta (x) \, \!}  ÂÂ$ yang meminimalkan kerugian yang diharapkan. Ini dikenal sebagai aturan Bayes umum sehubungan dengan ${\ displaystyle \ pi (\ theta) \, \!}  ÂÂ$ . Mungkin ada lebih dari satu aturan umum Bayes, karena mungkin ada beberapa pilihan ${\ displaystyle \ delta (x) \, \!}  ÂÂ$ yang mencapai kerugian yang diharapkan sama.

At first, this may seem somewhat different from the Bayes rule approach from the previous section, not the generalizations. Note, however, that the risk of Bayes is already more than ${\ displaystyle \ Theta \, \!}$ in Bayesian mode, and the Bayes risk can be restored as hope above ${\ displaystyle {\ mathcal {X}}}$ of the estimated loss (where ${\ displaystyle x \ sim \ theta \, \!}$ and ${\ displaystyle \ theta \ sim \ pi \, \!}$ ). Roughly speaking, ${\ displaystyle \ delta \, \!}$ minimizes the expectation of this expected loss (ie, it is a Bayes rule) if and only if it minimizes the expected losses for any ${\ displaystyle x \ in {\ mathcal {X}}}$ separately (that is, is a common Bayes rule).

Lebih penting lagi, terkadang mudah untuk menggunakan yang tidak benar sebelumnya ${\ displaystyle \ pi (\ theta) \, \!}  ÂÂ$ . Dalam hal ini, risiko Bayes bahkan tidak terdefinisi dengan baik, juga tidak ada distribusi yang terdefinisi dengan baik di atas ${\ displaystyle x \, \!}  ÂÂ$ . Namun, posterior ${\ displaystyle \ pi (\ theta \ mid x) \, \!}  ÂÂ$ - dan karenanya kerugian yang diharapkan - mungkin terdefinisi dengan baik untuk setiap ${\ displaystyle x \, \!}  ÂÂ$ , sehingga masih mungkin untuk menentukan aturan Bayes yang disamaratakan.

Admissibility (umum) aturan Bayes

Menurut teorema kelas lengkap, dalam kondisi ringan setiap aturan yang dapat diterima adalah aturan (Bayes) umum (sehubungan dengan beberapa sebelumnya ${\ displaystyle \ pi (\ theta) \, \!}  ÂÂ$ - mungkin yang tidak tepat - yang lebih menyukai distribusi ${\ displaystyle \ theta \, \!}  ÂÂ$ di mana aturan itu mencapai risiko rendah). Dengan demikian, dalam teori keputusan frequentist cukup untuk mempertimbangkan hanya aturan Bayes (digeneralisasikan).

In contrast, although Bayes rules with respect to the right prior are almost always acceptable, the general Bayes rules associated with unsuitable prior do not necessarily result in acceptable procedures. Stein example is one of the famous situations.

src: apprize.info

Example

The James-Stein Estimator is a nonlinear estimator of the Gaussian random vector mean which can be shown to dominate, or outperform, the least common squares technique with respect to the squared-squared error function. Thus the least squares estimate is not an acceptable estimation procedure in this context. Some others of the standard estimate associated with normal distribution are also unacceptable: for example, the sample estimate of the variance when the population mean and variance is unknown.

src: bloximages.newyork1.vip.townnews.com

Note

src: www.fmglaw.com

References

• Cox, D. R.; Hinkley, D. V. (1974). Theoretical statistics . Wiley. ISBNÃ, 0-412-12420-3.
• Berger, James O. (1980). Bayesian Statistical Decision and Analysis Theory (2nd ed.). Springer-Verlag. ISBNÃ, 0-387-96098-8.
• DeGroot, Morris (2004) [1. pubs. 1970]. Optimal Statistics Decision . Wiley Classics Library. ISBNÃ, 0-471-68029-X.
• Robert, Christian P. (1994). The Bayesian Choice . Springer-Verlag. ISBN: 3-540-94296-3.

Source of the article : Wikipedia