Бајесова вероватноћа

Бајесова вероватноћа је тумачење концепта вероватноће. За разлику од тумачења вероватноће као фреквенције или склоности неке појаве, Бајесова вероватноћа је количина коју доделимо представљеном стању знања^[1] или стању веровања.^[2] У Бајесовом мишљењу, вероватноћа је додељена хипотези, док под фреквентистичким закључком, хипотеза се обично тестира без додељене вероватноће.

Бајесова интерпретација вероватноће може се посматрати као проширење исказне логике која омогућава образложење са хипотезама, односно предлога чија је истина или лаж неизвесна.

Бајесова вероватноћа спада у категорију доказне вероватноће; да процени вероватноћу хипотезе, Бајесова вероватноћа наводи неке претходне вероватноће, које се затим ажурирају у светлу нових, релевантних података (доказа).^[3] Бајесово тумачење даје стандардан скуп поступака и формула за обављање овог обрачуна.

Термин "Бајесова" потиче из 18. века математичар и теолог Томас Бајес, који је обезбедио први математички третман нетривијалном проблему Бајесовог закључивања.^[4] Математичар Пјер Симон Лаплас је развио и популарисао оно што се сада зове Бајесова вероватноће.^[5]

Уопштено говорећи, постоје два погледа на Бајесову вероватноћу која тумачи концепт вероватноће на различите начине. Према објективистичком мишљењу, правила Бајесове статистике могу бити оправдана захтевима рационалности и доследности и могу се тумачити као наставак логике.^[1]^[6]Према субјективистичком мишљењу, вероватноћа је квантификована као "лично уверење".^[2]

Бајесова методологија

Бајесове методе одликују се следећим концепатима и процедурама:

Коришћење случајних променљивих, или уопште, непознатих количина, за моделирање свих извора^[7]несигурности у статистичким моделима. То укључује несигурност која произилази из недостатка информација (види епистемичку неизвесност).
Потреба да се утврди претходна расподела вероватноће узимајући у обзир расположиве (претходно) информације.
Секвенцијална употреба Бајесове формуле: када више података постане доступно, израчунати последњу расподелу користећи Бајесову формулу; касније, дистрибуција последње постаје прва следеће.
За фреквентисте хипотеза је предлог (који мора бити истинит или лажан), тако да је фрекуентистичка вероватноћа хипотезе један или нула. У Бајесовој статистици, вероватноћа додељена хипотези може да се разликује од 0 или 1 ако је вредност истине неизвесна.

Објективне и субјективне Бајесове вероватноће

Уопштено говорећи, постоје два погледа на Бајесове вероватноће које тумаче концепт 'вероватноће' на различите начине. За објективисте, вероватноћа објективно мери веродостојност исказа, односно вероватноћа предлога одговара у разумном веровању свима (чак и роботу) који деле исто знање које треба да деле у складу са правилима Бајесова статистике, који се може оправдати захтевима рационалности и доследности.^[1]^[6] За субјективисте, вероватноћа одговара "личном уверењу".^[2] За субјективисте, рационалност и кохерентност ограничавају вероватноћу коју предмет може имати, али дозвољавају значајне варијације у оквиру тих ограничења. Објективне и субјективне варијанте Бајесове вероватноће разликују се углавном у њиховом тумачењу и изградњи претходне вероватноће.

Историја

Термин Бајесова се односи на Томаса Бајеса (1702—1761), који је показао посебан случај онога што се сада зове Бајесова теорема у раду под називом "Есеј ка решавању проблема у доктрини прилика".^[8] У том посебном случају, прве и последње дистрибуције су биле Бета дистрибуције и подаци који долазе из Бернулијевог суђења. Пјер Симон Лаплас (1749—1827), је увео општу верзију теореме и користи је да приступи проблему у небеској механици, медицинској статистици, поузданости и праксом.^[4] Рано Бајесов закључак, који користи јединствене досије следећи Лапласов принцип недовољног разлога, назван је "инверзна вероватноћа" (јер уназад се закључује из посматрања параметра, или од ефеката до узрока).^[9] Након 1920, "инверзна вероватноћа" је у великој мери замењена колекцијом метода које се зову фрекуентистичка статистика.^[9]

У 20. веку, Лапласове идеје су даље развијане у два различита правца, што доводи до објективних и субјективних струја у Бајесовој пракси. Теорија вероватноће (први пут објављена 1939. године) Харолда Џефриса играла је важну улогу у оживљавању Бајесовог погледа на вероватноћу, затим дела Абрахама Волда (1950) и Леонарда Ј. Севиџа (1954). Сам придев Бајесова датира још из 1950-их; изведен Бајесинизм, Нео-Бајесинизам је из 1960-их.^[10] У објективистичком току, статистичка анализа зависи само од модела који претпоставља и анализира податке.^[11] Субјективне одлуке не треба да буду укључене. Насупрот томе, "субјективистички" статистичари негирају могућност потпуно објективну анализу за општем случају.

1980-их година, дошло је до драматичног пораста у истраживању и примени Бајесових метода, углавном им се приписује откриће уметања метода, које је уклонило многе рачунарске проблеме, и све је већи интерес за нестандардне, комплексне апликације.^[12] Упркос расту Бајесових истраживања, већина дипломских настава се и даље заснива на фреквентистичкој статистици.^[13] Ипак, Бајесове методе су широко прихваћене и користе се на пољу машинског учења.^[14]

Оправдање Бајесове вероватноће

Употреба Бајесове вероватноће као основа за Бајесово закључивање је подржана од стране неколико аргумената, као што су Коксове аксиоме, Холандска књига аргумента, аргументе засноване на теорији одлучивања и де Финетијевој теореми.

Аксиоматски приступ

Ричард Т. Кокс показао је да^[6] Бајесова теорема следи из неколико аксиома, укључујући и две функционале једначине и хипотезе диференцијабилности. Претпоставка диференцијабилности или чак континуитета је контроверзна; Халперн је сматрао на основу свог запажања да је Булова алгебра изјава коначна.^[15] Предложене су друге аксиоме различитих аутора како би теорија била ригорознија.^[7]

Приступ Холандске књиге

Холандска књига аргумента је предложена од стране де Финетија, а заснива се на клађењу. холандска књига је постигнут када паметан коцкар поставља низ опклада које гарантују добитак, без обзира на исход опкладе. Ако кладионица прати правила Бајесове калкулације у изградњи својих шанси, холандска књига не може бити постигнута.

Међутим, Ијан Хокинг напоменуо је да традиционална холандска књига аргумента не прецизира Бајесово ажурирање: оставили су отворену могућност да Бајесова правила не могу избећи холандске књиге. На пример, пише Хокинг^[16] "Ни холандска књига аргумент нити било који други доказ вероватноће аксиома, подразумева динамичну претпоставку. Ни један не подразумева Бајесову. Дакле, појединац захтева динамичку претпоставку да би била Бајесова. Тачно је да у конзистенцији да би А појединац могао да напусти Бајесов модел учења из искуства. Со би могла да изгуби свој укус. "

У ствари, постоје не-Баиесова правила ажурирања да се избегне холандска књига (као што је објашњено у литератури о "вероватноћи кинематике" након објављивања правила Ричарда Ц. Џефриса, које се и само сматра Бајесовим^[17]). Довољно је навести (јединствено) додатне хипотезе Бајесовог ажурирања које су знатне, компликоване, и незадовољавајуће.^[18]

Приступ теорије одлуке

Оправдање теорије одлуке при коришћењу Бајесовог закључивања (и самим тим Бајесове вероватноће) је дао Абрахам Волд, који је доказао да је сваки статистички прихватљив поступак или Бајесов поступак или ограничење од Бајесових процедура.^[19] Насупрот томе, сваки Бајесова поступак је прихватљив.^[20]

Личне вероватноће и објективне методе за

Пратећи рад на очекиваној корисној теорији Ремзи и фон Нојман, доносиоци теоретичари су чинили рационалног понашања, користећи расподелу вероватноће за агента. Јохан Пфанзал завршио је Теорију игара и економског понашања пружајући аксиоматизацију субјективне вероватноће и корисност, што је задатак који остаје недовршен од фон Нојман и Оскар Моргенстерна: њихова првобитна теорија претпоставља да су сви агенти имали исту расподелу вероватноће, као погодност.^[21] Пфанзалову аксиоматизацију је одобрио Оскар Моргенстерн: "Фон Нојман и ја смо предвидели" на питање да ли су вероватноће "Можда, можда и више него обично, буди субјективан и да је посебно навео да нису могли бити у овом другом случају аксиома од којих би могао извући жељени нумеричке услужни . заједно са бројем за вероватноће (види pp. 19 од теорије игара и економског понашања) Нисмо носе ово, то је показано Пфанзагл ... са свом потребном строгости ".

Ремзи и Севиџ истичу да би расподела сваке вероватноће агента могла да се објективно разматра у експериментима. Улога суда и неслагања у науци је призната од Аристотела па чак и јаснија са Франсисом Бејконом. Објективност науке не лежи у психологији индивидуалних научника, али у процесу науке, а нарочито у статистичким методама, као што је наведено од стране Ц. С. Перса.^[22] Подсетимо се да су објективни методи за фалсификовање предлога у вези са личним вероватноћама коришћени пола века, као што је већ поменуто. Процедуре за тестирање хипотезе о вероватноћи (користећи коначне узорке) су због Ремзија (1931) и де Финетија (1931, 1937, 1964, 1970). Бруно де Финети и Франк С. Ремзи признали су дугове прагматичне филозофије, посебно Чарлсу С. Персу.

"Ремзијев тест" за процену вероватноће расподеле је имплементиран у теорији, а експериментом су психолози били окупирани пола века.^[23]Овај рад показује да је Бајесова-вероватноћа пропозиције фалсификована, и тако испуњава емпиријски критеријум Чарсла С. Перса, чији је рад инспирисао Ремзија. (Овај критеријум је популаризовао Карл Попер.)^[24]^[25])

Модеран рад на експерименталној процени личних вероватноћа користи рандомизовање, заслепљује и процедуре Булове одлуке Пирс-Јастровог експеримента.^[26] Пошто се појединци понашају према различитим вероватноћама пресуде, вероватноће ових агената су "личне" (али подложни објективној студије).

Личне вероватноће су проблематичне за науку и за неке апликације где доносиоци одлука немају знања или времена да наведу информисане дистрибуције вероватноће (на којима су спремни да делују). Да би се задовољиле потребе науке и људских ограничења, Бајесови статистичари су развили "објективне" методе за одређивање претходне вероватноће.

Заиста, неки су тврдили да претходно стање знања дефинише (јединствену) пре вероватноће-дистрибуцију за "обичне" статистичке проблеме; упореди добро постављено проблеме. Проналажење правог метода за изградњу таквог "објективног" досијеа (за одговарајуће класе редовних проблема) је потрага статистичких теоретичара од Лапласа до Џона Мејнарда Кејнса, Харолд Џефрис, и Едвин Томсон Џејнес: Ови теоретичари и њихови наследници су предложили неколико метода за изградњу "објективних" досијеа:

Максимална ентропија
Анализа трансформације групе
Анализа референце

Свака од ових метода доприноси корисне досије за "обичне" проблеме, и сваки пре може носити неке изазове статистичких модела (са "неправилности" или неколико параметара). Свака од ових метода постигнута значајна Бајесовој пракси. Заиста, методе за изградњу "објективно" досијеа (алтернативно, "уобичајено" или "незнање") досијеи су развијени од стране признатих субјективних (или "лично") присталица Бајесове теорије као што су Џејмс Бергер (Дјук универзитет) и Хосе-Мигел Бернардо (Универзитет у Валенсији), једноставно зато што су потребни такви за Бајесову праксу, посебно у науци.^[27] Потрага за "универзалним методама за изградњу досијеа" наставља да привлачи статистичке теоретичаре.^[27]

Дакле, Бајесов статистичар мора да се користи информацијама претходника (користећи одговарајућу стручност или претходне податке) или да бира између конкурентских метода за изградњу "објективног" досијеа.

Види још

Бертран парадокс - парадокс у класичном вероватноће, решен Е. Т. Џејнис у контексту Бајесове вероватноће
Де Финетијева игра - поступак за оцену нечије субјективне вероватноће
QBism - контроверзна примена Бајесове вероватноће у квантној механици
Неизвесност
Есеј ка решавању проблема у доктрину шансе

Референце

^ ^а ^б ^в Jaynes, E.T. "Bayesian Methods: General Background."
^ ^а ^б ^в de Finetti, B (1974). Theory of probability. . (2 vols.
^ Paulos, John Allen.
^ ^а ^б Stigler, Stephen M (1986). The history of statistics.
^ Stigler, Stephen M (1986). The history of statistics. стр. 97–98, 131. . Harvard University press..
^ ^а ^б ^в Cox, Richard T. (2001). Algebra of Probable Inference. The Johns Hopkins University Press.
^ ^а ^б Dupré, Maurice J, Tipler, Frank T. New Axioms For Bayesian Probability^{[мртва веза]}, Bayesian Analysis (2009), Number 3. pp. 599–606
^ McGrayne, Sharon Bertsch. (2011).
^ ^а ^б Fienberg, Stephen.
^ "The works of Wald, Statistical Decision Functions (1950) and Savage, The Foundation of Statistics (1954) are commonly regarded starting points for current Bayesian approaches"; "Recent developments of the so-called Bayesian approach to statistics" Marshall Dees Harris, Legal-economic research, University of Iowa.
^ Bernardo, J.M. (2005), Reference analysis, Handbook of statistics, 25, 17–90
^ Wolpert, R.L. (2004) A conversation with James O. Berger, Statistical science, 9, 205–218
^ Bernardo, José M. (2006) A Bayesian mathematical statistics primer.
^ Bishop, C.M. Pattern Recognition and Machine Learning.
^ Halpern, J. A counterexample to theorems of Cox and Fine, Journal of Artificial Intelligence Research, 10: 67–85.
^ Hacking (1967, Section 3. pp. 316), Hacking ( (1988). pp. 124)
^ "Bayes' Theorem". stanford.edu.
^ van Frassen, B. (1989). Laws and Symmetry. Oxford University Press.
^ Wald, Abraham.
^ Bernardo, José M, Smith, Adrian F.M. Bayesian Theory.
^ Pfanzagl 1967, стр. 1968
^ Stigler 1978.
^ Davidson (1957)
^ "Karl Popper" in Stanford Encyclopedia of Philosophy
^ Popper 2002, стр. 57.
^ Peirce & Jastrow (1885)
^ ^а ^б Bernardo, J. M. (2005).

Литература

van Frassen, B. (1989). Laws and Symmetry. Oxford University Press.
Berger, James O. (1985). Statistical Decision Theory and Bayesian Analysis (2nd изд.). Springer-Verlag. ISBN 978-0-387-96098-2.
Bessière, Pierre; Mazer, E.; Ahuacatzin, J-M; Mekhnacha, K. (2013). Bayesian Programming. CRC Press. ISBN 978-1-4398-8032-6.
Bernardo, José M.; Smith, Adrian F. M. (1994). Bayesian Theory. Wiley. ISBN 978-0-471-49464-5.
Cox, Richard T. (2001). Algebra of Probable Inference. The Johns Hopkins University Press.
Popper, Karl (2002) [1959]. The Logic of Scientific Discovery. Taylor & Francis. стр. 57. ISBN 978-0-203-99462-7.
Bickel, Peter J.; Doksum, Kjell A. 2001. ISBN 978-0-13-850363-5. MR 443141.
Davidson, Donald; Suppes, Patrick; Siegel, Sidney (1957). Decision-Making: An Experimental Approach. Stanford University Press.
de Finetti, Bruno. "Probabilism: A Critical Essay on the Theory of Probability and on the Value of Science," (translation of 1931 article) in Erkenntnis, volume 31, September 1989.
de Finetti, Bruno (1937) "La Prévision: ses lois logiques, ses sources subjectives," Annales de l'Institut Henri Poincaré,
de Finetti, Bruno. "Foresight: its Logical Laws, Its Subjective Sources," (translation of the 1937 article in French) in H. E. Kyburg and H. E. Smokler (eds), Studies in Subjective Probability, New York: Wiley, 1964.
de Finetti, Bruno (1974). Theory of Probability. A Critical Introductory Treatment. John Wiley & Sons LtdWiley. ISBN 978-0-471-20141-0.
DeGroot, Morris (1974). Optimal Statistical Decisions. ISBN 978-0-471-68029-1. . Wiley Classics Library. (Originally published 1970).
Hacking, Ian (1967). „Slightly More Realistic Personal Probability”. Philosophy of Science. 34 (4). doi:10.1086/288169.
Hajek, A. and Hartmann, S. : "Bayesian Epistemology", in: Dancy, J, Sosa, E, Steup, M. (Eds.) (2001). A Companion to Epistemology. Wiley. 2010. ISBN 978-1-4051-3900-7. Preprint
Hald, Anders (1998). A History of Mathematical Statistics from 1750 to 1930. New York: Wiley. ISBN 978-0-471-17912-2.
Hartmann, S. and Sprenger, J. "Bayesian Epistemology", in: Bernecker, S. and Pritchard, D. (Eds.) (2011). Routledge Companion to Epistemology. Routledge. 2011. ISBN 978-0-415-96219-3. (Preprint)
Hazewinkel, Michiel, ур. (2001). „Bayesian approach to statistical problems”. Encyclopedia of Mathematics. Springer. ISBN 978-1-55608-010-4.
Howson, C.; Urbach, P. (2005). Scientific Reasoning: the Bayesian Approach (3rd изд.). Open Court Publishing Company. ISBN 978-0-8126-9578-6.
Jaynes E.T (2003). Probability Theory: The Logic of Science. Cambridge University Press. ISBN 978-0-521-59271-0. (Link to Fragmentary Edition of March 1996).
McGrayne, SB (2011). The Theory That Would Not Die: How Bayes' Rule Cracked The Enigma Code, Hunted Down Russian Submarines, & Emerged Triumphant from Two Centuries of Controversy. New Haven: Yale University Press. ISBN 9780300169690. OCLC 670481486.
Morgenstern, Oskar (1978). „Some Reflections on Utility”. Ур.: Schotter, Andrew. Selected Economic Writings of Oskar Morgenstern. New York University Press. стр. 65—70. ISBN 978-0-8147-7771-8.
Peirce, C. S.; Jastrow, J. (1885). „On Small Differences in Sensation”. Memoirs of the National Academy of Sciences (3): 73—83.
Pfanzagl, J. (1967). „Subjective Probability Derived from the Morgenstern-von Neumann Utility Theory”. Ур.: Shubik, Martin. Essays in Mathematical Economics In Honor of Oskar Morgenstern. Princeton University Press. стр. 237–251.
Pfanzagl, J. in cooperation with V. Baumann and H. Huber (1968). "Events, Utility and Subjective Probability". Theory of Measurement. Wiley. pp. 195–220.
Ramsey, Frank Plumpton. "Truth and Probability" (archive PDF), Chapter VII in The Foundations of Mathematics and other Logical Essays, Reprinted 2001. . Routledge. 1931. ISBN 978-0-415-22546-5. ,
Stigler, S. M. (1990). The History of Statistics: The Measurement of Uncertainty before 1900. Belknap Press/Harvard University Press. ISBN 978-0-674-40341-3.
Stigler, S. M. (1999). Statistics on the Table: The History of Statistical Concepts and Methods. Harvard University Press. ISBN 978-0-674-83601-3.
Stone, JV (2013). Download chapter 1 of book "Bayes’ Rule: A Tutorial Introduction to Bayesian Analysis", Sebtel Press, England.
Winkler, RL (2003). Introduction to Bayesian Inference and Decision (2nd изд.). Probabilistic. ISBN 978-0-9647938-4-2.

[ghxaib-1] а ^б ^в Jaynes, E.T. "Bayesian Methods: General Background."

[Finetti,_B._1974-2] а ^б ^в de Finetti, B (1974). Theory of probability. . (2 vols.

[paulos-3] Paulos, John Allen.

[automatski_generisano1-4] а ^б Stigler, Stephen M (1986). The history of statistics.

[5] Stigler, Stephen M (1986). The history of statistics. стр. 97–98, 131. . Harvard University press..

[vkdmsn-6] а ^б ^в Cox, Richard T. (2001). Algebra of Probable Inference. The Johns Hopkins University Press.

[rbp-7] а ^б Dupré, Maurice J, Tipler, Frank T. New Axioms For Bayesian Probability^{[мртва веза]}, Bayesian Analysis (2009), Number 3. pp. 599–606

[8] McGrayne, Sharon Bertsch. (2011).

[Fienberg2006-9] а ^б Fienberg, Stephen.

[10] "The works of Wald, Statistical Decision Functions (1950) and Savage, The Foundation of Statistics (1954) are commonly regarded starting points for current Bayesian approaches"; "Recent developments of the so-called Bayesian approach to statistics" Marshall Dees Harris, Legal-economic research, University of Iowa.

[Bernardo-11] Bernardo, J.M. (2005), Reference analysis, Handbook of statistics, 25, 17–90

[12] Wolpert, R.L. (2004) A conversation with James O. Berger, Statistical science, 9, 205–218

[13] Bernardo, José M. (2006) A Bayesian mathematical statistics primer.

[ReferenceA-14] Bishop, C.M. Pattern Recognition and Machine Learning.

[15] Halpern, J. A counterexample to theorems of Cox and Fine, Journal of Artificial Intelligence Research, 10: 67–85.

[16] Hacking (1967, Section 3. pp. 316), Hacking ( (1988). pp. 124)

[17] "Bayes' Theorem". stanford.edu.

[18] van Frassen, B. (1989). Laws and Symmetry. Oxford University Press.

[19] Wald, Abraham.

[20] Bernardo, José M, Smith, Adrian F.M. Bayesian Theory.

[21] Pfanzagl 1967, стр. 1968

[FOOTNOTEStigler1978-22] Stigler 1978.

[23] Davidson (1957)

[24] "Karl Popper" in Stanford Encyclopedia of Philosophy

[FOOTNOTEPopper200257-25] Popper 2002, стр. 57.

[26] Peirce & Jastrow (1885)

[refa-27] а ^б Bernardo, J. M. (2005).

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]