❶ 如何理解贝叶斯估计
贝叶斯理论
1.贝叶斯法则
机器学习的任务:在给定训练数据D时,确定假设空间H中的最佳假设。
最佳假设:一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设。贝叶斯理论提供了一种计算假设概率的方法,基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身。
2.先验概率和后验概率
用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被称为h的先验概率。先验概率反映了关于h是一正确假设的机会的背景知识如果没有这一先验知识,可以简单地将每一候选假设赋予相同的先验概率。类似地,P(D)表示训练数据D的先验概率,P(D|h)表示假设h成立时D的概率。机器学习中,我们关心的是P(h|D),即给定D时h的成立的概率,称为h的后验概率。
3.贝叶斯公式
贝叶斯公式提供了从先验概率P(h)、P(D)和P(D|h)计算后验概率P(h|D)的方法
p(h|D)=P(D|H)*P(H)/P(D)
P(h|D)随着P(h)和P(D|h)的增长而增长,随着P(D)的增长而减少,即如果D独立于h时被观察到的可能性越大,那么D对h的支持度越小。
4.极大后验假设
学习器在候选假设集合H中寻找给定数据D时可能性最大的假设h,h被称为极大后验假设(MAP)
确定MAP的方法是用贝叶斯公式计算每个候选假设的后验概率,计算式如下:
h_map=argmax P(h|D)=argmax (P(D|h)*P(h))/P(D)=argmax P(D|h)*p(h) (h属于集合H)
最后一步,去掉了P(D),因为它是不依赖于h的常量。
5.极大似然假设
在某些情况下,可假定H中每个假设有相同的先验概率,这样式子可以进一步简化,只需考虑P(D|h)来寻找极大可能假设。
h_ml = argmax p(D|h) h属于集合H
P(D|h)常被称为给定h时数据D的似然度,而使P(D|h)最大的假设被称为极大似然假设。
6.举例
一个医疗诊断问题
有两个可选的假设:病人有癌症、病人无癌症
可用数据来自化验结果:正+和负-
有先验知识:在所有人口中,患病率是0.008
对确实有病的患者的化验准确率为98%,对确实无病的患者的化验准确率为97%
总结如下
P(cancer)=0.008, P(cancer)=0.992
P(+|cancer)=0.98, P(-|cancer)=0.02
P(+|cancer)=0.03, P(-|cancer)=0.97
问题:假定有一个新病人,化验结果为正,是否应将病人断定为有癌症?求后验概率P(cancer|+)和P(cancer|+)
因此极大后验假设计算如下:
P(+|cancer)P(cancer)=0.0078
P(+|cancer)P(cancer)=0.0298
hMAP=cancer
确切的后验概率可将上面的结果归一化以使它们的和为1
P(canner|+)=0.0078/(0.0078+0.0298)=0.21
P(cancer|-)=0.79
贝叶斯推理的结果很大程度上依赖于先验概率,另外不是完全接受或拒绝假设,只是在观察到较多的数据后增大或减小了假设的可能性。
❷ 贝叶斯分析的客观分析
(一)客观贝叶斯分析(objective Bayesian analysis)
将贝叶斯分析当做主观的理论是一种普遍的观点,但这无论在历史上,还是在实际中都不是非常准确的。第一个贝叶斯学家,贝叶斯学派的创始人托马斯·贝斯和拉普莱斯进行贝叶斯分析时,对未知参数使用常数先验分布。事实上,在统计学的发展中,这种被称为“逆概率”(inverse probability)的方法在19世纪非常具有代表性,而且对19世纪初的统计学产生了巨大的影响。对使用常数先验分布的批评,使得杰弗里斯(Jeffreys)对贝叶斯理论进行了具有非常重大意义的改进。伯杰(Berger,1999)认为,大多数贝叶斯应用研究学者都受过拉普莱斯一杰弗里斯(Laplace-Jefferys)贝叶斯分析客观学派的影响,当然在具体应用上也可能会对其进行现代意义下的改进。
许多贝叶斯学者的目的是想给自己贴上“客观贝叶斯”的标签,这种将经典统计分析方法当做真正客观的观点是不正确的。对此,伯杰(1999)认为,虽然在哲学层面上同意上述观点,但他觉得这里还包含很多实践和社会学中的原因,使得人们不得已使用这个标签。他强调,统计学家们应该克服那种用一些吸引人的名字来对自己所做的工作大加赞赏的不良习惯。
客观贝叶斯学派的主要内容是使用无信息先验分布(noninformativeor default prior distribution)。其中大多数又是使用杰弗里斯先验分布。最大嫡先验分布(maximumentropy priors)是另一种常用的无信息先验分布(虽然客观贝叶斯学派也常常使用一些待分析总体的已知信息,如均值或方差等)。在最近的统计文献中经常强调的是参照先验分布(reference priors)(Bernardo 1979;Yang and Bergen 1997),这种先验分布无论从贝叶斯的观点,还是从非贝叶斯的观点进行评判,都取得了显著的成功。
客观贝叶斯学派研究的另一个完全不同的领域是研究对“默认”模型(defaultmodel)的选择和假设检验。这个领域有着许多成功的进展(Berger,1999),而且,当对一些问题优先选择默认模型时,还有许多值得进一步探讨的问题。
经常使用非正常先验分布(improper priordistribution)也是客观贝叶斯学派面临的主要问题,这不能满足贝叶斯分析所要求的一致性(coherency)。同样,一个选择不适当的非正常先验分布可能会导致一个非正常的后验分布,这就要求贝叶斯分析过程中特别要对此类问题加以重视,以避免上述问题的产生。同样,客观贝叶斯学派也经常从非贝叶斯的角度进行分析,而且得出的结果也非常有效。
❸ 请介绍一些贝叶斯分析的入门书
贝叶斯方法(英文版)
·出版社:机械工业出版社
·ISBN:7111158326
·国别:United States/美国
·版次:2005-01-01
·出版日期:2005-1
·开本:16
·精简装:平装
·页数:333
45元
贝叶斯多元统计推断理论
定价: ¥29.00元
出版/发行时间: 2005-12-01
出版社: 科学出版社
作者: 朱慧明 韩玉启
ISBM: 7-03-016452-0
版次: 1
开本: B5
页数: 143
贝叶斯学习 http://www.dmresearch.net/download/paper/others/-b-y-s-x-x-.ppt
希望对你有帮助!
❹ 贝叶斯分析的稳健分析
(三)稳健贝叶斯分析(robust Bayesian analysis )
稳健贝叶斯分析研究者认为,不可能对模型和先验分布进行完全的主观设定,即使在最简单的情况下,完全主观设定也必须包含一个无穷数。稳健贝叶斯的思想是构建模型与先验分布的集合,所有分析在这个集合框架内进行,当对未知参数进行多次推导(elicitation )之后,这个集合仍然可以反映此未知参数的基本性质。
关于稳健贝叶斯分析基础的争论是引人注目的(Kadane,1984;Walley,1991),关于稳健贝叶斯分析最新进展的文献可参见伯杰(Bergen1985,1994,1996)的研究。通常的稳健贝叶斯分析的实际运用需要相应的软件。
❺ 贝叶斯分析的拟准分析
(五)拟(准)贝叶斯分析(quasi Bayesian analysis )
有一种目前不断在文献中出现的贝叶斯分析类型,它既不属于“纯”贝叶斯分析,也不同于非贝叶斯分析。在这种类型中,各种各样的先验分布的选取具有许多特别的形式,包括选择不完全确定的先验分布(vague proper priors);选择先验分布似然函数的范围进行“扩展”(span);对参数不断进行调整,从而选择合适的先验分布使得结论看起来非常完美。伯杰称之为拟(准)贝叶斯分析,因为虽然它包含了贝叶斯的思想,但它并没有完全遵守主观贝叶斯或客观贝叶斯在论证过程中的规范要求。
拟(准)贝叶斯方法,伴随着MCMC方法的发展,已经被证明是一种非常有效的方法,这种方法可以在使用过程中,不断产生新的数据和知识。虽然拟(准)贝叶斯方法还存在许多不足,但拟(准)贝叶斯方法非常容易创造出一些全新的分析过程,这种分析过程可以非常灵活地对数据进行分析,这种分析过程应该加以鼓励。对这种分析方法的评判,不必要按照贝叶斯内在的标准去衡量,而应使用其他外在的标准去判别(例如敏感性、模拟精度等)。
-----------学文
❻ 什么是贝叶斯分析法金融方面的
贝叶斯分析方法(Bayesian Analysis)提供了一种计算假设概率的方法,这种方法是基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身而得出的。其方法为,将关于未知参数的先验信息与样本信息综合,再根据贝叶斯公式,得出后验信息,然后根据后验信息去推断未知参数的方法。
❼ 贝叶斯分析方法的介绍
贝叶斯分析方法(Bayesian Analysis)提供了一种计算假设概率的方法,这种方法是基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身而得出的。其方法为,将关于未知参数的先验信息与样本信息综合,再根据贝叶斯公式,得出后验信息,然后根据后验信息去推断未知参数的方法。
❽ 贝叶斯定理厉害在哪里有哪些惊为天人的应用
比如,天气预报说,明天降雨的概率是30%。这是什么意思呢?因为我们无法像计算频率概率那样,重复地把明天过上100次,然后计算出大约有30次会下雨,所以只能利用有限的信息(过去天气的测量数据),采用贝叶斯定理来预测出明天下雨的概率是多少。同样的,在现实世界中,我们每个人都需要预测。要想深入分析未来、思考是否买股票、政策给自己带来哪些机遇、提出新产品构想,或者只是计划一周的饭菜。贝叶斯定理就是为了解决这些问题而诞生的,它可以根据过去的数据来预测出概率。贝叶斯定理的思考方式为我们提供了明显有效的方法来帮助我们提供能力,以便更好地预测未来的商业、金融、以及日常生活。
❾ 贝叶斯Logistic分析是什么做什么用的麻烦举个具体的例子。
个人的观点如下:
1.所谓预测,首先应该具有如下函数形式y=f(x).从时间角度,预测可以分为两种:
第一种:预测变量X和响应变量Y在同一个时间跨度范围内,用当前已知信息预测当前未知信息,比如在多元线性回归中。用已知的响应变量值信息建立一个模型来预测缺失的响应变量值。
第二种:预测变量X和响应变量Y不在同一个时间跨度范围内,且预测变量X时间发生在前,响应变量Y发生时间在后,此时用预测变量X信息预测响应变量Y,比如logistic回归分析,预测变量X时间一定在响应变量Y之前发生。
2.显然,在贝叶斯判别分析中,如果我们不考虑响应变量Y的缺失情况,响应变量的发生时间应该不会超过预测变量X的发生时间;因为Y是先验事件,那么此时用得到的判别函数去对新的观测值进行判别时,我们就不能把这种归类叫做“预测”,而应该叫做“归类”。也就是说,所得到的“预测”值Y实际上应该是“归类”值。考虑时间因素,实际上这种“归类”值是对响应变量Y的历史信息的一个“总结”,而不是对未来信息的一个“预测”。
3.而在logistic回归分析中,我们可以根据业务需要,人为对Y变量设置一个可以大于X的发生时间,这样一来,所得到的模型应该就是严格意义上的预测模型,因为我们可以用过去的X的信息预测将来Y的发生情况。
不知道这种理解对不对?
4.综述,个人认为把proc discrim过程和proc logistic过程做比较本身就是错误的,但是我看到很多外国文献都是把它们做对比。
❿ 贝叶斯分析的频率分析
(四)频率贝叶斯分析(frequentist Bayesian analysis )
统计学存在许多不断争议的学科基础—这种情况还会持续多久,现在很难想像。假设必须建立一个统一的统计学学科基础,它应该是什么呢?今天,越来越多的统计学家不得不面对将贝叶斯思想和频率思想相互混合成为一个统一体的统计学学科基础的事实。
伯杰从三个方面谈了他个人的观点。第一,统计学的语言(language of statistics)应该是贝叶斯的语言。统计学是对不确定性进行测度的科学。50多年的实践表明(当然不是令人信服的严格论证):在讨论不确定性时统一的语言就是贝叶斯语言。另外,贝叶斯语言在很多情况下不会产生歧义,比经典统计语言更容易理解。贝叶斯语言既可对主观的统计学进行分析,又可以对客观的统计学进行分析。第二,从方法论角度来看,对参数问题的求解,贝叶斯分析具有明显的方法论上的优势。当然,频率的概念也是非常有用的,特别是在确定一个好的客观贝叶斯过程方面。第三,从频率学派的观点看来,基础统一应该是必然的。我们早就认识到贝叶斯方法是“最优”的非条件频率方法(Berger,1985),现在从条件频率方法的角度,也产生了许多表明以上结论正确的依据。