贝叶斯决策:贝叶斯决策例题讲解
3. 贝叶斯决策
张朝晖
zhangzhaohui_hbsd@163.com
河北师范大学数学与信息科学学院
2011.7.29
主要内容
二. 最小错误率贝叶斯决策
三. 最小风险的贝叶斯决策
四. 应用
模式识别的分类(状态决策)问题：
根据识别对象的特征观测，将其划分到某类别统计模式识别：
用概率统计的观点和方法来解决模式识别问题贝叶斯决策论（统计决策理论）：
是统计模式识别的基本方法和基础;
利用概率的不同，进行分类决策、或决策代价折衷;
----“最优分类器”
几个基本概念：
[1]特征空间及特征维数: d 维特征空间,记为ℜ=R
T d [2]特征向量: x =[x 1,..., x d ]∈R
T 或：观察x 为d 维，x =[x 1, x 2,..., x d ]；
[3]类别状态数c , 类别状态变量ω: d x 1, x 2,..., x d 分别为随机变量。
各具体类别状态：第一类，ω=ω1； ... ； 第c 类，ω=ωc
[4]先验概率：
预先已知的，或者可以估计的模式识别系统位于某一 类别的概率。
一般的c 类问题：各类别ωi 的先验概率P (ωi ), i =1,..., c P(ω1)+... +P (ωc )=1
几个基本概念：
[5]样本分布密度(或：总体概率密度)p(x)
∫p(x)dx=1
ℜ
[6]类条件概率密度(class -conditional probabili ty density )函数
系统位于某种类别条件下，模式样本x 出现的概率密度分布函数。 同一类别的事物的各属性具有一定的变化范围，以函数形式表示， 记为：p(x|ωi ), i =1,..., c
∫p(x|ωi ) dx =1,
ℜi i =1,..., c
[7]后验概率(posterior probability)
来自系统的某个具体模式样本，属于某种类别的概率。
记为：P(ωi |x), i =1,..., c
∑P(ωi |x) =1
i=1c
主要内容
一. 引言
二. 情况1. 两类问题的最小错误率贝叶斯决策情况2. 多类问题的最小错误率贝叶斯决策
三. 最小风险的贝叶斯决策
四. 应用
3. 两类问题情况下，基于最小错误率的贝叶斯决策两类问题情况下，基于
问题1：什么是错误率(误差率，平均错误率)
问题2：最大后验概率决策是否意味着最小错误率决策？问题3：问题4：基于最小错误率的贝叶斯决策规则是什么？如何计算最小错误率判决规则下的错误率？
3. 两类问题情况下，基于最小错误率的贝叶斯决策(续1) 两类问题情况下，基于
(1)错误率(平均错误率)
错误率(平均错误率)是关于P (e |x ) 的期望，记为P (e )
对于连续随机变量x ，有 P (e ) =∫P (e |x ) p (x ) dx
ℜ
(2)最大后验概率贝叶斯决策就是基于最小错误率贝叶斯决策 每一个具体观测x 的判决，都对应一个条件错误概率P (e |x ) ，显然，P (e |x ) 是关于x 的函数；
对于大量观测进行判决时，得到平均错误概率
P (e ) =∫P (e |x ) p (x ) dx ，其中P (e |x ) ≥0, p (x ) ≥0
对于所有x ，若能保证决策时关于x 的后验概率最大，则可保证P (e |x ) 最小，则有P (e ) 最小。
(5)错误率(平均错误率) 的计算
如图1维特征空间时，P (e ) =∫P (e |x ) p (x ) d x
ℜ
=P (ω2) ∫p (x |ω2) dx +P (ω1) ∫p (x |ω1) dx
ℜ1t
ℜ2+∞
=P (ω2) ∫p (x |ω2) dx +P (ω1) ∫p (x |ω1) dx
−∞
t
=P (ω2) P 2(e ) +P (ω1) P 1(e )
(2)错误率(平均错误率) 的计算
直接计算：
P (e ) =∫P (e |x ) p (x ) dx =
ℜ
c c c ℜ=ℜ1∪ℜ2∪ ∪ℜc ∫P (e , x ) dx
=∑P (x ∉ℜi , ωi ) =∑∑P (x ∈ℜj , ωi )
i =1
c i =1j =1j ≠i
=∑∑P (ωi ) P (x ∈ℜj |ωi )
i =1j =1j ≠i c
工作量大
(2)错误率(平均错误率) 的计算
间接计算：
平均正确率
P (c ) =∑P (x ∈ℜi , ωi )
i =1c
=∑P (ωi ) P (x ∈ℜi |ωi ) =∑P (ωi ) ∫p (x |ωi ) dx
i =1i =1
c ℜi c c
所以 P (e ) =1−P (c ) =1−∑P (ωi ) ∫p (x |ωi ) dx
i =1ℜi
多类情况下，基于最小错误率的判决规则，各等价形式
(1)后验概率：
若 P (ωi |x ) =max P (ωj |x ) j =1,2,.., c
则 x ∈ωi 类
(2)似然概率×先验概率：
若 p (x |ωi ) P (ωi ) =max P (ωj |x ) P (ωj ) j =1,2,..., c
则 x ∈ωi 类
主要内容
一. 引言
二. 最小错误率贝叶斯决策
问题描述；
有关概念；
决策意义、步骤、规则
四. 应用
1. 问题描述
[1]观测x
x 为d 维随机向量，x =[x 1, x 2,..., x d ] x1, x 2,..., x d 分别为随机变量。T
[2]状态空间Ω
c 个自然状态（c 类），Ω={ω1,..., ωc }
[3]决策空间(或：行动空间)A
={α1,..., αk } 对观测x 可能采取的k 个决策 A
注：c 与k 可能不同
1. 问题描述
[4]损失函数λ(αi , ωj )=λij
对真实类别状态为ωj 的观察x ，采取决策αi 所带来的损失(或：风险),简称λij 。
i =1, 2,..., k j =1, 2,.. ., c
可以" 决策表格" 形式提供λij
c [5]类条件概率密度p (x |ωi ) ∑i =1
c p (x |ωi ) =1 i =1,..., c [6]状态先验概率P (ωi ) ∑P (ωi ) =1 i =1,..., c
i =1
⇒目标：对所有的x 进行决策，使损失最小。
2. 与“风险”“损失”有关的几个名词
[1]决策表对于具体观测x ，所有可能采取的决策或行动
都会带来一定风险，以决策表表示：
2. 与“风险”“损失”有关的几个名词
[2]观测x 的条件期望损失(或：x 的条件风险)R (α(x )|x )分析：x 真实类别有多种可能 ωj ， j =1, 2,.. ., c
观测x 为ωj 类的概率 P (ωj |x ) ，j =1, 2, . . ., c 对于每种可能的真实类别ωj ，对x 采取决策为α(x ) 决策α(x )有多种可能αi , i =1, 2,..., k
若对真实类别为ωj 类的x ，采取决策α(x )=αi 则在决策表中对应损失为 λ(αi , ωj )
→条件期望损失：R (α(x )|x )
对观测x 在各种可能类别下，采取决策α(x )所造成 的平均损失。
5. 两类别问题的最小风险决策规则，及等价形式c =k =2
对于观测x ：
决策行为αi =" 将待识别x 判决为ωi 类", i =1,2 实属类别ωj ，但判为ωi 引起的损失：λ(αi , ωj )=λij 计算条件风险：R (αi |x ) =∑λij P (ωj |x ) ，i =1,2
j =12
⎧R (α1|x ) =P (ω1|x ) λ11+P (ω2|x ) λ12 ⎨⎩R (α2|x ) =P (ω1|x ) λ21+P (ω2|x ) λ22
分析：
⎧状态空间Ω={ω1=正常, ω2=异常}⎪⎪决策空间A ={α1=判决为ω1, α2=判决为ω2}⎪⎪⎨⎧(1)⇒先验概率⎪⎪有关概率信息⎪2⇒类条件概率P (x =阳性|ω) ()⎨1⎪⎪⎪|ω) 3⇒类条件概率=阳性P (x ()2⎩⎩
确定：R (αi |x =阳性), i =1, 2
最小风险贝叶斯决策-小结
最小风险贝叶斯决策意义
最小风险贝叶斯决策规则
基于最小风险贝叶斯决策规则，对观测x的判决步骤¾¾¾
主要内容
一. 引言
二. 最小错误率贝叶斯决策
三. 最小风险的贝叶斯决策
四. 应用：
¾建模(训练); 模型评价；基于模型的状态预测¾基于最小错误率贝叶斯决策的花型识别：
3类；
特征描述：花萼长、花萼宽、花瓣长、花瓣宽；训练样本数据: fisheriris.mat ；每类样本50组待识别样本数据：10组