关键词：
第1章统计学习方法概论
习题1.1
说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0与1的随机变量上的概率分布。假设观测到伯努利模型 n n n次独立的数据生成结果，其中 k k k次的结果为1，这时可以用极大似然估计或贝叶斯估计来估计结果为1的概率。
解答：
解答思路：
- 写出伯努利模型；
- 写出伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素；
- 根据伯努利模型的极大似然估计，估计结果为1的概率；
- 根据伯努利模型的贝叶斯估计，估计结果为1的概率。
解答步骤：
第1步：伯努利模型
根据题意：伯努利模型是定义在取值为0与1的随机变量上的概率分布。
对于随机变量
X
X
X，则有：
P
(
X
=
1
)
=
p
P
(
X
=
0
)
=
1
−
p
P(X=1)=p \\\\ P(X=0)=1-p
P(X=1)=pP(X=0)=1−p
其中，
p
p
p为随机变量
X
X
X取值为1的概率，
1
−
p
1-p
1−p则为取0的概率。
由于随机变量
X
X
X只有0和1两个值，
X
X
X的概率分布，即伯努利模型可写为：
P
p
(
X
=
x
)
=
p
x
(
1
−
p
)
(
1
−
x
)
,
0
⩽
p
⩽
1
P_p(X=x)=p^x (1-p)^(1-x), \\quad 0 \\leqslant p \\leqslant 1
Pp(X=x)=px(1−p)(1−x),0⩽p⩽1
则伯努利模型的假设空间为：
F
=
P
∣
P
p
(
X
)
=
p
x
(
1
−
p
)
(
1
−
x
)
,
p
∈
[
0
,
1
]
\\mathcalF=\\P|P_p(X)=p^x(1-p)^(1-x), p\\in [0,1] \\
F=P∣Pp(X)=px(1−p)(1−x),p∈[0,1]
第2步：伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素
（1）极大似然估计
模型：伯努利模型
策略：经验风险最小化。极大似然估计，等价于当模型是条件概率分布、损失函数是对数损失函数时的经验风险最小化。
算法：极大化似然：
arg
max
p
L
(
p
∣
X
)
=
arg
max
p
P
(
X
∣
p
)
\\displaystyle \\mathop\\arg\\max \\limits_p L(p|X)= \\mathop\\arg\\max \\limits_p P(X|p)
pargmaxL(p∣X)=pargmaxP(X∣p)
（2）贝叶斯估计
模型：伯努利模型
策略：结构风险最小化。贝叶斯估计中的最大后验概率估计，等价于当模型是条件概率分布、损失函数是对数损失函数、模型复杂度由模型的先验概率表示时的结构风险最小化。
算法：最大化后验概率：
arg
max
p
π
(
p
∣
X
)
=
arg
max
p
P
(
X
∣
p
)
π
(
p
)
∫
P
(
X
∣
p
)
π
(
p
)
d
p
\\displaystyle \\mathop\\arg\\max \\limits_p \\pi (p|X)= \\displaystyle \\mathop\\arg\\max \\limits_p \\fracP(X|p)\\pi(p)\\int P(X|p)\\pi(p)dp
pargmaxπ(p∣X)=pargmax∫P(X∣p)π(p)dpP(X∣p)π(p)
第3步：伯努利模型的极大似然估计
极大似然估计的一般步骤：
参考Wiki：https://en.wikipedia.org/wiki/Maximum_likelihood_estimation
- 写出随机变量的概率分布函数；
- 写出似然函数；
- 对似然函数取对数，得到对数似然函数，并进行化简；
- 对参数进行求导，并令导数等于0；
- 求解似然函数方程，得到参数的值。
对于伯努利模型
n
n
n次独立的数据生成结果，其中
k
k
k次的结果为1，可得似然函数为：
L
(
p
∣
X
)
=
P
(
X
∣
p
)
=
∏
i
=
1
n
P
(
x
(
i
)
∣
p
)
=
p
k
(
1
−
p
)
n
−
k
\\beginaligned L(p|X) &= P(X|p) \\\\ &= \\prod_i=1^n P(x^(i)|p) \\\\ &=p^k (1-p)^n-k \\endaligned
L(p∣X)=P(X∣p)=i=1∏nP(x(i)∣p)=pk(1−p)n−k
对似然函数取对数，得到对数似然函数为：
log
L
(
p
∣
X
)
=
log
p
k
(
1
−
p
)
n
−
k
=
log
(
p
k
)
+
log
(
(
1
−
p
)
n
−
k
)
=
k
log
p
+
(
n
−
k
)
log
(
1
−
p
)
\\beginaligned \\log L(p|X) &= \\log p^k (1-p)^n-k \\\\ &= \\log(p^k) + \\log\\left( (1-p)^n-k \\right) \\\\ &= k\\log p + (n-k)\\log (1-p) \\endaligned
logL(p∣X)=logpk(1−p)n−k=log(pk)+log((1−p)n−k)=klogp+(n−k)log(1−p)
求解参数
p
p
p：
p
^
=
arg
max
p
L
(
p
∣
X
)
=
arg
max
p
[
k
log
p
+
(
n
−
k
)
log
(
1
−
p
)
]
\\beginaligned \\hatp &= \\mathop\\arg\\max \\limits_p L(p|X) \\\\ &= \\mathop\\arg\\max \\limits_p \\left[ k\\log p + (n-k)\\log (1-p) \\right] \\endaligned
p^=pargmaxL(p∣X)=pargmax[klogp+(n−k)log(1−p)]
对参数
p
p
p求导，并求解导数为0时的
p
p
p值： 物联网考试复习题物联网考试复习题简答题单选题简答题单选题 查看详情 要求：1.请完成第四章习题6、7题，第五章习题6题。题目：第四章数据库安全性习题6.对下列两个关系模式∶学生（学号，姓名，年龄，性别，家庭住址，班级号）班级（班级号，班... 查看详情 课后习题和问题复习题2.2～2.5节R10.握手协议的作用是什么？ 一个协议使用握手机制，如果两个通信实体，将数据发送到彼此之前，第一交换控制包 的数据包。SMTP使用握手在应用层，HTTP没有。R11.为什么HTTP... 查看详情 计算系统概论ics第五章习题Homework4T1T2T3T4T5T6T7T8T9T10T11T12Homework4T1Listfiveaddressingmodes.GiveninstructionsADD,JMP,LEA,LDRandNOT,identifywhethertheinstructionsareoperateinstructions,datamovementinstruction 查看详情 相关文章：【Java练习题】Java程序的输出|第一套（含解析）【Java练习题】Java程序的输出|第二套（含解析）【Java练习题】Java程序的输出|第三套（含解析）【Java练习题】Java程序的输出|第四套（含解析）【Java练习题】Java程序的... 查看详情 相关文章：【Java练习题】Java程序的输出|第一套（含解析）【Java练习题】Java程序的输出|第二套（含解析）【Java练习题】Java程序的输出|第三套（含解析）【Java练习题】Java程序的输出|第四套（含解析）【Java练习题】Java程序的... 查看详情 习题：1.使用while循环输入 1234568910ViewCode2.求1-100所有数的和ViewCode3.输出1-100内所有奇数/偶数偶数：ViewCode奇数：ViewCode4.求1-2+3-4...+99所有数的和ViewCode 查看详情 第一节第二节 查看详情 1packagecom.ju;23publicclasspower{45//颜色6privateStringyanse;78//品牌9privateStringpinpai;1011//电池容量12privatedoublemah;1314//当前容量15privatedoubledqmah;1617//充电18publicvoidchongdian(doubledianliang)19{20if 查看详情 目录题目2问题解答题目3问题解答题目2问题求图4.31中顶点v0v0v 查看详情
∂
log
L
(
p
)
∂
p
=
k
p
−
n
−
k
1
−
p
=
k
(
1
−
p
)
−
p
(
n
−
k
)
p
(
1
−
p
)
=
k
−
n
p
p
(
1
−
p
)
\\beginaligned \\frac\\partial \\log L(p)\\partial p &= \\frackp - \\fracn-k1-p \\\\ &= \\frack(1-p) - p(n-k)p(1-p) \\\\ &= \\frack-npp(1-p) \\endaligned
∂p∂logL(p)=pk−1−pn−k<物联网考试复习题
习题6|7第五章习题6(代码片段)
课后习题和问题复习题2.2～2.5节
习题
java练习题java程序的输出|第八套（含解析）
java练习题java程序的输出|第八套（含解析）
习题01
第二章习题
课后习题
继承---练习题
课后习题
课后习题
课后习题
综合习题-01
练习题
指令系统：本章习题
课后习题1
课后习题