R中

Question

的KL-距离，我想用R.

这里计算从两个伽玛分布的KL距离是我的R-代码：

theta1 <- 0.2 
theta2 <- 2 

f <- function(u) 
{ 
    dgamma(u, shape=1/theta1, scale=theta1) * 
     (dgamma(u, shape=1/theta1, scale=theta1, log=TRUE) - 
     dgamma(u, shape=1/theta2, scale=theta2, log=TRUE)) 
} 

f <- Vectorize(f) 
integrate(f, lower=0, upper=Inf) 

你对我的R代码有任何评论？你认为这是计算KL距离的好方法吗？

任何建议将理解的，

THX， 马科

Answer 1

我将定义在所述功能中使用的所有参数。我的意思是：

my.theta1 <- 0.2 
my.theta2 <- 2 

f <- function(u, theta1, theta2) 
{ 
    dgamma(u, shape=1/theta1, scale=theta1) * 
     (dgamma(u, shape=1/theta1, scale=theta1, log=TRUE) - 
     dgamma(u, shape=1/theta2, scale=theta2, log=TRUE)) 
} 


f <- Vectorize(f) 
integrate(f, lower=0, upper=Inf, theta1 = my.theta1, theta2 = my.theta2) 

作为更加明确防止“意外”，因为你的函数搜索theta1和较高的（全球）环境（这会导致混乱，如果你有这个功能深埋程序内）theta2。

Answer 2

退房明确的公式在这里：

http://en.wikipedia.org/wiki/Gamma_distribution#Kullback.E2.80.93Leibler_divergence