熵權(quán)法
??熵權(quán)法是一種客觀賦權(quán)方法。（客觀 = 數(shù)據(jù)本身就可以告訴我們權(quán)重）
??依據(jù)的原理：指標(biāo)的變異程度越小，所反映的信息量也越少，其對(duì)應(yīng)的權(quán)值也應(yīng)該越低。
一、方法介紹
??熵權(quán)法就是根據(jù)一項(xiàng)指標(biāo)的變化程度來分配權(quán)重的，舉個(gè)例子：小張和小王是兩個(gè)高中生，小張學(xué)習(xí)好回回期末考滿分，小王學(xué)習(xí)不好考試常常不及格。在一次考試中，小張還是考了滿分，而小王也考了滿分。那就很不一樣了，小王這里包含的信息就非常大，所對(duì)應(yīng)的權(quán)重也就高一些。
??上面的小例子告訴我們：越有可能發(fā)生的事情，信息量越少。越不可能發(fā)生的事情，信息量就越多。其中我們認(rèn)為 概率 就是衡量事情發(fā)生的可能性大小的指標(biāo)。
??那么把 信息量 用字母
I
\bf I
I 表示，概率 用
p
\bf p
p 表示，那么我們可以將它們建立一個(gè)函數(shù)關(guān)系：
??那么，假設(shè) x 表示事件 X 可能發(fā)生的某種情況，p(x)表示這種情況發(fā)生的概率情況如上圖所示，該圖像可以用對(duì)數(shù)函數(shù)進(jìn)行擬合，那么最終我們可以定義：
I
(
x
)
=
?
ln
?
(
p
(
x
)
)
I(x) = -\ln(p(x))
I(x)=?ln(p(x))，因?yàn)?
0
≤
p
(
x
)
≤
1
0 ≤ p(x) ≤ 1
0≤p(x)≤1，所以
I
(
x
)
≥
0
I(x) ≥ 0
I(x)≥0。 接下來引入正題：
信息熵的定義
??假設(shè) x 表示事件 X 可能發(fā)生的某種情況，p(x) 表示這種情況發(fā)生的概率我們可以定義:
I
(
x
)
=
?
ln
?
(
p
(
x
)
)
I(x)=-\ln(p(x))
I(x)=?ln(p(x)) ，因?yàn)?span>
0
≤
p
(
x
)
≤
1
0≤p(x)≤1
0≤p(x)≤1 ，所以
I
(
x
)
≥
0
I(x)≥0
I(x)≥0 。 如果事件 X 可能發(fā)生的情況分別為:
x
1
,
x
2
,
?
?
,
x
n
x_1,x_2,\cdots,x_n
x1?,x2?,?,xn? ，那么我們可以定義事件
X
X
X 的信息熵為：
H
(
X
)
=
∑
i
=
1
n
[
p
(
x
i
)
I
(
x
i
)
]
=
?
∑
i
=
1
n
[
p
(
x
i
)
ln
?
(
p
(
x
i
)
)
]
H(X)=\sum_{i=1}^{n}[p(x_i)I(x_i)]=-\sum_{i=1}^{n}[p(x_i)\ln(p(x_i))]
H(X)=i=1∑n?[p(xi?)I(xi?)]=?i=1∑n?[p(xi?)ln(p(xi?))]
那么從上面的公式可以看出，信息上的本質(zhì)就是對(duì)信息量的期望值。
可以證明的是：
p
(
x
1
)
=
p
(
x
1
)
=
?
=
p
(
x
n
)
=
1
/
n
\ p(x_1)=p(x_1)=\cdots = p(x_n) = {1}/{n}
p(x1?)=p(x1?)=?=p(xn?)=1/n 時(shí)，
H
(
x
)
H(x)
H(x) 取最大值，此時(shí)
H
(
x
)
=
ln
?
(
n
)
H(x)=\ln(n)
H(x)=ln(n)。 (n表示事件發(fā)生情況的總數(shù))
二、熵權(quán)法的計(jì)算步驟
熵權(quán)法的計(jì)算步驟大致分為以下三步：
- 判斷輸入的矩陣中是否存在負(fù)數(shù)，如果有則要重新標(biāo)準(zhǔn)化到非負(fù)區(qū)間（后面計(jì)算概率時(shí)需要保證每一個(gè)元素為非負(fù)數(shù)）。
- 計(jì)算第 j 項(xiàng)指標(biāo)下第 i 個(gè)樣本所占的比重，并將其看作相對(duì)熵計(jì)算中用到的概率。
- 計(jì)算每個(gè)指標(biāo)的信息熵，并計(jì)算信息效用值，并歸一化得到每個(gè)指標(biāo)的熵權(quán)。
1. 判斷輸入的矩陣中是否存在負(fù)數(shù)，如果有則要重新標(biāo)準(zhǔn)化到非負(fù)區(qū)間（后面計(jì)算概率時(shí)需要保證每一個(gè)元素為非負(fù)數(shù)）。
假設(shè)有
n
n
n個(gè)要評(píng)價(jià)的對(duì)象，
m
m
m個(gè)評(píng)價(jià)指標(biāo)（已經(jīng)正向化了）構(gòu)成的正向化矩陣如下:
X
=
[
x
11
x
12
?
x
1
m
x
21
x
22
?
x
2
m
?
?
?
?
x
n
1
x
n
2
?
x
n
m
]
X= [x11x12?x1mx21x22?x2m????xn1xn2?xnm]
X=??????x11?x21??xn1??x12?x22??xn2???????x1m?x2m??xnm????????
設(shè)標(biāo)準(zhǔn)化矩陣為
Z
Z
Z，
Z
Z
Z 中元素記為
z
i
j
z_{ij}
zij?：
z
i
j
=
x
i
j
∑
i
=
1
n
x
i
j
2
z_{ij}=\frac{x_{ij}}{\sqrt{\displaystyle\sum_{i=1}^{n}{x_{ij}^2}}}
zij?=i=1∑n?xij2?
?xij??
判斷
Z
Z
Z 矩陣中是否存在著負(fù)數(shù)，如果存在的話，需要對(duì)
X
X
X 使用另一種標(biāo)準(zhǔn)化方法對(duì)矩陣
X
X
X 進(jìn)行一次標(biāo)準(zhǔn)化得到
Z
Z
Z 矩陣，其標(biāo)準(zhǔn)化的公式為:
z
i
j
=
x
i
j
?
m
i
n
{
x
1
j
,
x
2
j
,
?
?
,
x
n
j
}
m
a
x
{
x
1
j
,
x
2
j
,
?
?
,
x
n
j
}
?
m
i
n
{
x
1
j
,
x
2
j
,
?
?
,
x
n
j
}
z_{ij}=\frac{x_{ij} - min\lbrace x_{1j}, x_{2j},\cdots, x_{nj}\rbrace}{max\lbrace x_{1j}, x_{2j},\cdots, x_{nj} \rbrace - min\lbrace x_{1j}, x_{2j},\cdots, x_{nj} \rbrace}
zij?=max{x1j?,x2j?,?,xnj?}?min{x1j?,x2j?,?,xnj?}xij??min{x1j?,x2j?,?,xnj?}?
這樣可以保證
z
i
j
z_{ij}
zij? 在 [0,1] 區(qū)間，沒有負(fù)數(shù)。
2. 計(jì)算第 j 項(xiàng)指標(biāo)下第 i 個(gè)樣本所占的比重，并將其看作相對(duì)熵計(jì)算中用到的概率。
假設(shè)有
n
n
n 個(gè)要評(píng)價(jià)的對(duì)象，
m
m
m 個(gè)評(píng)價(jià)指標(biāo)，且經(jīng)過了上一步處理得到的非負(fù)矩陣為:
Z
=
[
z
11
z
12
?
z
1
m
z
21
z
22
?
z
2
m
?
?
?
?
z
n
1
z
n
2
?
z
n
m
]
Z= [z11z12?z1mz21z22?z2m????zn1zn2?znm]
Z=??????z11?z21??zn1??z12?z22??zn2???????z1m?z2m??znm????????
計(jì)算概率矩陣
P
P
P，其中
P
P
P 中每一個(gè)元素
p
i
j
p_{ij}
pij?，的計(jì)算公式如下:
p
i
j
=
z
i
j
∑
i
=
1
n
z
i
j
p_{ij}=\frac{z_{ij}}{\displaystyle\sum_{i=1}^{n}{z_{ij}}}
pij?=i=1∑n?zij?zij??
保證每一列的加和為1，即每個(gè)指標(biāo)所對(duì)應(yīng)的概率和為1。
3. 計(jì)算每個(gè)指標(biāo)的信息熵，并計(jì)算信息效用值，并歸一化得到每個(gè)指標(biāo)的熵權(quán)。
信息熵的計(jì)算：
對(duì)于第
j
j
j 個(gè)指標(biāo)而言，其信息嫡的計(jì)算公式為:
e
j
=
?
1
ln
?
n
∑
i
=
1
n
p
i
j
ln
?
(
p
i
j
)
,
(
j
=
1
,
2
,
?
?
,
m
)
e_j=-\frac{1}{\ln n}\sum_{i=1}^{n}{p_{ij}}\ln(p_{ij}), \quad(j=1,2,\cdots,m)
ej?=?lnn1?i=1∑n?pij?ln(pij?),(j=1,2,?,m)
這里要說明兩個(gè)問題：
1. 為什么這里要除以
ln
?
(
n
)
\ln(n)
ln(n) 這個(gè)常數(shù)?
在前面說過
p
(
x
1
)
=
p
(
x
2
)
=
.
.
.
=
p
(
x
n
)
=
1
/
n
p(x_1)=p(x_2)=...=p(x_n)=1/n
p(x1?)=p(x2?)=...=p(xn?)=1/n 時(shí)，
H
(
x
)
H(x)
H(x) 取最大值為
ln
?
(
n
)
\ln(n)
ln(n)，這里除以
ln
?
(
n
)
\ln(n)
ln(n) 能夠使得信息嫡的始終位于 [0,1] 區(qū)間上面。
2. ej 越大，即第 j 個(gè)指標(biāo)的信息嫡越大，表明第 j 個(gè)指標(biāo)的信息越多還是越少?
答案是越少。當(dāng)
p
1
j
=
p
2
j
=
?
=
p
n
j
p_{1j} = p_{2j} =\cdots=p_{nj}
p1j?=p2j?=?=pnj? 時(shí)，
e
j
e_j
ej? 取到最大值 1 。但是因?yàn)?
p
i
j
=
z
i
j
/
∑
i
=
1
n
z
i
j
p_{ij} = z_{ij}/\displaystyle\sum_{i=1}^{n}z_{ij}
pij?=zij?/i=1∑n?zij? ，所以
z
1
j
=
z
2
j
=
?
=
z
n
j
z_{1j} = z_{2j} =\cdots= z_{nj}
z1j?=z2j?=?=znj?，即 所有樣本的這個(gè)指標(biāo)值都相同。 指標(biāo)相同意味著這個(gè)指標(biāo)的數(shù)據(jù)沒有變化，也就是 信息少！ 因此需要將其倒轉(zhuǎn)，即計(jì)算信息效用值。 ??
信息效用值的定義:
d
j
=
1
?
e
j
d_j=1-e_j
dj?=1?ej?
那么信息效用值越大，其對(duì)應(yīng)的信息就越多。
將信息效用值進(jìn)行歸一化，我們就能夠得到每個(gè)指標(biāo)的 熵權(quán) :
ω
j
=
d
j
∑
j
=
1
m
d
j
,
(
j
=
1
,
2
,
3
,
?
?
,
m
)
\omega_j=\frac{d_j}{\displaystyle\sum_{j=1}^{m}d_j},\quad(j=1,2,3,\cdots,m)
ωj?=j=1∑m?dj?dj??,(j=1,2,3,?,m)
三、模型擴(kuò)展 （★）
- 熵權(quán)法可對(duì) TOPSIS 法進(jìn)行修正。
- 熵權(quán)法背后的原理是利用指標(biāo)的變異程度進(jìn)行賦權(quán)，存在一定程度的客觀性，可利用主觀賦權(quán)法求得的權(quán)重向量進(jìn)行綜合。
- 客觀賦權(quán)法存在很多，求得客觀權(quán)重的方法也有很多，其中灰色關(guān)聯(lián)分析法得到的關(guān)聯(lián)程度也可當(dāng)作權(quán)重進(jìn)行應(yīng)用。
- 不同的標(biāo)準(zhǔn)化方法，可能得到的標(biāo)準(zhǔn)化矩陣
Z
Z
Z 存在差異，因此根據(jù)實(shí)際情況來使用標(biāo)準(zhǔn)化方法，注意前提都是得到的
Z
Z
Z 矩陣中沒有負(fù)數(shù)。
四、模型總結(jié)
總結(jié)一下步驟：
- 判斷輸入的矩陣中 是否存在負(fù)數(shù)，如果有則要重新標(biāo)準(zhǔn)化到非負(fù)區(qū)間（后面計(jì)算概率時(shí)需要保證每一個(gè)元素為非負(fù)數(shù)）。
- 計(jì)算第 j 項(xiàng)指標(biāo)下第 i 個(gè)樣本所占的比重，并將其看作相對(duì)熵計(jì)算中用到的 概率。
- 計(jì)算每個(gè)指標(biāo)的信息熵，并計(jì)算信息效用值，并歸一化得到每個(gè)指標(biāo)的熵權(quán)。
本文借鑒了數(shù)學(xué)建模清風(fēng)老師的課件與思路，如果大家發(fā)現(xiàn)文章中有不正確的地方，歡迎大家在評(píng)論區(qū)留言哦~
|
