nhng vic mỡnh cn hon thnh. Cụ cung cp cho nhúm nhng li khuyờn mang tớnh
nh hng ỳng n khi nhúm gp khú khn trong quỏ trỡnh nghiờn cu. Nhúm cỏm
n nhng ngi bn ó h tr, cung cp nhng ti liu v mng nron quý giỏ v
giỳp v mt thit k, nh ú m ỏn ny c hon thnh ỳng hn.
H Ni, ngy 30 thỏng 5 nm 2007
Nhúm thc hin ỏn
Nguyn Ngc Hi
Cao Th Phong
Vừ on Qu Anh
5
CHNG 1: Lí THUYT MNG NRON
1.1 Nron t nhiờn
Thnh phn cu thnh c bn ca h thn kinh trung ng l nron. T bo
sinh hc ny nhn v x lý thụng tin v sau ú giao tip vi cỏc phn khỏc ca c th
con ngi. Hỡnh 1.1 trỡnh by mt mụ hỡnh n gin cỏc nron sinh hc v hỡnh 1.2
mụ t mt nron sinh hc. Thõn t bo thn kinh c gi l soma v c bao
quanh bi mt lp mng huyt tng mng.
Hỡnh 1.1: S 5 nron liờn kt vi nhau
6
Hỡnh 1.2: S mt nron sinh hc
Mi t bo thn kinh nhn nhiu u vo thụng qua cỏc dendrite v sau khi x lý s
to mt u ra dc theo axon. im ni gia mt axon v mt dendrite c gi l
synapse. Thụng tin do mt t bo thn kinh to ra c truyn dc theo axon ca nú.
Mt axon kt thỳc mi ni khp ca mt nron khỏc.
V mt x lý thụng tin, mt nron vi nhiu dendrite nh nhiu u vo v mt axon
i din mt u ra cú th c xem nh mt h MISO. Cỏc hm x lý thụng tin
trong h MISO ny c chia thnh 4 loi. Hỡnh 1.3 mụ t mt nron n gin.
Hỡnh 1.3: Mụ hỡnh mt nron n gin cú nhiu u vo v mt u ra
7
Dendrites: Chỳng bao gm mt cõy nhiu nhỏnh, úng vai trũ nh cỏc u vo ca
nron. Trung bỡnh cú
3 4
10 10
dendrite trờn mt nron.
Synapse: õy l vựng cha ng cỏc kinh nghim trong quỏ kh. Nú cung cp b
nh di hn cho cỏc kinh nghim c thu thp trong quỏ kh. Vựng ny nhn thụng
tin t cỏc giỏc quan hay t cỏc nron khỏc v cung cp u ra thụng qua axon.
Soma: Thõn t bo thn kinh c gi soma. Nú nhn thụng tin t synapse v sau ú
x lý thụng tin. Hu nh tt cỏc cỏc chc nng logic ca nron c thc hin
soma.
Axon: u ra ca nron c gi l axon.
1.2 Nron nhõn to
Hỡnh 1.4: N-ron nhõn to
Cu trỳc mt nron nhõn to (xem hỡnh 1.4) bao gm cỏc thnh phn sau:
u vo
1 2
, , ,
n
x x x
: Cỏc u vo nhõn vi cỏc trng s
1 2
, , ,
n
w w w
. Mt u vo
cú giỏ tr bng 1 c gi l 1 bias v c ký hiu l
0
x
.
Hm s u vo f tớnh tp hp cỏc tớn hiu u vo cho nron
( , )u f x w=
, trong ú
x v w ln lt l cỏc vect u vo v trng s. Thụng thng chn f l hm tng
1
n
i i
i
u x w
=
=
.
Hm kớch thớch s tớnh toỏn mc kớch thớch ca nron a=s(u).
8
Hm ỏp ng tớnh toỏn giỏ tr tớn hiu u ra ca nron o=g(a). Tớn hiu u ra ca
tớn hiu thụng thng bng mc kớch thớch ca nron o=a.
Tựy theo s khỏc nhau ca tng tham s trờn m sinh ra cỏc kiu nron khỏc nhau.
Cỏc giỏ tr u vo v u ra ca 1 nron cú th s nh phõn {0,1}, s lai
{-,1}, giỏ tr liờn tc trong on [0,1], hoc cỏc s ri rc trong 1 khong c nh
ngha trc.
Hỡnh 1.5: Cỏc hm kớch thớch hay c s dng nht: (a) Hm chn cng; (b-1),
(b-2) Cỏc hm chn tuyn tớnh ; (c) Cỏc hm sigma: hm logsig (c-1), hm logsig 2
cc (c-2); (d) hm gaussian (hm hỡnh qu chuụng)
Hỡnh trờn mụ t cỏc loi hm kớch thớch hay c s dng nht.
Hm chn cng (hỡnh 1.5[a]). Nu giỏ tr u vo ca mng ln hn 1 giỏ tr chn
no ú thỡ nron tr nờn tớch cc (giỏ tr kớch thớch bng 1), ngc li nú s khụng
tớch cc (giỏ tr kớch thớch bng 0).
Hm chn tuyn tớnh. Giỏ tr kớch thớch s tng tuyn tớnh cựng vi s tng ca tớn
hiu u vo v khi n mt ngng no ú u ra s bóo hũa. Cỏc kiu hm chn
tuyn tớnh khỏc nhau ph thuc vo phm vi ca giỏ tr u ra nron (hỡnh 1.5[b-1],
1.5[b-2]).
9
Hm sigma. Hm sigma l hm truyn phi tuyn hỡnh ch S c c trng bi cỏc
yu t sau.
B chn, cỏc giỏ tr ca nú b hn ch gia 2 ngng, vớ d nh [0 1], [-1 1].
n iu tng, ngha l cỏc giỏ tr ca g(u) khụng bao gi gim khi u tng.
Liờn tc v tng, do ú cú th o hm mi im trong min ca hm xỏc nh ca
hm. Cỏc kiu hm sigma khỏc nhau c s dng trong thc t l: hm logsig
1
1
cu
a
e
=
+
(hỡnh 1.5[c-1]) trong ú c l hng s. Mt hỡnh thc khỏc ca hm
logsig l hm logsig 2 cc:
( )
1
1
cu
cu
e
h u
e
=
+
(hỡnh 1.5[c-1]) v hm tansig:
( )
tanh
cu cu
cu cu
e e
u
e e
=
+
.
Hm gaussian (hm hỡnh qu chuụng, hỡnh 1.5[d]).
1.3 Mng truyn thng v hun luyn mng theo thut toỏn
Brandt-Lin
1.3.1 Mng truyn thng
Mng nron nhõn to l tp hp cỏc nron nhõn to c liờn kt vi nhau
theo mt quy lut nht nh nhm phc v nhu cu ca ngi thit k mng. Cú 2
loi mng nron thng c s dng l mng truyn thng v mng hi tip. Hỡnh
1.6 mụ t mng truyn thng v mng hi tip. Dự cu trỳc ca mng nron thuc
loi no thỡ mng nron u cú cu to chung l c cu thnh t cỏc lp. Lp u
tiờn c gi l lp u vo (input layer), lp cui cựng c gi l lp u ra
(output layer), cỏc lp gia c gi l cỏc lp n (hidden layer).
10
Hỡnh 1.6 : (a) Mng truyn thng ; (b) Mng hi tip
Khi ng dng i vi mt h ng hc, yờu cu tớnh toỏn nhanh luụn c lờn
hng u. Mng hi tip tn nhiu thi gian tớnh toỏn nờn trong ni dung ỏn
ny, chỳng em s dng mng truyn thng.
Sau õy s xem xột mt mng nron truyn thng v tớnh toỏn u ra ca mng.
Vớ d xột mng nron 2 lp sau:
Hỡnh 1.7: Mng nron 2 lp
Gi
(k)
ij
w
l trng s ca nron th i, cú u vo l j, thuc lp th k.
11
i
x
l u vo th i, i=1,2,3
i
z
l u ra ca nron th i thuc lp n, i=1,2,3.
o l u ra ca lp u ra.
1
net
,
2
net
ln lt l hm truyn ca lp n, lp u ra.
Tớnh u ra ca cỏc lp:
Lp n:
(1) (1) (1) (1)
1 1 11 2 12 3 13
(1)
1 1 1
(1) (1) (1) (1)
2 1 21 2 22 3 23
(1)
2 1 2
(1) (1) (1) (1)
3 1 31 2 32 3 33
(1)
3 1 3
w w w
( )
w w w
( )
w w w
( )
a x x x
z net a
a x x x
z net a
a x x x
z net a
= + +
=
= + +
=
= + +
=
Lp u ra:
(2) (2) (2) (2)
1 11 2 12 3 13
(2)
2
a = z w + z w + z w
o= net (a )
1.3.2 Thut toỏn Brandt-Lin
T tng ca thut toỏn Brandt-Lin chia nh mt h thng phc tp thnh N
h thng con gi l cỏc nỳt. Mi nỳt cú 1 tớn hiu u ra kh tớch
n
y
v nhiu tớn hiu
u vo kh tớch
n
x
. u vo v u ra ca cỏc nỳt c ni vi nhau thụng qua cỏc
trng s.
n
x
. c tớnh ng hc ca mi trm c mụ t bng mt hm nhõn qu
:={ }
n n n
F : , n 1,2, ,N , X Y Nđ ẻ
trong ú
n
X
v
n
Y
l khụng gian u vo v u ra. Nh vy, u ra
( )
t
n
y
ca nỳt
th n c xỏc nh bng phng trỡnh sau
( ) ( )
( )
n n n
y t = F x t n , Nẻ
12
Hỡnh 2.1: Phõn tớch 1 h thng theo thut toỏn Brandt-Lin
nh lý. i vi mt h thng cú tớnh ng hc cho bi
p
j i ij i
j
F w y
l l l l
y
-
=
ộ ự
ờ ỳ
=
ờ ỳ
ở ỷ
ồ
1
1
(1)
nu cỏc trng s liờn kt
ij
w
l
c thớch nghi theo
q
+1
ij jk jk i ij i
k
j j
E
w w w F x y
y y
l l l l' l l
l l
( ) ( )
g
+ -
=
ả
= -
ả
ồ
1 1
1
1
& &
(2)
thỡ ch s cht lng
2
1
1
( )
2
n
m i
i
E y y
=
=
s gim dn theo thi gian. Núi túm li l
phng trỡnh sau luụn tha món:
q
+1
ij jk jk i ij i
k
j j
E
w w w F x y
y y
l l l l' l l
l l
( ) ( )
g
+ -
=
ả
= -
ả
ồ
1 1
1
1
& &
(3)
trong ú
g
>0
l h s thớch nghi.
Trong ú
ij
w
l
l trng s liờn kt ca nỳt th j thuc lp l xut phỏt t nỳt th i.
j
y
l
l u ra ca nỳt th th j thuc lp l.
l
ij ij i
x w y
-
=
1l l
.
l u vo ca nỳt th j thuc lp l xut phỏt t nỳt th i.
q l s lng nhỏnh ra xut phỏt t nỳt th j ca lp l
13
Chng minh.
Hỡnh 2.2: Mt phn ca mng nron
ij
ij ij ij
1
i
ij
' 1
ij
w w
( )
l l
j
l l l l
j
l
j
l
l l
j
l l l
j i
l
j
dy dx
dE dE
d dy dx d
dy
dE
y
dy dx
dE
F x y
dy
=
=
=
' 1
ij ij
1
1
1
1 1' +1
jk
1
1
1
(1)
w ( )
( ) (2)
l l l l l
j j i
l
q
k
l l l l
k
j j k j
q
l l l
jk k
l l
k
j k
dE dE
dy d F x y
dy
dE E dE
dy y dy dy
E dE
w F x
y dy
+
+
=
+ +
+
=
=
= +
= +
14
Không có nhận xét nào:
Đăng nhận xét