Bài giảng Mạng nơron và ứng dụng trong xử lý tín hiệu - Các mạng nơron đơn giản dùng cho phân loại mẫu - Nguyễn Công Phương

Nguyễn Công Phương
Mạng nơron
và ứng dụng trong xử lý tín hiệu
Các mạng nơron đơn giản
dùng cho phân loại mẫu
Nội dung
• Giới thiệu
• Các mạng nơron đơn giản dùng cho phân loại mẫu
• Kết hợp mẫu
• Các mạng cạnh tranh
• Lý thuyết cộng hưởng thích nghi
• Mạng lan truyền ngược
Lô í h ờ à ơ lô í h ờ• g c m v mạng n ron g c m
• Một số ứng dụng trong xử lý tín hiệu
2Các mạng nơron đơn giản dùng cho phân loại mẫu
Nội dung
• Giới thiệu
• Mạng Hebb
• Perceptron
• Adaline
• Madaline
3Các mạng nơron đơn giản dùng cho phân loại mẫu
Giới thiệu (1)
1
X1 b
Y
w1
1 0
( )
nÕu 
Õ
 
net
f net
Xi

wi 1 0n u    i i
i
net
net b w x
Xn
wn
Các mạng nơron đơn giản dùng cho phân loại mẫu 4
xGiới thiệu (2) 2
2
b
w

1
b
w


b 1x0
1
1 0
( )
1 0
nÕu 
nÕu 
  
  
net
f net
net
net b w x w x
YX1 w1
1 1 2 2
X2
w2
1 1 2 2 0b w x w x  
1w b
Các mạng nơron đơn giản dùng cho phân loại mẫu 5
2 1
2 2
x x
w w
   
Giới thiệu (3)
2x
x1 x2 y
2 9 1
3 5 1
1 2270 18; 15     b w w
6 8 1
12 3 1 15b 
7 15 –1
8 11 –1
12 14 –1
2w
14 6 –1
1 0
( )
nÕu    nety f net
1x0 18b
w
 1 2
1 0
270 15 18
nÕu  
  
net
net x x
8 5 270 15 8 18 5 60      x x net 1 y
Các mạng nơron đơn giản dùng cho phân loại mẫu 6
11 2
, . .
1 211, 7 270 15.11 18.7 21       x x net 1y  
Giới thiệu (4)
2x
15b 
2w
1 2270 18; 15     b w w
1 2540 30; 36     b w w
1x0 18b
w
 
1 21 0,056; 0,067     b w w
Các mạng nơron đơn giản dùng cho phân loại mẫu 7
1
Giới thiệu (5)
x1 x2 y x1 x2 y
2 9 1
3 5 1
6 8 1
2 9 –1
3 5 –1
6 8 1
12 3 1
7 15 –1
–
12 3 –1
7 15 1
8 11 –1
12 14 –1
14 6 –1
8 11 1
12 14 1
14 6 1
1 0
( )
1 0
nÕu 
nÕu
   
net
y f net
net
1 0
( )
1 0
nÕu 
nÕu
   
net
y f net
net
Các mạng nơron đơn giản dùng cho phân loại mẫu 8
1 2270 15 18
  net x x 1 2270 15 18
   net x x
Giới thiệu (6)
2x
1x0
Các mạng nơron đơn giản dùng cho phân loại mẫu 9
Giới thiệu (7)
1
X1 b
Y
w1
1 0
( )
nÕu 
Õ
 
net
f net
Xi

wi 1 0n u    i i
i
net
net b w x
Xn
wn
0  i ib w xBiên giới:
Các mạng nơron đơn giản dùng cho phân loại mẫu 10
i
Nội dung
• Giới thiệu
• Mạng Hebb
• Perceptron
• Adaline
• Madaline
11Các mạng nơron đơn giản dùng cho phân loại mẫu
Mạng Hebb (1)
Bước 1 Khởi tạo tất cả các trọng số
wi = 0 (i = 1 tới n)
B ớ 2 Đặt iá t ị h á đầ àư c g r c o c c nơron u v o
xi = si
Bước 3 Đặt giá trị cho nơron đầu ra
y = t
Bước 4 Chỉnh trọng số
wi(mới) = wi(cũ) + xiy (i = 1 tới n)
Chỉnh bias
b(mới) = b(cũ) + y 
Bước 5 Lặp lại các bước 2, 3, 4 cho tất cả cặp đầu vào & đầu ra của bộ huấn luyện
Các mạng nơron đơn giản dùng cho phân loại mẫu 12
Mạng Hebb (2)
x1 x2 b y x1y x2y w1 w2 b
VD1
1 1 1 1
1 0 1 0
0 0 0
1 1 0 + 1 = 1 0 + 1 = 1 0 + 1 = 1
0 0 1 + 0 = 1 1 + 0 = 1 1 + 0 = 1
0 1 1 0
0 0 1 0
0 0 1 + 0 = 1 1 + 0 = 1 1 + 0 = 1
0 0 1 + 0 = 1 1 + 0 = 1 1 + 0 = 1
Bước 1 wi = 0 (i = 1 tới n)
Bước 2 xi = si
Bước 3 y = t 1 0( )
nÕu    netf net Bước 4 wi(mới) = wi(cũ) + xiy (i = 1 tới n)
b(mới) = b(cũ) + y
Bước 5 Lặp lại các bước 2, 3, 4 1 2
0 0
1
nÕu 
  
net
net x x
Các mạng nơron đơn giản dùng cho phân loại mẫu 13
Mạng Hebb (3)
x1 x2 b y x1y x2y w1 w2 b
VD1
1 1 1 1
1 0 1 –1
0 0 0
1 1 0 + 1 = 1 0 + 1 = 1 0 + 1 = 1
–1 0 1 – 1 = 0 0 + 1 = 1 1 – 1 = 0
0 1 1 –1
0 0 1 –1
0 –1 0 + 0 = 0 1 – 1 = 0 0 – 1 = –1
0 0 0 + 0 = 0 0 + 0 = 0 –1 – 1 = –2
Bước 1 wi = 0 (i = 1 tới n)
Bước 2 xi = si
Bước 3 y = t 1 0( )
nÕu    netf net Bước 4 wi(mới) = wi(cũ) + xiy (i = 1 tới n)
b(mới) = b(cũ) + y
Bước 5 Lặp lại các bước 2, 3, 4 1 2
1 0
2 0 0
nÕu  
   
net
net x x
Các mạng nơron đơn giản dùng cho phân loại mẫu 14
Mạng Hebb (4)
x1 x2 b y x1y x2y w1 w2 b
VD1
1 1 1 1
1 –1 1 –1
0 0 0
1 1 0 + 1 = 1 0 + 1 = 1 0 + 1 = 1
–1 1 1 – 1 = 0 1 + 1 = 2 1 – 1 = 0
–1 1 1 –1
–1 –1 1 –1
1 –1 0 + 1 = 1 2 – 1 = 1 0 – 1 = –1
1 1 1 + 1 = 2 1 + 1 = 2 –1 – 1 = –2
Bước 1 wi = 0 (i = 1 tới n)
Bước 2 xi = si
Bước 3 y = t 1 0( )
nÕu    netf net Bước 4 wi(mới) = wi(cũ) + xiy (i = 1 tới n)
b(mới) = b(cũ) + y
Bước 5 Lặp lại các bước 2, 3, 4 1 2
1 0
2 2 2
nÕu  
   
net
net x x
Các mạng nơron đơn giản dùng cho phân loại mẫu 15
Mạng Hebb (5)
# . . . # 1 1 1 1 1    
VD2
. # . # .
. . # . .
# #
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
         . . .
# . . . # 1 1 1 1 1
  
    
1, 1, 1, 1,1; 1,1, 1,1, 1; 1, 1,1, 1, 1; 1,1, 1,1, 1;1, 1, 1, 1,1               
. # # # .
# . . . #
1 1 1 1 1
1 1 1 1 1
       # . . . #
# . . . #
. # # # .
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
         
Các mạng nơron đơn giản dùng cho phân loại mẫu 16
1,1,1,1, 1;1, 1, 1, 1,1;1, 1, 1, 1,1;1, 1, 1, 1,1; 1,1,1,1, 1            
Mạng Hebb (6)
# . . . #
(1) [1, 1, 1, 1,1, 1,1, 1,1, 1, 1, 1,1, 1, 1, 1,1, 1,1, 1,1, 1, 1, 1,1]                x
(1)
VD2
. # . # .
. . # . .
. # . # .
(0) [0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]w
1y
(0) 0b
# . . . # (1) (0) (1) (1)
[1, 1, 1, 1,1, 1,1, 1,1, 1, 1, 1,1, 1, 1, 1,1, 1,1, 1,1, 1, 1, 1,1]
 
                
yw w x
(1) (0) (1) 0 1 1 b b y
. # # # .
# . . . #
(2) [ 1,1,1,1, 1,1, 1, 1, 1,1,1, 1, 1, 1,1,1, 1, 1, 1,1, 1,1,1,1, 1]             x
  
(2) 1 y
# . . . #
# . . . #
. # # # .
(2) (1) (2) (2)
[2, 2, 2, 2,2, 2,2,0,2, 2, 2,0,2,0, 2, 2,2,0,2, 2,2, 2, 2, 2,2]
 
            
yw w x
(2) (1) (2) 1 1 0    b b y
Các mạng nơron đơn giản dùng cho phân loại mẫu 17
Mạng Hebb (7)
1 0
( )
1 0
nÕu 
nÕu
  
net
f net
net
VD2
25
1
[2, 2, 2, 2,2, 2,2,0,2, 2, 2,0,2,0, 2, 2,2,0,2, 2,2, 2, 2, 2,2]



            
 i iinet w x
w
# . . . .
. # . # .
. . # . .
[1, 1, 1, 1, 1, 1,1, 1,1, 1, 1, 1,1, 1, 1, 1,1, 1,1, 1,1, 1, 1, 1,1]                 x
40net
. # . # .
# . . . #
1f
# # # # .
# . . . #
# . . . #
[1,1,1,1, 1,1, 1, 1, 1,1,1, 1, 1, 1,1,1, 1, 1, 1,1, 1,1,1,1, 1]            x
40 net
Các mạng nơron đơn giản dùng cho phân loại mẫu 18
# . . . #
. # # # .
1 f
Mạng Hebb (8)
x1 x2 x3 y
VD3
(1, 1,1)
3x
( 1,1,1)
(1,1,1)
1 1 1 1
1 1 –1 –1
1 –1 1 –1
–1 1 1 –1
1x
2x
(1,1, 1)
1 0
( )
nÕu net
f net
  1 0
2
nÕu net
net
 
 
Các mạng nơron đơn giản dùng cho phân loại mẫu 19
Nội dung
• Giới thiệu
• Mạng Hebb
• Perceptron
• Adaline
• Madaline
20Các mạng nơron đơn giản dùng cho phân loại mẫu
Perceptron (1)
1
X1 b
Y
w1
Xi

wi
1
( ) 0
nÕu 
nÕu
net
f net net

 
   
Xn
wn 1
nÕu net   
( ) ( )íi ò t
Các mạng nơron đơn giản dùng cho phân loại mẫu 21
m ci i iw w x
Perceptron (2)
Bước 1 Khởi tạo tất cả các trọng số
wi = 0; α = 1;
Bước 2 Đặt giá trị cho các nơron đầu vào
xi = si
B ớ 3 Tí h iá t ị ủ đầư c n g r c a nơron u ra
1
; 0
nÕu 
nÕu i i
net
net b w x y net

 
     
Bước 4 Chỉnh trọng số
Nếu y ≠ t
w (mới) = w (cũ) + αtx ; b(mới) = b(cũ) + αt ;
1 nÕu net   
i i i 
Nếu y = t
wi(mới) = wi(cũ) ; b(mới) = b(cũ) ;
Bước 5 Lặp lại các bước 2, 3, 4 cho tất cả cặp đầu vào & đầu ra của bộ huấn luyện
ế ố ế
Các mạng nơron đơn giản dùng cho phân loại mẫu 22
Bước 6 Lặp lại các bước 2, 3, 4, 5 cho đ n khi các trọng s không bi n thiên nữa
Perceptron (3)
x1 x2 b t
VD1
x1t x2t αt net y w1 w2 b
1 1 1 1
1 0 1 –1
0 0 0
1 1 1 0 0 1 1 1
–1 0 –1 2 1 0 1 0
0 1 1 –1
0 0 1 –1
0 –1 –1 1 1 0 0 –1
0 0 –1 –1 –1 0 0 –1
1 0,5nÕu 
 

 i inet b w x
net
x1t x2t αt net y w1 w2 b
0 0 –1
0 0,5 0,5
1 0,5
nÕu 
nÕu 
     
y net
net
Nếu y ≠ t : w (mới) = w (cũ) + αtx
1 1 1 –1 –1 1 1 0
–1 0 –1 1 1 0 1 –1
0 –1 –1 0 –1 0 0 –2
Các mạng nơron đơn giản dùng cho phân loại mẫu 23
 i i i
b(mới) = b(cũ) + αt 0 0 –1 –2 –1 0 0 –2
Perceptron (4)
x1 x2 b t
VD1
x1t x2t αt net y w1 w2 b
1 1 1 1
1 0 1 –1
0 0 0
1 1 1 0 0 1 1 1
–1 0 –1 2 1 0 1 0
0 1 1 –1
0 0 1 –1
0 –1 –1 1 1 0 0 –1
0 0 –1 –1 –1 0 0 –1
1 0,5nÕu 
 

 i inet b w x
net
x1t x2t αt net y w1 w2 b
0 0 –1
0 0,5 0,5
1 0,5
nÕu 
nÕu 
     
y net
net
Nếu y ≠ t : w (mới) = w (cũ) + αtx
1 1 1 –1 –1 2 3 –4
–1 0 –1 –2 –1 2 3 –4
0 –1 –1 –1 –1 2 3 –4
Các mạng nơron đơn giản dùng cho phân loại mẫu 24
 i i i
b(mới) = b(cũ) + αt 0 0 –1 –4 –1 2 3 –4
Perceptron (5)
x1 x2 b t
VD1
x1t x2t αt net y w1 w2 b
1 1 1 1
1 –1 1 –1
0 0 0
1 1 1 0 0 1 1 1
–1 1 –1 1 1 0 2 0
–1 1 1 –1
–1 –1 1 –1
1 –1 –1 2 1 1 1 –1
1 1 –1 –3 –1 1 1 –1
1 0,5nÕu 
 

 i inet b w x
net
x1t x2t αt net y w1 w2 b
1 1 –1
0 0,5 0,5
1 0,5
nÕu 
nÕu 
     
y net
net
Nếu y ≠ t : w (mới) = w (cũ) + αtx
1 1 1 1 1 1 1 –1
–1 1 –1 –1 –1 1 1 –1
1 –1 –1 –1 –1 1 1 –1
Các mạng nơron đơn giản dùng cho phân loại mẫu 25
 i i i
b(mới) = b(cũ) + αt 1 1 –1 –3 –1 1 1 –1
Perceptron (6)
# . . . #
. # . # .
. # # # .
# . . . #
# . . . .
. # . # .
# # # # .
# . . . #
# . . . #
. # . # .
# . . . #
. # . # .
. . # . .
. # . # .
# . . . #
# . . . #
# . . . #
. # # # .
. . # . .
. # . # .
# . . . #
# . . . #
# . . . #
. # # # .
. . # . .
. . # . .
. . # . .
. . . . .
. . # . .
. . # . .

X1

Y1w1,1
wi,1w1j
Xi
w25,1
Yjwij
 w1,mwi,mw25,j
Các mạng nơron đơn giản dùng cho phân loại mẫu 26
X25 Ymw25,m
Perceptron (7)
• Nếu có một bộ trọng số w* sao cho đầu ra của mạng
đúng với giá mục tiêu, thì dù xuất phát từ bất kỳ bộ trọng
số w nào, thuật toán huấn luyện perceptron cũng luôn hội
tụ về một bộ trọng số, mà với bộ trọng số này, giá trị đầu
ra đúng với mọi giá trị mục tiêu, và bộ trọng số này thu
đ t ột ố b ớ lặ hữ hược rong m s ư c p u ạn
Các mạng nơron đơn giản dùng cho phân loại mẫu 27
Nội dung
• Giới thiệu
• Mạng Hebb
• Perceptron
• Adaline
• Madaline
28Các mạng nơron đơn giản dùng cho phân loại mẫu
Adaline (1)
1
X1 b
Y
w1
Xi

wi
Xn
wn
Các mạng nơron đơn giản dùng cho phân loại mẫu 29
Adaline (2)
Bước 1 Khởi tạo tất cả các trọng số & hệ số học α
Bước 2 Đặt giá trị cho các nơron đầu vào
xi = si
Bước 3 Tính giá trị của nơron đầu ra
Bước 4 Chỉnh trọng số
i inet b w x 
wi(mới) = wi(cũ) + α(t – net)xi ; b(mới) = b(cũ) + α(t – net) ;
Bước 5 Lặp lại các bước 2, 3, 4 cho tất cả cặp đầu vào & đầu ra của bộ huấn luyện
Bước 6 Lặp lại các bước 2, 3, 4, 5 cho đến khi sự thay đổi trọng số lớn nhất trong
ốbước 4 nhỏ hơn một sai s cho trước
Các mạng nơron đơn giản dùng cho phân loại mẫu 30
Adaline (3)
x1 x2 t
VD1
1 1 1
1 0 –1
4
2[ ( ) ( ) ( )]e x i w x i w w t i   
0 1 –1
0 0 –1
1 1 2 2 0
1i
1 2 02; 2; 2,5w w w   
Các mạng nơron đơn giản dùng cho phân loại mẫu 31
Adaline (4)
x1 x2 t
VD2
1 1 1
1 –1 –1
4
2[ ( ) ( ) ( )]e x i w x i w w t i   
–1 1 –1
–1 –1 –1
1 1 2 2 0
1i
1 2 00,5; 0,5; 0,5w w w   
Các mạng nơron đơn giản dùng cho phân loại mẫu 32
Adaline (5)
x1 x2 t
VD3
1 1 1
1 –1 1
4
2[ ( ) ( ) ( )]e x i w x i w w t i   
–1 1 1
–1 –1 –1
1 1 2 2 0
1i
1 2 00,5; 0,5; 0,5w w w  
Các mạng nơron đơn giản dùng cho phân loại mẫu 33
Adaline (6)
2
2
1
( )
n
i i
i
e t net t x w

      
2( ) 2( )e net  I
I I
t net t net x
w w
      
( )I Iw t net x   
Các mạng nơron đơn giản dùng cho phân loại mẫu 34
Adaline (7)
2
1
( )
m
j j
j
e t net

 
2 2
1
( ) ( )
m
j j J J
jIJ IJ IJ
e t net t net
w w w
       
2( ) 2
n n
J
J J J i iJ i iJ
nett net t x w x w           1 1
2( )
i iIJ IJ
J J I
w w
t net x
 
  
Các mạng nơron đơn giản dùng cho phân loại mẫu 35
( )IJ J J Iw t net x   
Nội dung
• Giới thiệu
• Mạng Hebb
• Perceptron
• Adaline
• Madaline
36Các mạng nơron đơn giản dùng cho phân loại mẫu
Madaline (1)
1 1
X1 w11
b1
b3
Z1
Y
v1w12
w21
v2Z2
X2
w22
1
b2 1 0
( )
1 0
nÕu 
nÕu 
x
f x
x
  
Các mạng nơron đơn giản dùng cho phân loại mẫu 37
Madaline (2)
Bước 1 Khởi tạo: v1 = 0,5; v2 = 0,5; b3 = 0,5; tất cả các trọng số còn lại và hệ số học α lấy
các giá trị ngẫu nhiên nhỏ
Bước 2 Đặt giá trị cho các nơron đầu vào
xi = si
Bước 3 Tính giá trị đầu vào cho các adaline ẩn:
z vao = b + w x + w x ; z vao = b + w x + w x_ 1 1 11 11 21 2 _ 2 2 12 1 22 2
Bước 4 Tính giá trị đầu ra của các adaline ẩn:
z1 = f(z_vao1); z2 = f(z_vao2);
Bước 5 Tính giá trị đầu ra của mạng:
y vao = b + v z + v z ; y = f(y vao);_ 3 1 1 2 2 _
Bước 6 Tính sai số & cập nhật trọng số:
Nếu t = y: không cập nhật trọng số
Nếu t = 1: cập nhật trọng số cho adaline ẩn ZJ có đầu vào gần 0 nhất
b (mới) = b (cũ) + α(1 – net ); w (mới) = w (cũ) + α(1 – net )x ;j j J iJ iJ J i
Nếu t = –1:cập nhật tất cả các trọng số cho các adaline ẩn Zk có đầu vào dương
bk(mới) = bk(cũ) + α(–1 – netk); wik(mới) = wik(cũ) + α(–1 – netk)xi
Bước 7 Lặp lại các bước từ 2 – 6 cho tất cả các véctơ huấn luyện
Bước 8 Lặp lại các bước từ 2 – 7 cho đến khi các trọng số ngừng thay đổi (hoặc thay đổi ít
Các mạng nơron đơn giản dùng cho phân loại mẫu 38
hơn một ngưỡng cho trước), hoặc nếu số lần lặp bằng một giá trị cho trước
Madaline (3)
x1 x2 t
VD
11 21 10,2; 0,1; 0,3w w b  
1 1 –1
1 –1 1
12 22 2
1 2 3
0,1; 0,3; 0,4
0,5; 0,5; 0,5; 0,5
w w b
v v b 
  
   
–1 1 1
–1 –1 –1
1 21; 1x x 
1_ 0,3 0,2 0,1 0,6
0 4 0 1 0 3 0 7
z vao    
2_ , , , ,z vao    
1 1 2 2( _ ) 1; ( _ ) 1z f z vao z f z vao   
_ 0,5 0,5 0,5 1,5y vao    
( _ ) 1y f y vao 
Các mạng nơron đơn giản dùng cho phân loại mẫu 39
1 1 2 0t y      
Madaline (4)
x1 x2 t
VD
11 21 10,2; 0,1; 0,3w w b  
1 1 –1
1 –1 1
12 22 2
1 2 3
0,1; 0,3; 0,4
0,5; 0,5; 0,5; 0,5
w w b
v v b 
  
   
0 6; 0 7z vao z vao 
–1 1 1
–1 –1 –1
1 2_ , _ ,
11 21 1
12 22 2
0,6; 0,7; 0,5
0,75; 0,55; 0,45
w w b
w w b
     
     
1 1 1( ) ( ) ( 1 _ )
0,3 0,5( 1 0,6) 0,5
míi còb b z vao   
     
2 2 2( ) ( ) ( 1 _ )
0,4 0,5( 1 0,7) 0,45
míi còb b z vao   
     
11 11 1 1( ) ( ) ( 1 _ )
0,2 0,5( 1 0,6)1 0,6
míi còw w z vao x   
     
( ) ( ) ( 1 )míi còw w z vao x 
12 12 2 2( ) ( ) ( 1 _ )
0,1 0,5( 1 0,7)1 0,75
míi còw w z vao x   
     
( ) ( ) ( 1 )míi còw w z vao x 
Các mạng nơron đơn giản dùng cho phân loại mẫu 40
21 21 1 2_
0,1 0,5( 1 0,6)1 0,7
 
     
22 22 2 2_
0,3 0,5( 1 0,7)1 0,55
 
     