Bài giảng Mạng nơron và ứng dụng trong xử lý tín hiệu - Kết hợp mẫu - Nguyễn Công Phương

Nguyễn Công Phương
Mạng nơron
và ứng dụng trong xử lý tín hiệu
Kết hợp mẫu
Nội dung
• Giới thiệu
• Các mạng nơron đơn giản dùng cho phân loại mẫu
• Kết hợp mẫu
• Các mạng cạnh tranh
• Lý thuyết cộng hưởng thích nghi
• Mạng lan truyền ngược
Lô í h ờ à ơ lô í h ờ• g c m v mạng n ron g c m
• Một số ứng dụng trong xử lý tín hiệu
2Kết hợp mẫu
Nội dung
• Giới thiệu
• Các thuật toán huấn luyện
• Mạng ký ức dị kết
• Mạng ký ức tự kết
• Mạng tự kết lặp
• Mạng ký ức kết hợp lưỡng hướng
3Kết hợp mẫu
Giới thiệu
• Học: thiết lập sự kết hợp giữa các mẫu có liên quan 
• VD: nhận ra một người
• Mạng ký ức: mạng một lớp có khả năng ghi nhớ sự kết 
hợp của các mẫu
• Đồng kết: véctơ được kết hợp giống với véctơ mục đích 
• Dị kết: véctơ được kết hợp khác với véctơ mục đích
• Khả năng ghi nhớ của mạng
Kết hợp mẫu 4
Nội dung
• Giới thiệu
• Các thuật toán huấn luyện
• Mạng ký ức dị kết
• Mạng ký ức tự kết
• Mạng tự kết lặp
• Mạng ký ức kết hợp lưỡng hướng
5Kết hợp mẫu
ấCác thuật toán hu n luyện (1)
Bước 1 Khởi tạo tất cả các trọng số
wi = 0 (i = 1 tới n)
Bước 2 Đặt giá trị cho các nơron đầu vào
xi = si
Bước 3 Đặt giá trị cho nơron đầu ra
yj = tj
Bước 4 Chỉnh trọng số
wi(mới) = wi(cũ) + xiyj (i = 1 tới n)
Bước 5 Lặp lại các bước 2, 3, 4 cho tất cả cặp đầu vào & đầu ra của bộ huấn luyện
( ) ( )
P
ij i jw s p t p  ( ) ( )P T p p W s t
Kết hợp mẫu 6
1p 1p
ấCác thuật toán hu n luyện (2)
j ij i
i
y w x 
( ) ( ) ( )míi còw w t y x ij ij j j i
( )ij j j iw t y x  
Kết hợp mẫu 7
ấCác thuật toán hu n luyện (3)
1
( _ ); _
n
J J J iJ i
i
y f y vao y vao w x  

2( )
m
j je t y 
1j
_2( ) 2( ) '( )JJ J J J I J
e y vaot y t y x f y vao       _
IJ IJw w 
( ) '( )IJ J J I Jw t y x f y vao  
Kết hợp mẫu 8
_
Nội dung
• Giới thiệu
• Các thuật toán huấn luyện
• Mạng ký ức dị kết
• Mạng ký ức tự kết
• Mạng tự kết lặp
• Mạng ký ức kết hợp lưỡng hướng
9Kết hợp mẫu
ếMạng ký ức dị k t (2)
X1
w1j
Y1w11
w 1
1 _ 0
0 0
nÕu 
nÕu
jy vao
y y vao
 
X

Y
i wn1
w
_
1 _ 0
nÕu 
j j
jy vao
 
 
i

j
w1m
ij
w
1 _ 0nÕu jy vaoy
 
Xn Ym
im
wnm
0 _ 0nÕu j jy vao 
Kết hợp mẫu 10
ếMạng ký ức dị k t (3)
s1 s2 s3 s4 t1 t2
VD1
4
y vao w x X1
w11
w12
1 0 0 0 1 0
1 1 0 0 1 0
0 0 0 1 0 1
1
_ j ij i
i
X2 Y1w21
w22
0 0 1 1 0 1
(1,0,0,0) : (1,0)
X3 Y2
w
w31
w32
1 21; 0y y 
11 11 1 1( ) ( ) 0 1 1míi còw w x y    
(1 1 0 0) (1 0)
X4
41
w42
1 0nÕu jy vao 
, , , : ,
1 21; 0y y 
11 11 1 1( ) ( ) 1 1 2míi còw w x y    
Kết hợp mẫu 11
_
0 _ 0nÕu j j
y
y vao
 21 21 2 1( ) ( ) 0 1 1míi còw w x y    
ếMạng ký ức dị k t (4)
s1 s2 s3 s4 t1 t2
VD1
2 0 
Cách 1
1 0 0 0 1 0
1 1 0 0 1 0
0 0 0 1 0 1
1 0
0 1
0 2
      
w
0 0 1 1 0 1
(1,0,0,0) : (1,0) (0,0,0,1) : (0,1)
1 21; 0y y 
11 11 1 1( ) ( ) 0 1 1míi còw w x y    
(1 1 0 0) (1 0)
1 20; 1y y 
42 42 4 2( ) ( ) 0 1 1míi còw w x y    
(0 0 1 1) : (0 1), , , : ,
1 21; 0y y 
11 11 1 1( ) ( ) 1 1 2míi còw w x y    
, , , ,
1 20; 1y y 
32 32 3 2( ) ( ) 0 1 1míi còw w x y    
Kết hợp mẫu 12
21 21 2 1( ) ( ) 0 1 1míi còw w x y     42 42 4 2( ) ( ) 1 1 2míi còw w x y    
ếMạng ký ức dị k t (5)
s1 s2 s3 s4 t1 t2
VD1
4
y vao w x X1
w11
w12
1 0 0 0 1 0
1 1 0 0 1 0
0 0 0 1 0 1
1
_ j ij i
i
X2 Y1w21
w22
0 0 1 1 0 1
2 0 
X3 Y2
w
w31
w32
1 0
0 1
0 2
      
w
X4
41
w42
1 0nÕu jy vao 
1 1 2_ 2
2
y vao x x 
Kết hợp mẫu 13
_
0 _ 0nÕu j j
y
y vao
 2 3 4
_y vao x x 
ếMạng ký ức dị k t (6)
s1 s2 s3 s4 t1 t2
VD1 Cách 2
1 0 1 0 0 0 0 0 2 0         1 0 0 0 1 0
1 1 0 0 1 0
0 0 0 1 0 1
0 0 1 0 0 0 0 0 1 0
0 0 0 0 0 0 0 1 0 1
                                        
w
0 0 1 1 0 1
(1,0,0,0) : (1,0) 1 1 0       (0,0,0,1) : (0,1)
0 0 0      
0 0 0 0 0 1 0 1 0 2         
 (1) 0 0 01 0
0 0 0
0 0 0
             
w
(1 1 0 0) (1 0)
 (3) 0 0 00 1
0 0 0
1 0 1
             
w
(0 0 1 1) : (0 1), , , : ,
 (2)
1 1 0
1 1 0
1 0
          w
, , , ,
 (4)
0 0 0
0 0 0
0 1
          w
Kết hợp mẫu 14
0 0 0
0 0 0
         
1 0 1
1 0 1
         
ếMạng ký ức dị k t (7)
s1 s2 s3 s4 t1 t2
VD1
X1
w11
w12
1 0 0 0 1 0
1 1 0 0 1 0
0 0 0 1 0 1
X2 Y1w21
w22
0 0 1 1 0 1
2 0 
X3 Y2
w
w31
w32
1 0
0 1
0 2
      
w
X4
41
w42
1 0nÕu jy vao    1 2 1 2 3 4
2 0
1 0
y vao y vao x x x x
     
Kết hợp mẫu 15
_
0 _ 0nÕu j j
y
y vao
 
_ _
0 1
0 2  
ếMạng ký ức dị k t (8)
s1 s2 s3 s4 t1 t2
VD2
4 4 1 –1 –1 –1 1 –1
1 1 –1 –1 1 –1
–1 –1 –1 1 –1 1
2 2
2 2

     
w
–1 –1 1 1 –1 1
(1, 1, 1, 1) : (1, 1)    1 1 1       ( 1, 1, 1,1) : ( 1,1)   
1 1 1       
4 4 
 (1) 1 1 11 1
1 1 1
1 1 1
                 
w
(1 1 1 1) (1 1)
 (3) 1 1 11 1
1 1 1
1 1 1
                
w
( 1 1 1 1) : ( 1 1), , , : ,  
 (2)
1 1 1
1 1 1
1 1
           w
, , , ,  
 (4)
1 1 1
1 1 1
1 1
             w
Kết hợp mẫu 16
1 1 1
1 1 1
           
1 1 1
1 1 1
         
ếMạng ký ức dị k t (9)
s1 s2 s3 s4 t1 t2
VD3
2 0  y vao x w1 0 0 0 1 0
1 1 0 0 1 0
0 0 0 1 0 1
1 0
0 1
0 2
      
w 1 _ 0
0 _ 0
nÕu 
nÕu 
j
j
j
y vao
y
y vao

  
_ .
0 0 1 1 0 1
Kiểm tra: x1 = (0,1,0,0) & x2 = (0,1,1,0)?
   1
2 0
1 0
0 1 0 0 1 0
     y vao    2
2 0
1 0
0 1 1 0 1 1
     y vao0 1
0 2  
_
0 1
0 2  
_
Kết hợp mẫu 17
 1 1 0 y  2 1 1 y
ếMạng ký ức dị k t (10)VD4
4 4 s1 s2 s3 s4 t1 t2 y vao x w
2 2
2 2
4 4
      
w
1 –1 –1 –1 1 –1
1 1 –1 –1 1 –1
–1 –1 –1 1 –1 1
1 _ 0
1 _ 0
nÕu 
nÕu 
j
j
j
y vao
y
y vao

  
_ .

Kiểm tra x = (0,1,0,–1)?
–1 –1 1 1 –1 1
4 4     2 20 1 0 1 6 6
2 2
4 4
       
y_vao  1 1  y
Kết hợp mẫu 18
Nội dung
• Giới thiệu
• Các thuật toán huấn luyện
• Mạng ký ức dị kết
• Mạng ký ức tự kết
• Mạng tự kết lặp
• Mạng ký ức kết hợp lưỡng hướng
19Kết hợp mẫu
ếMạng ký ức tự k t (2)
X1
w1j
Y1w11
w 1
X

Y
i wn1
w
1 _ 0nÕu j
j
y vao
y
 i

j
w1n
ij
w
1 _ 0nÕu jy vao 
Xn Yn
in
wnn
Kết hợp mẫu 20
ếMạng ký ức tự k t (3)
Bước 1 Khởi tạo tất cả các trọng số
wi = 0 (i = 1 tới n)
B ớ 2 Đặt iá t ị h á đầ àư c g r c o c c nơron u v o
xi = si
Bước 3 Đặt giá trị cho nơron đầu ra
yj = tj
Bước 4 Chỉnh trọng số
wi(mới) = wi(cũ) + xiyj (i = 1 tới n)
Bước 5 Lặp lại các bước 2, 3, 4 cho tất cả cặp đầu vào & đầu ra của bộ huấn luyện
( ) ( )
P
T i i w s s
Kết hợp mẫu 21
1i
ếMạng ký ức tự k t (4)VD1
Xây dựng mạng nơron lưu trữ x1 = (1,1,1,–1)?
P
1
( ) ( )T
i
i i

 w s s
 1
1 1 1 1 1
1 1 1 1 1
1 1 1 1
              w 1 1 1 1 1
1 1 1 1 1
         
Kết hợp mẫu 22
ếMạng ký ức tự k t (5)VD2
1 1 1 1  1 (1,1,1, 1) x
1 1 1 1
1 1 1 1
     
w
2
3
4
( 1,1,1, 1)
(1, 1,1, 1)
(1,1, 1, 1)
  
  
  
x
x
x
Cho ; tính:
1 1 1 1   
5 (1,1,1,1)x
1 1 1 1 
   1 1 1 1 1 11 1 1 1 4 4 4 41 1 1 1

        
y_vao x w
1 1 1 1   
 1 1 1 1
Kết hợp mẫu 23
1  y
ếMạng ký ức tự k t (6)VD2
1 1 1 1  1 (1,1,1, 1) x
1 1 1 1
1 1 1 1
     
w
2
3
4
( 1,1,1, 1)
(1, 1,1, 1)
(1,1, 1, 1)
  
  
  
x
x
x
Cho ; tính:
1 1 1 1   
5 (1,1,1,1)x
   4 4 4 4 1 1 1 1     y vao x w y
   2 2 22 2 2 2 1 1 1 1     y_vao x w y
1 1 1_
   3 3 32 2 2 2 1 1 1 1     y_vao x w y
   4 4 42 2 2 2 1 1 1 1     y_vao x w y
Kết hợp mẫu 24
   5 5 52 2 2 2 1 1 1 1     y_vao x w y
ếMạng ký ức tự k t (7)VD3
1 1 1 1  1 (1,1,1, 1) x
1 1 1 1
1 1 1 1
     
w
2
3
4
(0,1,1, 1)
(1,0,1, 1)
(1,1,0, 1)
 
 
 
x
x
x
Cho ; tính:
1 1 1 1   
5 (1,1,1,0)x
   4 4 4 4 1 1 1 1     y vao x w y
   2 2 23 3 3 3 1 1 1 1     y_vao x w y
1 1 1_
   3 3 33 3 3 3 1 1 1 1     y_vao x w y
   4 4 43 3 3 3 1 1 1 1     y_vao x w y
Kết hợp mẫu 25
   5 5 53 3 3 3 1 1 1 1     y_vao x w y
ếMạng ký ức tự k t (8)VD4
1 1 1 1 
1 1 1 1
1 1 1 1
     
w 1
2
(1,1,1, 1)
( 1, 1,1, 1)
 
   
x
x
Cho ; tính:
1 1 1 1   
   4 4 4 4 1 1 1 1     y vao x w y
 2 2 0 0 0 0 y_vao x w
1 1 1_
Kết hợp mẫu 26
ếMạng ký ức tự k t (9)VD5
1 1 1 1 0 1 1 1        1
(1,1,1, 1) x
0
1 1 1 1 1 0 1 1
;
1 1 1 1 1 1 0 1
1 1 1 1 1 1 1 0
                    
w w 2
3
(0,0,1, 1)
(0,1,0, 1)
(0 1 1 0)
 
 

x
x
x
Cho ; tính:
   4 4 4 4 1 1 1 1     y vao x w y
4
5
6
, , ,
(1,0,0, 1)
(1,0,1,0)
 

x
x
   1 1 0 13 3 3 3 1 1 1 1     y_vao x w y
1 1 1_
   
7 (1,1,0,0)x
2 2 0 22 2 1 1 1 1 1 1     y_vao x w y
   3 3 0 32 1 2 1 1 1 1 1     y_vao x w y
Kết hợp mẫu 27
   4 4 0 42 1 1 2 1 1 1 1     y_vao x w y
ếMạng ký ức tự k t (10)
a) Xây dựng mạng nơron lưu trữ x1 = (1,1,–1,–1)
b) Xây dựng mạng nơron lưu trữ x = ( 1 1 1 1)
VD6
 2 – , , ,–
   
1 1 1 2 2 2
1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1
;
1 1 1 1 1 1 1 1
T T
   
                     
w x x w x x
1 1 1 1 1 1 1 1      
   
Hoặc
10 20
0 1 1 1 0 1 1 1
1 0 1 1 1 0 1 1
;
1 1 0 1 1 1 0 1
   
                   
w w
Kết hợp mẫu 28
1 1 1 0 1 1 1 0      
ếMạng ký ức tự k t (11)
Xây dựng mạng nơron lưu trữ x1 = (1,1,–1,–1) & x2 = (–1,1,1,–1)
VD7
   
1 1 1 2 2 2
1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1
;
1 1 1 1 1 1 1 1
T T
   
                     
w x x w x x
1 1 1 1 1 1 1 1      
2 0 2 0
0 2 0 2
    1 1 4 4 4 4   y_vao x w
1 2 2 0 2 0
0 2 0 2
       
w w w  1 1 1 1 1   y
 1 1 0 2 2 2 2   y_vao x w
Hoặc 0
0 0 2 0
0 0 0 2
2 0 0 0
     w
 1 1 1 1 1   y
 2 2 0 2 2 2 2   y vao x w
Kết hợp mẫu 29
0 2 0 0
    2 1 1 1 1   
_
y
ếMạng ký ức tự k t (12)
Xây dựng mạng nơron lưu trữ x1 = (1,–1,–1, 1) & x2 = (1,1,–1,1)
VD8
   
1 2
0 1 1 1 0 1 1 1
1 0 1 1 1 0 1 1
;
1 1 0 1 1 1 0 1
  
                   
w w
1 1 1 0 1 1 1 0     
0 0 2 2
0 0 0 0
  
1 2 2 0 0 2
2 0 2 0
        
w w w
 1 1 0 4 0 4 4  y_vao x w
Kết hợp mẫu 30
 2 2 0 4 0 4 4  y_vao x w
ếMạng ký ức tự k t (13)
Xây dựng mạng nơron lưu trữ x1 = (1,1,–1,–1), x2 = (–1,1,1,–1), & x3 = (–1,1,–1,1)
VD9
     
10 20 30
0 1 1 1 0 1 1 1 0 1 1 1
1 0 1 1 1 0 1 1 1 0 1 1
;
1 1 0 1 1 1 0 1 1 1 0 1
     
                                
w w w
1 1 1 0 1 1 1 0 1 1 1 0          
0 1 1 1
1 0 1 1
    
0 10 20 30 1 1 0 1
1 1 1 0
              
w w w w
   1 1 0 11 1 1 1 1 1 1 1       y_vao x w y
   2 2 0 21 1 1 1 1 1 1 1       y_vao x w y
Kết hợp mẫu 31
   3 3 0 31 1 1 1 1 1 1 1       y_vao x w y
ếMạng ký ức tự k t (14)
Xây dựng mạng nơron lưu trữ x1 = (1,1,–1,–1), x2 = (–1,1,1,–1), x3 = (–1,1,–1,1), & 
x = (1 1 1 1)
VD10
4 , , , .
0 1 1 1 0 1 1 1 0 1 1 1               
10 20 30
1 0 1 1 1 0 1 1 1 0 1 1
;
1 1 0 1 1 1 0 1 1 1 0 1
1 1 1 0 1 1 1 0 1 1 1 0
                                     
w w w
0 1 1 1
1 0 1 1
   
0 0 0 0
0 0 0 0
   
40 1 1 0 1
1 1 1 0
    
w 0 10 20 30 40 0 0 0 0
0 0 0 0
        
w w w w w
Kết hợp mẫu 32
ếMạng ký ức tự k t (15)
n – 1 véctơ phân cực (mỗi véctơ có n phần tử) trực giao
lẫ h l ô l l i đ t ột t kếtn n au u n ưu ạ ược rong m mạng ự
Kết hợp mẫu 33
Nội dung
• Giới thiệu
• Các thuật toán huấn luyện
• Mạng ký ức dị kết
• Mạng ký ức tự kết
• Mạng tự kết lặp
• Mạng ký ức kết hợp lưỡng hướng
34Kết hợp mẫu
ếMạng tự k t lặp (1)VD1
0 1 1 1 
1 0 1 1
1 1 0 1
     
w 1
2
(1,1,1, 1)
(1,0,0,0)
 

x
x
Cho ; tính:
1 1 1 0   
 (1)2 2 0 1 1 1  y_vao x w
 (2) (1)2 2 3 2 2 2  y_vao y_vao w
 1 1 1 1  y
Kết hợp mẫu 35
ếMạng tự k t lặp (2)
Bước 1 Khởi tạo tất cả các trọng số & các hệ số học
Bước 2 Đặt giá trị kích hoạt
yi = xi
Bước 3 Tính các đầu vào
Bước 4 Tính các đầu ra
_ i i j ji
j
y vao y y w  
1 _ 1
_ 1 _ 1
1 1
nÕu 
nÕu 
nÕu
i
i i i
i
y vao
y y vao y vao
y vao
     
Bước 4 Chỉnh trọng số
wij(mới) = wij(cũ) + βyiyj
Bước 5 Lặp lại các bước 2, 3, 4 cho tất cả cặp đầu vào & đầu ra của bộ huấn luyện
_ 
Kết hợp mẫu 36