Bài giảng Mạng nơron và ứng dụng trong xử lý tín hiệu - Nguyễn Công Phương

Nguyễn Công Phương
Mạng nơron
và ứng dụng trong xử lý tín hiệu
Giới thiệu
Nội dung
• Giới thiệu
• Các mạng nơron đơn giản dùng cho phân loại mẫu
• Kết hợp mẫu
• Các mạng cạnh tranh
• Lý thuyết cộng hưởng thích nghi
• Mạng lan truyền ngược
Lô í h ờ à ơ lô í h ờ• g c m v mạng n ron g c m
• Một số ứng dụng trong xử lý tín hiệu
2Giới thiệu
Tài liệu tham khảo
• L. Fausett. Fundamentals of Neural Networks – 
Architectures, Algorithms, and Applications. Prentice 
Hall,1994
• J. Freeman, D. Skapura. Neural Networks – Algorithms, 
Applications, and Programming Techniques. Addison-
Wesley, 1991
• A. Galushkin. Neural Network Theory. Springer, 2007
• N. Kasabov. Foundations of Neural Networks, Fuzzy 
Systems, and Knowledge Engineering. MIT Press, 1998
• https://sites.google.com/site/ncpdhbkhn/
Giới thiệu 3
Nội dung
• Giới thiệu
• Phân loại mạng nơron
• Thiết lập trọng số
• Hàm kích hoạt
• Nơron MCP
4Giới thiệu
Giới thiệu (1)
• Mạng nơron nhân tạo (MNN): hệ thống xử lý thông tin có một số
tính chất giống với mạng nơron sinh học
• Tính chất:
ầ– Thông tin được xử lý ở các ph n tử đơn giản gọi là nơron
– Tín hiệu lan truyền giữa các nơron thông qua các kết nối
– Mỗi kết nối có một trọng số (được nhân với tín hiệu lan truyền)
– Mỗi nơron có một hàm kích hoạt (thường là phi tuyến) tác động lên đầu vào
để tạo thành đầu ra
• Đặc trưng:
– Kiểu kết nối giữa các nơron (gọi là cấu trúc)
– Phương pháp xác định các trọng số (gọi là thuật toán học/huấn luyện)
– Hàm kích hoạt
Giới thiệu 5
Giới thiệu (2)
X1
w1
Z1
v1
YX2 w2
w v2
X3
3
Z2
Lớp ẩn
( )f  
Đầu vào Đầu ra
Giới thiệu 6
1 1 2 2 3 3y w x w x w x
Giới thiệu (3)
• Các ứng dụng chính:
– Xử lý tín hiệu
– Điều khiển
– Nhận dạng mẫu
– Y học
– Tổng hợp tiếng nói
– Nhận dạng tiếng nói
Ki h d h– n oan
Giới thiệu 7
Nội dung
• Giới thiệu
• Phân loại mạng nơron
– Mạng một lớp
– Mạng nhiều lớp
– Mạng cạnh tranh
• Thiết lập trọng số
• Hàm kích hoạt
• Nơron MCP
8Giới thiệu
Mạng một lớp
X1
w1j
Y1w11
w 1
X

Y
i wn1
wi

j
w1m
ij
w
Xn Ym
im
wnm
Giới thiệu 9
ềMạng nhi u lớp
X1
w1j
Z1w11
w 1
Y1
w1j
w11
wi1
X

Z
i wn1
w Y
wn1
wi

j
w1m
ij
w
i
w1m
ij
w
Xn Zp
im
wnm Ym
im
wnm
Giới thiệu 10
Mạng cạnh tranh
A1 A
1 1
m




A1 A11 1
Giới thiệu 11
Nội dung
• Giới thiệu
• Phân loại mạng nơron
• Thiết lập trọng số
– Huấn luyện có giám sát
– Huấn luyện không giám sát
– Trọng số cố định
• Hàm kích hoạt
• Nơron MCP
12Giới thiệu
ấHu n luyện có giám sát
• Véctơ huấn luyện (mẫu) được kèm theo véctơ mục tiêu 
• Các trọng số được điều chỉnh theo một thuật toán huấn
luyện
• Thường dùng cho các bài toán phân loại
• VD: mạng lan truyền ngược 
Giới thiệu 13
ấHu n luyện không giám sát
• Mạng tự tổ chức
• Nhóm các véctơ đầu vào với nhau, không cần biết đặc
điểm của (mỗi) nhóm
• Không có véctơ mục tiêu
• Mạng tự tạo ra véctơ đặc trưng của từng nhóm
• VD: mạng Kohonen
Giới thiệu 14
ố ốTrọng s c định
• Dùng khi khó huấn luyện
• VD: mạng Boltzmann, mạng Hopfield liên tục
Giới thiệu 15
Nội dung
• Giới thiệu
• Phân loại mạng nơron
• Thiết lập trọng số
• Hàm kích hoạt
– Đồng nhất
– Bước nhị phân
– Sigmoid nhị phân
– Sigmoid lưỡng cực
• Nơron MCP
16Giới thiệu
ồ ấHàm đ ng nh t
( )f x
x
( )f
Giới thiệu 17
x x
Hàm bước nhị phân
( )f x
1
x
1
( )
0
nÕu 
nÕu


  
x
f x
x
Giới thiệu 18
Hàm sigmoid nhị phân
( )f x
1
3 
1 
x0
1( )
1 
  xf x e
Giới thiệu 19
'( ) ( )[1 ( )] f x f x f x
Hàm sigmoid lưỡng cực
( )f x
1 1 
x0
1
2 1( ) 2 ( ) 1 1
1 1

 


 
     
x
x x
eg x f x
e e
Giới thiệu 20
'( ) [1 ( )][1 ( )]
2
  g x g x f x
Nội dung
• Giới thiệu
• Phân loại mạng nơron
• Thiết lập trọng số
• Hàm kích hoạt
• Nơron MCP
21Giới thiệu
Nơron McCulloch – Pitts (1)
X1
YX
2
22
–1
X3
Giới thiệu 22
Nơron McCulloch – Pitts (2)
X1
w
Y
Xn w
Xn+1

–p
p
Xn+m
–
1 _
( _ )
0 _
nÕu 
nÕu 


  
y vao
f y vao
y vao
Giới thiệu 23
Nơron McCulloch – Pitts (3)
X1
Y
1
2 1
X2
Giới thiệu 24
Nơron McCulloch – Pitts (4)
X1
Y
2
2 2
X2
Giới thiệu 25
Nơron McCulloch – Pitts (5)
X1
Y
2
2 –1 
X2
Giới thiệu 26
Nơron McCulloch – Pitts (6)
Z1X1 2
Y
2–1 2 
2 –1 –1 
Z2X2 2
2 
Giới thiệu 27