Xác định Hematocrit sử dụng mạng Neural được huấn luyện online dựa trên máy học cực độ

Tạp chí Tin học và Điều khiển học, T.29, S.3 (2013), 277–284
XÁC ĐỊNH HEMATOCRIT SỬ DỤNG MẠNG NEURAL
ĐƯỢC HUẤN LUYỆN ONLINE DỰA TRÊN MÁY HỌC CỰC ĐỘ
HUỲNH TRUNG HIẾU, HỒ ĐẮC QUÁN
Khoa Công nghệ Thông tin, Đại học Công nghiệp Tp. HCM
Tóm tắt. Hematocrit (HCT) là tỉ lệ phần trăm về thể tích của hồng cầu so với thể tích máu. Đây
là yếu tố ảnh hưởng rất lớn đến quá trình đo glucose sử dụng các thiết bị cầm tay. Trong bài báo
này các tác giả trình bài một cách tiếp cận mới để đo HCT từ cung dòng điện được tạo ra bởi phản
ứng hóa học trong quá trình đo glucose của các thiết bị cầm tay. Phương pháp đề xuất dựa trên
mạng neural nhân tạo được huấn luyện online dựa trên máy học cực độ (Extreme Learning Machine
- ELM). Những kết quả thực nghiệm cho thấy, phương pháp đề nghị cho kết quả khả quan khi so
sánh với các phương pháp trước.
Từ khóa. Hematocrit; mạng nơron; máy học cực độ; huấn luyện online; đo glucose.
Abstract. Hematocrit (HCT) is the volume percentage of red blood cells in the whole blood. This is
the most highly influencing factor in glucose measurement using handheld devices. In this paper, we
present a new approach to estimate hematocrit from the transduced current curve which is produced
by chemical reaction on electrochemical biosensors used in glucose measurement. Our method utilizes
the single-hidden layer feedforward neural network trained by online sequential extreme learning
machine. The experimental results are given to show high level of accuracy of the proposed method.
Key words. Hematocrit; neural network, extreme learning machine; online sequential training; glu-
cose measurement.
1. GIỚI THIỆU
Hematocrit (HCT) là một trong những thông số quan trọng trong y học chẳng hạn như
phẫu thuật và lọc máu (hemodialysis) [1-2]. Nó cũng được xem là dấu hiệu của bệnh thiếu
máu (anemia, khả năng vận chuyển Oxy trong máy sẽ giảm) nếu HCT ở mức thấp. HCT mức
cao là dấu hiệu của bệnh polycythaemia. Ngoài ra, đây cũng là yếu tố ảnh hưởng lớn nhất
đến kết quả đo glucose bằng các thiết bị cầm tay [3-5]. Giá trị glucose đo được có xu hướng
lệch lớn hơn giá trị đúng tại HCT ở mức thấp và lệch thấp hơn giá trị đúng tại HCT ở mức
cao. Việc xác định giá trị HCT có thể thực hiện bằng phương pháp ly tâm, các thiết bị phân
tích chuyên dụng, dielectric spectroscopy [6], hoặc 1 số kỹ thuật khác. Tuy nhiên hầu hết các
phương pháp trên khá phức tạp và/hoặc yêu cầu 1 thiết bị chuyên dụng, đặc biệt là không
thể áp dụng được trong các thiết bị cầm tay.
∗Bài báo được thực hiện với sự hỗ trợ từ trường Đại học Quốc gia Chonnam, Hàn Quốc, Viện nghiên cứu BioIT,
và Công ty GlucoDr
278 HUỲNH TRUNG HIẾU, HỒ ĐẮC QUÁN
Việc xác định giá trị HCT từ cung dòng điện (Transduced Current Curve) sử dụng mạng
neural truyền thẳng đã được đề xuất trong các bài báo trước [7]. Một mạng neural truyền
thẳng tổng quát bao gồm một lớp nhập, các lớp ẩn và một lớp xuất. Tuy nhiên, người ta đã
chứng minh được rằng, mạng truyền thẳng với 1 lớp ẩn (Single Hidden Layer Feedforward
Neural Network-SLFN) có thể xấp xỉ 1 hàm bất kỳ và biên quyết định với hình dạng bất kỳ
[8] nếu hàm kích hoạt được chọn 1 cách thích hợp. Do đó, trong nghiên cứu này sẽ tập trung
vào mạng neural truyền thẳng 1 lớp ẩn (SLFN).
Thông thường, huấn luyện mạng neural dựa trên tiếp cận giảm gradient, một trong những
thuật toán huấn luyện phổ biến cho mạng neural dựa trên tiếp cận giảm gradient là thuật
toán lan truyền ngược (Backpropagation), trong đó các trọng số của mạng được cập nhật từ
lớp xuất đến lớp nhập. Thuật toán này thường hội tụ chậm, nó cũng dễ dàng gặp phải vấn đề
tối ưu cục bộ (Local Minima) hay quá khớp (Overfitting). Mặc dù có nhiều cải tiến, nhưng
đến thời điểm này hầu hết các thuật toán huấn luyện dựa trên giảm gradient đều khá chậm
do yêu cầu nhiều bước lặp. Một thuật toán huấn luyện hiệu quả được đề xuất gần đây trong
huấn luyện SLFN là máy học cực độ (Extreme Learning Machine -ELM) [9-12]. Trong ELM,
các trọng số ở lớp nhập và các độ dịch ở lớp ẩn được gán các giá trị ngẫu nhiên, sau đó trọng
số lớp xuất được xác định bởi phép tính ma trận đơn giản dựa trên nghịch đảo của ma trận
lớp ẩn. Thuật toán này có thể khắc phục một số nhược điểm của thuật toán lan truyền ngược
như tối ưu cục bộ, tốc độ học, epochs...
Trong các nghiên cứu trước, SLFN dùng trong xác định HCT được huấn luyện dạng offline.
Trong bài báo này nhóm tác giả tiếp tục phát triển phương pháp xác định HCT từ cung dòng
điện sử dụng SLFN được huấn luyện dạng online. Các đặc trưng đầu vào (Input Features) cho
mạng neural được lấy mẫu từ cung dòng điện được tạo ra do sự di chuyển các ion đến điện
cực. Các ion này được tạo ra do phản ứng hóa học với enzyme trong quá trình đo glucose sử
dụng glucose sensor (Electrochemical Glucose Biosensor).
Bố cục của bài báo được tổ chức: Mục 2 trình bày thuật toán huấn luyện online cho SLFN
dựa trên máy học cực độ (ELM). Phương pháp xác định HCT sử dụng ELM được huấn luyện
online được mô tả trong Mục 3, Mục 4 trình bày các kết quả thực nghiệm. Và cuối cùng là
kết luận.
2. HUẤN LUYỆN ONLINE CHO MÁY HỌC CỰC ĐỘ
Mạng neural đã và đang được sử dụng rất phổ biến trong nhiều ứng dụng khác nhau [13].
Có nhiều kiến trúc mạng khác nhau đã và đang được nghiên cứu và phát triển. Tuy nhiên
người ta đã chứng minh được rằng một mạng neural truyền thẳng với lớp ẩn đơn có thể tạo
ra các biên phân loại với hình dạng bất kỳ hoặc nó có thể xấp xỉ hàm bất kỳ nếu hàm kích
hoạt được chọn một cách thích hợp [8]. Do đó, mạng một lớp ẩn đã và đang được ứng dụng
phổ biến nhất. Kiến trúc tiêu biểu của mạng neural một lớp ẩn với d nút ở lớp nhập, N nút
ở lớp ẩn và C nút ở lớp xuất có thể được mô tả như trong Hình 1.
Giả sử wm = [wm1, wm2, ..., wmd] là vector trọng số của các kết nối từ lớp nhập đến nút
ẩn thứ m, bm là độ dịch (bias) của nó và ai = [ai1, ai2, ..., aiN ]
T là vector trọng số của các kết
nối từ lớp ẩn đến nút xuất thứ i thì vector ngõ xuất oj tương ứng với vector nhập xj được
xác định bởi
oji =
N∑
m=1
aimf(wm · xj + bm), x ∈ IRd, (1)
XÁC ĐỊNH HEMATOCRIT SỬ DỤNG MẠNG NEURAL ĐƯỢC HUẤN LUYỆN ONLINE 279
Hình 1. Kiến trúc tiêu biểu của mạng neural một lớp ẩn (SLFN)
trong đó f(·) là hàm kích hoạt của các nút ẩn, wm · x => là tích vô hướng giữa
2 vector wm và x.
Cho tập mẫu S = {(xj , tj)|j = 1, 2..., n}, mục đích chính của quá trình huấn luyện mạng
là tìm ra các trọng số, bao gồm w, a và b để tối ưu một hàm mục tiêu nào đó. Thông thường,
hàm mục tiêu được chọn là bậc 2 được định nghĩa như sau
E =
n∑
j=1
‖oj − tj‖2 =
n∑
j=1
‖
N∑
m=1
a∗mf(wm · xj + bm)− tj‖2. (2)
Một trong những thuật toán huấn luyện hiệu quả được phát triển gần đây là máy học cực
độ hay ELM (Extreme Learning Machine). Nó dựa trên ý tưởng là thay vì xác định tất cả các
trọng số mạng bằng các quá trình lặp lại, trọng số lớp nhập và độ dịch có thể được chọn ngẫu
nhiên và trọng số lớp xuất được xác định bằng các bước đơn. Rõ ràng, một mạng với N nút
ẩn có thể xấp xỉ N mẫu với lỗi bằng 0, nghĩa là tồn tại các trọng số w, a và b sao cho
tj =
N∑
m=1
a∗mf(wm · xj + bm), j = 1, 2, ..., N. (3)
Phương trình này có thể được viết lại như sau
HA = T , (4)
trong đóH còn được gọi là ma trận ngõ xuất lớp ẩn, T = [t1, t2, ..., tn]
T vàA = [a1, a2, ..., aN ].
Trong [9], các tác giả đã chứng minh được rằng ma trận H là khả đảo nếu số mẫu trong tập
huấn luyện bằng số nút ẩn và hàm kích hoạt khả vi. Trong trường hợp số nút ẩn nhỏ hơn số
mẫu huấn luyện thì ma trận trọng số xuất A sẽ được xác định bởi ma trận giả đảo của H với
sự chọn lựa ngẫu nhiên của trọng số nhập và độ dịch. Các kết quả này đã được chứng minh
trong [9]. Như vậy, thuật giải ELM có thể được tóm tắt như sau
- Gán các giá trị ngẫu nhiên cho trọng số nhập và độ dịch (bias) các nút ẩn.
- Tính ma trận ngõ xuất lớp ẩn H.
- Xác định trọng số xuất bằng cách sử dụng phương trình sau
Aˆ =H †T , (5)
280 HUỲNH TRUNG HIẾU, HỒ ĐẮC QUÁN
trong đó, H † được gọi là ma trận giả đảo của H. Như vậy, các trọng số của mạng có thể được
xác định bởi những bước đơn giản và không cần sự tính toán bởi các bước lặp như các thuật
toán giảm gradient. Nó có thể khắc phục những nhược điểm như chọn lựa hệ số tốc độ học,
epochs, khởi động giá trị ban đầu,... Đặc biệt, thuật toán này cho thời gian huấn luyện rất
nhanh.
3. XÁC ĐỊNH HCT SỬ DỤNG ONLINE ELM
3.1. Các đặc trưng ngõ nhập
Trong nghiên cứu này, các đặc trưng ngõ vào cho mạng neural là các điểm dữ liệu được lấy
mẫu từ cung dòng điện được tạo ra do phản ứng hóa học xảy ra trong quá trình đo glucose
sử dụng cảm biến sinh học điện hóa (Electrochemical Biosensor). Trong quá trình đo glucose
sử dụng cảm biến sinh học điện hóa (Electrochemical Biosensor - được các thiết bị cầm tay
sử dụng), glucose oxydase enzyme trong bộ cảm biến sinh học (GOD) xúc tác phản ứng oxy
hóa glucose tạo ra gluconic axit và hydrogen peroxide (H2O2). Sau đó, nó được oxy hóa trở lại
trạng thái ban đầu và giải phóng electron. Electron di chuyển giữa 2 điện cực của tạo thành
dòng điện.
Glucose+O2+GO/FAD −→ Gluconic acid+H2O2+GO/FADH2
GO/FADH2+Ferricinium
+ −→ GO/FAD+Ferricinium
Ferricinium −→ Ferricinium+ + e−
Hình 2. Cung dòng điện trong 14 giây đầu tiên
Một cung dòng điện được tạo ra trong 14 giây đầu tiên được chỉ ra trong Hình 2. Rõ ràng,
dữ liệu trong 8 giây đầu tiên không chứa nhiều thông tin cho việc tính HCT, nó có thể xem
là “thời gian ủ” (Incubation Time) để chờ phản ứng hóa học thực hiện. Trong nghiên cứu này,
ta sẽ tập trung vào phần thứ 2 của cung dòng điện ở 6 giây sau. Trong đoạn thời gian 6 giây
sau, cung dòng điện được lấy mẫu với tần số 10Hz tạo thành các điểm dữ liệu như trình bày
trong Hình 3. Như vậy, sẽ có 59 điểm dữ liệu được sử dụng là các đặc trưng ngõ vào cho mạng
neural để xác định HCT. Gọi mẫu thứ j là xj = [xj1, xj2, ..., xj59].
Sử dụng SLFN để xác định HCT với vector đặc trưng ngõ vào x đã được đề nghị trong 1
số nghiên cứu trước của chúng tôi [7], tuy nhiên ở các bài báo trước, mạng neural được huấn
luyện dạng offline. Trong bài báo này tác giả phát triển ứng dụng mạng neural huấn luyện
dạng online trong xác định HCT.
XÁC ĐỊNH HEMATOCRIT SỬ DỤNG MẠNG NEURAL ĐƯỢC HUẤN LUYỆN ONLINE 281
Hình 3. Các điểm dữ liệu được lấy mẫu trên cung dòng điện
3.2. Thuật giải huấn luyện cho SLFN
Dựa trên ý tưởng của ELM, một tiếp cận huấn luyện online được gọi là máy học cực độ
online (Online Sequential Extreme Learning Machine, OS-ELM) đã được đưa ra bởi Liang và
các cộng sự [14], trong đó giả thiết rằng HTH là nonsingular, giả đảo của H được xác định
bởi
H † = (HTH )−1HT . (6)
Thay vào (5), ta có
Aˆ = (HTH )−1HTT . (7)
Bây giờ, ta bắt đầu tìm luật học trong quá trình huấn luyện online. Bắt đầu với tập dữ
liệu huấn luyện S0 = {(xj , tj)|j = 1, ..., n0}, trọng số lớp xuất được xác định bởi
A0 = L
−1
0 H
T
0T 0, (8)
trong đó L0 =H
T
0T 0, T 0 = [t1, t2, ..., tn0]
T và H 0 = [h1,h2, ...,hn0]
T . Đối với tập huấn luyện
gồm n1 mẫu tiếp theo, S1 = {(xj , tj)|j = n0 + 1, ..., n0 + n1}, trọng số lớp xuất sẽ được tính
bởi
A1 =
([
H 0
H 1
]T [
H 0
H 1
])−1 [
H 0
H 1
]T [
T 0
T 1
]
= L−11
[
H 0
H 1
]T [
T 0
T 1
]
, (9)
với L1 = L0 +H
T
1H 1, T 1 = [tn0+1tn0+2...tn0+n1 ]
T và H 1 = [hn0+1hn0+2...hn0+n1 ]
T . Hai
số hạng cuối của (9) có thể được viết lại là[
H 0
H 1
]T [
T 0
T 1
]
=HT0T 0 +H
T
1T 1 = L0A0 +H
T
1T 1.
Khi đó (9) có thể được viết lại
A1 = L
−1
1 (L0A0 +H
T
1T 1) = A0 +L
−1
1 H
T
1 (T 1 −H 1A0).
Trong trường hợp tổng quát với nk mẫu huấn luyện,
Sk = {(xt, tj)|j =
k−1∑
i=0
ni + 1, ...,
k∑
i=0
ni},
282 HUỲNH TRUNG HIẾU, HỒ ĐẮC QUÁN
trọng số lớp xuất Ak có thể được cập nhật bởi
Lk = Lk−1 +HTkH k, (10)
Ak = Ak−1 +L−1k H
T
k (T k −H kAk−1), (11)
trong đó
T k = [t∑k−1
i=0 ni+1
t∑k−1
i=0 ni+2
...t∑k
i=0 ni
]T
và
H k = [h∑k−1
i=0 ni+1
h∑k−1
i=0 ni+2
...h∑k
i=0 ni
]T .
Như vậy, thuật toán huấn luyện online có thể được mô tả như sau.
• Giai đoạn khởi tạo:
Ứng với tập huấn luyện khởi tạo S0 = {(xj , tj)|j = 1, 2, ..., n0} ta thực hiện các bước sau:
- Gán các giá trị ngẫu nhiên cho trọng số lớp nhập w và độ dịch b.
- Xác định ma trận xuất lớp ẩn H 0.
- Xác định ma trận L0 =H
T
0H 0.
- Xác định A0 sử dụng công thức (8).
• Giai đoạn cập nhật trọng số:
Ứng với tập mẫu huấn luyện Sk = {(xj , tj)|j =
k−1∑
i=0
ni + 1, ...,
k∑
i=0
ni} ta thực hiện các
bước sau:
- Xác định ma trận H k.
- Xác định ma trận Lk sử dụng công thức (10).
- Cập nhật ma trận trọng số Ak sử dụng công thức (11).
4. KẾT QUẢ THỰC NGHIỆM
Dữ liệu trong thực nghiệm của của bài báo được lấy từ 199 mẫu máu của các tình nguyện
viên. Mỗi mẫu máu được chia làm 2 phần, phần đầu được dùng để xác định giá trị hematocrit
chính xác bằng phương pháp ly tâm, phần thứ 2 được dùng để xác định cung dòng điện như
Hình 2. Trong phần 2 của cung dòng điện sau “thời gian ủ”, 59 điểm dữ liệu được lấy mẫu với
tần số 10Hz. Phân bố giá trị hematocrit chính xác có dạng như Hình 4, với giá trị trung bình
là 36.02 và độ lệch là 6.39. Tập dữ liệu sau đó được chia làm 2 phần gồm 40% cho huấn luyện
và 60% cho đánh giá (testing). Các đặc trưng ngõ nhập được chuẩn hóa về đoạn [0, 1]. Thuật
giải được hiện thực trên môi trường Matlab 7.0.
Độ chính xác được đánh giá dựa trên đại lượng RMSE (Root Mean Square Error) được
định nghĩa bởi
RMSE =
√√√√ 1
n
n∑
j=1
(oj − tj)2, (12)
trong đó, oj là giá trị xuất được xác định từ mạng neural, tj là giá trị đo chính xác, và n là số
mẫu đánh giá. Kết quả trung bình của 50 lần thử được trình bày trong Bảng 1. Từ Bảng 1 ta
XÁC ĐỊNH HEMATOCRIT SỬ DỤNG MẠNG NEURAL ĐƯỢC HUẤN LUYỆN ONLINE 283
Hình 4. Phân bố của giá trị hematocrit thu thập được
có thể thấy rằng số nút ẩn trong huấn luyện online bằng số nút ẩn trong trường hợp offline,
tuy nhiên độ chính xác trong huấn luyện online cao bằng các huấn luyện offline. Chú ý rằng,
trường hợp huấn luyện online cho phép ta tiếp tục huấn luyện hệ thống trong quá trình sử
dụng để nâng cao hiệu quả.
Bảng 1. So sánh RMSE giữa phương pháp online và offline
5. KẾT LUẬN
Hematocrit (HCT) là 1 yếu tố đóng vai trò quan trọng trong y khoa, và đặc biệt là trong
quá trình đo glucose bằng các thiết bị cầm tay. Đối với các thiết bị cầm tay do tính thuận tiện
và nhỏ gọn của nó, ta không thể đo hematocrit bằng cách sử dụng các phương pháp truyền
thống như ly tâm, mà chỉ có thể đo từ cung dòng điện được tạo ra trong quá trình thực hiện
phản ứng giữa glucose và enzyme được tráng trên các biosensor. Trong bài báo này, tác giả
đã tiếp tục phát triển nghiên cứu sử dụng mạng neural xác định HCT từ cung dòng điện với
mạng neural được huấn luyện online. Kết quả thực nghiệm cho thấy với cùng kiến trúc mạng,
độ chính xác của huấn luyện online xấp xỉ cách huấn luyện offline. Và với cách huấn luyện
online cho phép ta tiếp tục huấn luyện trong quá trình sử dụng từ đó nâng cao hiệu quả của
hệ thống. Bước tiếp theo của nghiên cứu này là giảm ảnh hưởng của HCT (được xác định từ
cung dòng điện) trong quá trình đo glucose bằng thiết bị cầm tay.
TÀI LIỆU THAM KHẢO
[1] J. Z. Ma, J. Ebben, H. Xia, and A. J. Collins, Hematocrit level and associated mortality in
hemodialysis patients, J. Amer. Soc. Nephrol. 10 (1999) 610–619.
[2] A. Aris, J. M. Padro, J. O. Bonnin, and J. M. Caralps, Prediction of hematocrit changes in
open-heart surgery without blood transfusion, J. Cardiovasc. Surg. 25 (6) (Nov-Dec. 1984)
545–548.
284 HUỲNH TRUNG HIẾU, HỒ ĐẮC QUÁN
[3] R. F. Louie, Z. Tang, D. V. Sutton, J. H. Lee, G. J. Kost, Point of care glucose testing: effects of
critical variables, influence of reference instruments, and a modular glucose meter design, Arch
Pathol Lab Med 124 (2000) 257–266.
[4] Z. Tang, J. H. Lee, R. F. Louie, G. J. Kost, D. V. Sutton, Effects of different hematocrit levels
on glucose measurements with handheld meters for point of care testing, Arch Pathol Lab Med
124 (2000) 1135–1140.
[5] E. S. Kilpatrick, A. G. Rumley, H. Myin, The effect of variations in hematocrit, mean cell volume
and red blood count on reagent strip tests for glucose, Ann Clin Biochem 30 (1993) 485–487.
[6] E. F. Treo, C. J. Felice, M. C. Tirado, M. E. Valentinuzzi, and D. O. Cervantes, Hematocrit
measurement by dielectric spectroscopy, IEEE Transactions on Biomedical Engineering 25
(1) (2005) 124–127.
[7] Blinded.
[8] G.-B. Huang, Learning capability and storage capacity of two-hidden-layer feedforward networks,
IEEE Transactions on Neural Networks 14 (2) (2003) 274–281.
[9] G.-B. Huang, Q.-Y. Zhu, C.-K. Siew, Extreme learning machine: theory and applications, Neu-
rocomputing 70 (2006) 489–501.
[10] Q.-Y. Zhu, A. K. Qin, P. N. Suganthan, G.-H. Huang, Evolutionary extreme learning machine,
Pattern Recognition 38 (2005) 1759–1763.
[11] H. T. Huynh and Y. Won, Small number of hidden units for elm with two-stage linear model,
IEICE Trans. on Information and Systems E91-D (4) (April 2008).
[12] H. T. Huynh, J. Kim, and Y.Won, An improvement of extreme learning for compact single
hidden layer feedforward neural networks, International Journal of Neural System 18 (5)
(2008) 433–441.
[13] H. T. Huynh, J. Kim, and Y. Won, Performance comparison of slfn training algorithms for
dna microarray classification, Advances in Experimental Medicine and Biology 696 (2011)
135–143.
[14] N.-Y. Liang, G.-H. Huang, P. Saratchandran, and N. Sundararajan, A fast and accurate online
sequential learning algorithm for feedforward networks, IEEE Trans. on Neural Networks 17
(2006) 1411–1423.
Ngày nhận bài 24 - 2 - 1013
Nhận lại sau sửa ngày 02 - 8 - 2013