Kết hợp đặc trưng thị giác và ngữ nghĩa trong truy vấn video số dựa trên mô hình phân cấp dữ liệu

˘.c tru
.ng caˆ´p cao cu’a doa.n co
. so.’ , giu´p ngu.`o.i du`ng co´ theˆ’ theˆ’ hieˆ.n nhu ca`ˆu truy vaˆ´n o
.’ mu´.c
ngu˜. ngh˜ıa sa´t vo´.i noˆ. i dung thu
.
. c co´ trong video, giu´p ba˘´t theˆm nhi.p ca`ˆu noˆ´i giu˜
.a da˘.c tru
.ng
caˆ´p thaˆ´p cu’a video va` ngu˜. ngh˜ıa. Ca´ch tieˆ´p caˆ.n na`y co´ moˆ.t soˆ´ u
.u dieˆ’m ho.n so vo´.i ca´ch tieˆ´p
caˆ.n xa´c di.nh ca´c doˆ´i tu
.o.. ng khoˆng gian-tho`
.i gian du.. a va`o vector chuyeˆ’n doˆ.ng, v`ı xa´c di.nh
ca´c doˆ´i tu.o.. ng khoˆng gian-tho`
.i gian thu.`o.ng vaˆ´p pha’i kho´ kha˘n doˆ´i vo´.i ca´c da.ng video co´ noˆ. i
dung ı´t chuyeˆ’n doˆ.ng va` su
.
. thay doˆ’i cu’a camera cu˜ng nhu
. kho´ mo.’ roˆ.ng cho ca´c da.ng video
toˆ’ng qua´t.
Gia’ su.’ co´ taˆ.p ca´c co
. so.’ da. i dieˆ.n {Repi, i = 1, 2, ..., N Re p} , moˆ˜i Repi co´ taˆ.p ca´c vu`ng
Ri = {rij, j=1,..NRi}, taˆ.p vu`ng na`y du
.o.. c gom tha`nh taˆ.p ca´c nho´m vu`ng du
.o.. c bieˆ’u thi. bo
.’ i
CLUS = {clusk, k = 1..NC} va` moˆ˜i nho´m vu`ng clusk du
.o.. c xa´c di.nh moˆ.t pha`ˆn tu
.’ da. i dieˆ.n
nho´m vu`ng du.o.. c bieˆ’u thi. bo
.’ i regk. Ca´c vu`ng cu’a moˆ˜i co
. so.’ da. i dieˆ.n se˜ du
.o.. c thay theˆ´ bo
.’ i
pha`ˆn tu.’ da. i dieˆ.n nho´m vu`ng ga`ˆn nhaˆ´t. Keˆ´t qua’ cu’a coˆng doa.n na`y la` moˆ˜i co
. so.’ da. i dieˆ.n se˜
du.o.. c bieˆ’u die˜ˆn bo
.’ i moˆ.t taˆ.p ca´c pha`ˆn tu
.’ da. i dieˆ.n nho´m vu`ng.
3.6. Chu´ th´ıch ngu˜. ngh˜ıa cho taˆ.p maˆ˜u goˆ`m taˆ.p ca´c co
. so.’ da. i dieˆ.n
Ta tieˆ´p caˆ.n truy t`ım video du
.
. a va`o ngu˜
. ngh˜ıa theo hu.´o.ng chu´ th´ıch tu.. doˆ.ng video. Hu
.´o.ng
tieˆ´p caˆ.n na`y giu´p chu´ th´ıch tri thu´
.c va`o co. so.’ du˜. lieˆ.u video moˆ.t ca´ch tu
.
. doˆ.ng va` heˆ. thoˆ´ng
truy vaˆ´n se˜ nga`y ca`ng thoˆng minh ho.n vo´.i coˆng cu. chu´ th´ıch video tu
.
. doˆ.ng.
Mu. c d´ıch cu’a vieˆ.c chu´ th´ıch doa.n video tu
.
. doˆ.ng la` cho tru
.´o.c moˆ.t doa.n co
. so.’ S chu.a du.o.. c
chu´ th´ıch, cho.n tu
.
. doˆ.ng taˆ.p tu`
. kho´a tu`. taˆ.p tu`
. vu.. ng cho tru
.´o.c nha`˘m moˆ ta’ S toˆ´t nhaˆ´t. Vieˆ.c
KEˆ´T HO.
.
P DA˘. C TRU
.
NG THI. GIA´C VA` NGU˜
.
NGHI˜A 33
chu´ th´ıch na`y du.. a va`o taˆ.p ho.c, tu´
.c taˆ.p video du
.o.. c chu´ th´ıch tru
.´o.c. Taˆ.p na`y du
.o.. c xa´c di.nh
nhu. sau:
V S = {(S1,W1), ..., (SN ,WN)}.
Cho.n hu
.´o.ng tieˆ´p caˆ.n chu´ th´ıch video du
.
. a va`o moˆ h`ınh tu
.o.ng th´ıch song moˆi tru.`o.ng [3]
thu.`o.ng du.o.. c du`ng trong ngoˆn ngu˜
.. Thay v`ı kha’o sa´t vieˆ.c truy vaˆ´n ba`˘ng ngoˆn ngu˜
. na`y deˆ’
truy t`ım ra ta`i lieˆ.u du
.o.. c vieˆ´t bo
.’ i ngoˆn ngu˜. kha´c, chu´ng toˆi kha’o sa´t vieˆ.c truy vaˆ´n ba`˘ng ngoˆn
ngu˜. deˆ’ truy t`ım ra doa.n video du
.o.. c vieˆ´t bo
.’ i “ngoˆn ngu˜.” da˘.c tru
.ng thi. gia´c.
Sau khi co´ du.o.. c ca´c nho´m vu`ng ta. i bu
.´o.c tru.´o.c, ta tieˆ´n ha`nh chu´ th´ıch thu’ coˆng taˆ.p ho.c
goˆ`m ca´c co. so.’ da. i dieˆ.n deˆ’ lieˆn keˆ´t ngu˜
. ngh˜ıa vo´.i video. So vo´.i [3], ta´c gia’ da˜ thu.. c hieˆ.n hai
ca’ i tieˆ´n ch´ınh la` phaˆn doa.n, phaˆn nho´m vu`ng du
.
. a va`o gia’ i thuaˆ.t HAC va` chu´ th´ıch ngu˜
. ngh˜ıa
sau khi phaˆn doa.n, phaˆn nho´m.
4. CA´CH THU´
.
C TRUY VA´ˆN DU˜
.
LIEˆ. U VIDEO SOˆ´
4.1. Phu.o.ng pha´p nhaˆ.p lieˆ.u khi truy vaˆ´n
Ba`i ba´o tr`ınh ba`y phu.o.ng pha´p nhaˆ.p lieˆ.u keˆ´t ho
.
. p da˘.c tru
.ng thi. gia´c vo´
.i ngu˜. ngh˜ıa.
4.1.1. Truy vaˆ´n du.. a va`o da˘. c tru
.ng thi. gia´c
Ngu.`o.i du`ng nhaˆ.p lieˆ.u theo ca´c ca´ch sau:
Ca´ch 1: Nhaˆ.p doa.n co
. so.’ .
Doa.n doa.n co
. so.’ truy vaˆ´n du.o.. c bieˆ’u die˜ˆn bo
.’ i taˆ.p ca´c khung h`ınh ch´ınh hoa˘.c taˆ.p ca´c pha`ˆn
tu.’ da. i dieˆ.n nho´m (pha`ˆn tu
.’ da. i dieˆ.n nho´m vu`ng cu’a rieˆng doa.n co
. so.’ na`y), ca´c khung h`ınh
ch´ınh hoa˘.c ca´c pha`ˆn tu
.’ da. i dieˆ.n nho´m na`y se˜ du
.o.. c du`ng trong qua´ tr`ınh truy vaˆ´n.
Ca´ch 2: Cho.n moˆ.t soˆ´ pha`ˆn tu
.’ da. i dieˆ.n nho´m cu’a doa.n co
. so.’ truy vaˆ´n.
Ngu.`o.i du`ng co´ theˆ’ cho.n va` keˆ´t ho
.
. p moˆ.t soˆ´ pha`ˆn tu
.’ da. i dieˆ.n nho´m (khoˆng nhaˆ´t thieˆ´t
du`ng toa`n boˆ. ) theo toa´n tu
.’ luaˆ.n ly´ AND, OR, NOT. Da.ng truy vaˆ´n tieˆu bieˆ’u co´ da.ng:
(Sel(repi) OR Sel(repj)) AND (Sel(repk) OR Sel(repl)) AND NOT (Sel(repm) OR Sel(repn))
Sel(rep) tra’ ve`ˆ gia´ tri. True neˆ´u vu`ng rep du
.o.. c cho.n.
Ca´ch 3: Cho.n ca´c pha`ˆn tu
.’ da. i dieˆ.n nho´m vu`ng cu’a co
. so.’ du˜. lieˆ.u video, vo´
.i ca´ch nhaˆ.p lieˆ.u
na`y, ngu.`o.i du`ng khoˆng ca`ˆn co´ tru.´o.c doa.n co
. so.’ truy vaˆ´n.
4.1.2. Truy vaˆ´n du.. a va`o ngu˜
. ngh˜ıa
Ngu.`o.i du`ng co´ theˆ’ theˆ’ hieˆ.n caˆu truy vaˆ´n du
.´o.i da.ng ca´c tu`
. kho´a. Cho tru.´o.c caˆu truy
vaˆ´n Q = w1, ..., wk va` taˆ.p ca´c doa.n co
. so.’ , mu. c d´ıch cu’a ba`i toa´n la` t`ım ca´c doa.n co
. so.’
S = {reg1...regm} th´ıch ho.. p vo´
.i caˆu truy vaˆ´n Q.
4.1.3. Truy vaˆ´n du.. a va`o da˘. c tru
.ng thi. gia´c va` ngu˜
. ngh˜ıa
Doa.n video mang hai da˘.c tru
.ng ch´ınh la` da˘.c tru
.ng thi. gia´c va` ngu˜
. ngh˜ıa. Doˆ`ng tho`.i nhu.
chu´ng ta da˜ bieˆ´t, h`ınh a’nh va` ngoˆn ngu˜. la` hai da.ng thoˆng tin quan tro.ng trong giao tieˆ´p giu˜
.a
ngu.`o.i vo´.i ngu.`o.i va` giu˜.a ngu.`o.i vo´.i ma´y, v`ı vaˆ.y chu´ng toˆi mong muoˆ´n keˆ´t ho
.
. p chu´ng trong
vieˆ.c truy vaˆ´n video. Du˜
. lieˆ.u nhaˆ.p la` doa.n video va` caˆu truy vaˆ´n. Qua´ tr`ınh truy vaˆ´n co´ theˆ’
die˜ˆn ra theo ca´c ca´ch sau.
Ca´ch 1: Truy vaˆ´n du.. a va`o da˘.c tru
.ng thi. gia´c, lo.c la. i keˆ´t qua’ du
.
. a va`o ngu˜
. ngh˜ıa. Nhaˆ.p doa.n
co. so.’ truy vaˆ´n SQ = {reg1...regm} va` ca´c tu`. truy vaˆ´n Q = w1, ..., wk.
34 NGUYE˜ˆN LA˜M, LY´ QUOˆ´C NGO. C, DU
.
O
.
NG ANH DU´
.
C
Ca´ch 2: Truy vaˆ´n du.. a va`o ngu˜
. ngh˜ıa, lo.c la. i keˆ´t qua’ du
.
. a va`o da˘.c tru
.ng thi. gia´c.
Nhaˆ.p doa.n ca´c tu`
. truy vaˆ´n Q = w1, ..., wk va` co
. so.’ truy vaˆ´n SQ = {reg1...regm}.
Khi chu´ th´ıch ngu˜. ngh˜ıa va`o taˆ.p ho.c (taˆ.p ca´c co
. so.’ da. i dieˆ.n), ngu
.`o.i ta thu.`o.ng chı’ chu´
tro.ng deˆ´n ngu˜
. ngh˜ıa, khoˆng chu´ th´ıch chi tieˆ´t ca´c da˘.c tru
.ng ve`ˆ thi. gia´c. Vı` vaˆ.y ca´ch truy vaˆ´n
na`y giu´p kha˘´c phu. c ca´c khuyeˆ´t dieˆ’m cu’a hai ca´ch truy vaˆ´n treˆn, doˆ`ng tho`
.i co´ theˆ’ a´p du.ng
hieˆ.u qua’ va`o ca´c u´
.ng du.ng da˘.c thu`.
4.2. Chieˆ´n lu.o.. c truy t`ım
4.2.1. Doˆ´i vo´.i truy vaˆ´n du.. a va`o da˘. c tru
.ng thi. gia´c
Vo´.i pha`ˆn tu.’ da. i dieˆ.n nho´m repq co´ du
.o.. c tu`
. ca´ch nhaˆ.p lieˆ.u o
.’ Mu. c 4.1.1, cho.n nho´m co´
pha`ˆn tu.’ da. i dieˆ.n nho´m vu`ng ga`ˆn nhaˆ´t vo´
.i no´, bieˆ’u thi. nho´m vu`ng do´ la` Clusr va` pha`ˆn tu
.’
da. i dieˆ.n nho´m vu`ng la` regr.
Bieˆ’u thi. taˆ.p ca´c doa.n co
. so.’ co´ ı´t nhaˆ´t moˆ. t vu`ng thuoˆ.c Clusr la` SClusr. Taˆ.p keˆ´t qua’ ca´c
doa.n co
. so.’ tu`. da.ng truy vaˆ´n:
(Sel(repi) OR Sel(repj)) AND (Sel(repk) OR Sel(repl)) AND NOT (Sel(repm) OR Sel(repn))
se˜ la`: (Sclusi∪ SClusj∪ Clusl)\ (Sclusm∪SClusn).
Sau cu`ng keˆ´t qua’ du.o.. c sa˘´p ha.ng du
.
. a va`o doˆ. do di. bieˆ.t giu˜
.a hai doa.n co
. so.’ du.o.. c da. i dieˆ.n
bo.’ i ca´c pha`ˆn tu.’ da. i dieˆ.n nho´m vu`ng ([10]). Ma˘.c du` truy vaˆ´n du
.
. a va`o pha`ˆn tu
.’ da. i dieˆ.n nho´m
vu`ng cu˜ng giu´p theˆ’ hieˆ.n moˆ.t pha`ˆn ngu˜
. ngh˜ıa trong truy vaˆ´n, tuy nhieˆn su.. tu
.o.ng doˆ`ng ve`ˆ da˘.c
tru.ng thi. gia´c khoˆng nhaˆ´t thieˆ´t daˆ˜n deˆ´n su
.
. tu
.o.ng doˆ`ng ve`ˆ ngu˜. ngh˜ıa giu˜.a doa.n co
. so.’ truy
vaˆ´n va` doa.n co
. so.’ keˆ´t qua’ . V`ı vaˆ.y chu´ng toˆi cho phe´p ngu
.`o.i du`ng keˆ´t ho.. p truy vaˆ´n du
.
. a va`o
doa.n co
. so.’ va` tu`. kho´a nha`˘m lo.c ra keˆ´t qua’ vu`
.a tu.o.ng doˆ`ng ve`ˆ ma˘. t thi. gia´c vu`
.a tu.o.ng doˆ`ng
ve`ˆ ma˘. t ngu˜
. ngh˜ıa.
4.2.2. Doˆ´i vo´.i truy vaˆ´n du.. a va`o ngu˜
. ngh˜ıa
Doˆ´i vo´.i da.ng truy vaˆ´n o
.’ Mu. c 4.1.2, deˆ’ truy t`ım ca´c doa.n co
. so.’ phu` ho.. p, chu´ng toˆi du`ng
phaˆn boˆ´ xa´c suaˆ´t P (Q|S) deˆ’ xa´c di.nh mu´
.c doˆ. tu
.o.ng th´ıch cu’a doa.n co
. so.’ vo´.i caˆu truy vaˆ´n,
da. i lu
.o.. ng na`y du
.o.. c xa´c di.nh nhu
. sau:
P (Q|S) =
k∑
j=1
P (wj |S),
trong do´ P (wj|S) du.o.. c t´ınh theo ca´c phu
.o.ng tr`ınh trong [3, 11].
Du.. a va`o P (Q|S) ta co´ theˆ’ sa˘´p ha.ng keˆ´t qua’ truy vaˆ´n.
4.2.3. Doˆ´i vo´.i truy vaˆ´n du.. a va`o da˘. c tru
.ng thi. gia´c va` ngu˜
. ngh˜ıa
Ca´ch 1: Du.. a va`o truy vaˆ´n theo ca´ch 1 o
.’ Mu. c 4.1.3, du`ng phu
.o.ng pha´p truy vaˆ´n video du.. a
va`o da˘.c tru
.ng thi. gia´c o
.’ Mu. c 4.2.1, ta co´ taˆ.p keˆ´t qua’ la` ca´c doa.n co
. so.’ RS. Du`ng phu.o.ng
pha´p truy vaˆ´n video du.. a va`o ngu˜
. ngh˜ıa o.’ Mu. c 4.2.2, sa˘´p ha.ng keˆ´t qua’ t`ım du
.o.. c du
.
. a va`o da. i
lu.o.. ng P (Q|S) = Π
k
j=1P (wj|S)
Ca´ch 2: Du.. a va`o truy vaˆ´n theo ca´ch 2 o
.’ Mu. c 4.1.3, du`ng phu
.o.ng pha´p truy vaˆ´n video du.. a
ngu˜. ngh˜ıa o.’ Mu. c 4.2.2, ta co´ taˆ.p keˆ´t qua’ ca´c doa.n co
. so.’ RS. Du`ng phu.o.ng pha´p truy vaˆ´n
video du.. a va`o thi. gia´c o
.’ Mu. c 4.2.1, sa˘´p ha.ng keˆ´t qua’ t`ım du
.o.. c du
.
. a va`o doˆ. do di. bieˆ.t giu˜
.a
doa.n co
. so.’ truy vaˆ´n SQ va` doa.n co
. so.’ thuoˆ.c taˆ.p RS ([10]).
KEˆ´T HO.
.
P DA˘. C TRU
.
NG THI. GIA´C VA` NGU˜
.
NGHI˜A 35
5. KE´ˆT QUA’ THU
.
. C NGHIEˆ.M
Phu.o.ng pha´p truy vaˆ´n da˜ du.o.. c tr`ınh ba`y co´ theˆ’ a´p du.ng cho ca´c theˆ’ loa. i video, khoˆng
phu. thuoˆ.c u´
.ng du.ng. Tuy nhieˆn trong khuoˆn khoˆ’ moˆ.t ba`i ba´o, chu´ng toˆi tr`ınh ba`y moˆ.t soˆ´
keˆ´t qua’ thu.. c nghieˆ.m du
.
. a treˆn boˆ. du˜
. lieˆ.u video soˆ´ thuoˆ.c theˆ’ loa. i: theˆ´ gio´
.i loa`i vaˆ. t, phim hoa.t
h`ınh, theˆ’ thao, tin tu´.c-tho`.i su.. .
Heˆ. thoˆ´ng truy vaˆ´n video soˆ´ cu’a chu´ng toˆi co´ theˆ’ thu
.
. c hieˆ.n ca´c ta´c vu. sau:
+ Vo´.i du˜. lieˆ.u nhaˆ.p la` moˆ.t doa.n video, chu´ng toˆi tra’ ve`ˆ caˆ´u tru´c mu. c lu. c va` chı’ mu. c cu’a
doa.n video do´, doˆ`ng tho`
.i co´ theˆ’ chu´ th´ıch tu.. doˆ.ng cho ca´c doa.n co
. so.’ trong caˆ´u tru´c mu. c lu. c
va` chı’ mu. c vu`
.a ta.o.
+ Giu´p ngu.`o.i du`ng co´ theˆ’ die˜ˆn da.t y´ tu
.o.’ ng truy vaˆ´n ga`ˆn vo´.i loˆ´i ngh˜ı cu’a con ngu.`o.i thoˆng
qua ca´c pha`ˆn tu.’ da. i dieˆ.n nho´m vu`ng va` ca´c tu`
. kho´a.
Trong giai doa.n ngoa. i tuyeˆ´n, toˆ’ chu´
.c va` bieˆ’u die˜ˆn du˜. lieˆ.u video soˆ´ du
.o.. c tieˆ´n ha`nh cu. theˆ’
nhu. sau:
+ Phaˆn doa.n tu
.
. doˆ.ng video tha`nh ca´c doa.n co
. so.’ : Du.. a va`o da˘.c tru
.ng ma`u va` da˘.c tru
.ng
chuyeˆ’n doˆ.ng [8].
+ Ta.o caˆ´u tru´c phaˆn caˆ´p, ru´t go.n tha`nh ba’ng mu. c lu. c va` chı’ mu. c.
+ Xa´c di.nh co
. so.’ da. i dieˆ.n, ru´t tr´ıch khung h`ınh ch´ınh cu’a co
. so.’ da. i dieˆ.n:
• Ru´t tr´ıch da˘.c tru
.ng cu’a doa.n co
. so.’ goˆ`m 2 da˘.c tru
.ng ma`u va` 2 da˘.c tru
.ng chuyeˆ’n doˆ.ng
[8 ].
• Ru´t tr´ıch da˘.c tru
.ng cu’a khung h`ınh ch´ınh goˆ`m da˘.c tru
.ng ve`ˆ ma`u nhu. lu.o.. c doˆ` tu
.
. tu
.o.ng
quan ma`u, da˘.c tru
.ng ve`ˆ vaˆn nhu. lu.o.. c doˆ` heˆ. soˆ´ go´c (Edge direction histogram) va` vecto
.
chuyeˆ’n doˆ.ng [4,8].
+ Phaˆn doa.n co
. so.’ da. i dieˆ.n tha`nh ca´c vu`ng, gom nho´m ca´c vu`ng, cho.n pha`ˆn tu
.’ da. i dieˆ.n
nho´m vu`ng.
+ Ru´t tr´ıch da˘.c tru
.ng cu’a pha`ˆn tu.’ da. i dieˆ.n nho´m vu`ng goˆ`m da˘.c tru
.ng ve`ˆ ma`u, vaˆn, h`ınh
da´ng ([10]).
+ Chu´ th´ıch ngu˜. ngh˜ıa cho taˆ.p ho.c goˆ`m ca´c co
. so.’ da. i dieˆ.n da˜ du
.o.. c ta.o laˆ.p.
Chu´ng toˆi tieˆ´n ha`nh kha’o sa´t boˆ. du˜
. lieˆ.u goˆ`m 12 doa.n video soˆ´, du
.o.. c phaˆn doa.n tu
.
. doˆ.ng
tha`nh 5280 doa.n co
. so.’ , ca´c doa.n co
. so.’ na`y du.o.. c gom nho´m tha`nh 78 lo´
.p (theo caˆ´u tru´c chı’
mu. c) vo´
.i 78 co. so.’ da. i dieˆ.n, ca´c co
. so.’ da. i dieˆ.n na`y du
.o.. c phaˆn t´ıch tha`nh 148 nho´m vu`ng a’nh
vo´.i 148 pha`ˆn tu.’ da. i dieˆ.n nho´m vu`ng.
Deˆ’ thu.. c hieˆ.n vieˆ.c truy vaˆ´n du
.
. a va`o ngu˜
. ngh˜ıa, chu´ng toˆi chuaˆ’n bi. boˆ. tu`
. vu.. ng huaˆ´n luyeˆ.n
goˆ`m 487 tu`. du.o.. c toˆ’ chu´
.c theo pha’ heˆ. tri thu´
.c (Ontology) du.o.. c lieˆ.t keˆ moˆ. t soˆ´ tu`
. da. i dieˆ.n
nhu. sau (boˆ. tu`
. vu.. ng na`y hoa`n toa`n co´ theˆ’ du
.o.. c mo
.’ roˆ.ng cho ca´c u´
.ng du.ng rieˆng bieˆ.t):
Thieˆn nhieˆn:
Ba`ˆu tro`.i Nu´i Soˆng Daˆ´t ne`ˆn ...
Maˆy Doˆ`i Suoˆ´i Ca´t ...
Hoa`ng hoˆn Caˆy xanh Tha´c Tha’m co’ ...
B`ınh minh Ru`.ng Ba˜i bieˆ’n Ne`ˆn la´ ...
Doˆ.ng vaˆ. t:
36 NGUYE˜ˆN LA˜M, LY´ QUOˆ´C NGO. C, DU
.
O
.
NG ANH DU´
.
C
Su. tu.’ Chim Ca´ Ngu.`o.i ...
Co.p Thieˆn nga Ca´ heo Khı’ ...
Gaˆ´u Vi.t tro`
.i Ca´ saˆ´u Ra˘´n ...
Ngu.. a Boˆ` caˆu Ba ba Khu’ng long ...
Theˆ’ thao:
Kha´n da`i Bo´ng da´ Saˆn co’ Bo´ng roˆ’ ...
Khung tha`nh Bo´ng chuye`ˆn ...
Ca`ˆu thu’ Bo´ng nu.´o.c ...
Tin tu´.c-tho`.i su.. :
Pha´t thanh vieˆn Laˆm nghieˆ.p ...
Tha`nh phoˆ´ Thieˆn tai ...
Noˆng nghieˆ.p Du li.ch ...
Ngu. nghieˆ.p Hoa’ hoa.n ...
Kết quả truy vấn : 
- Độ chính xác cao, kết quả truy vấn phù hợp về ngữ
nghĩa và đặc trưng thị giác.
Thời gian truy vấn : - Nhanh
80835. Phương pháp 
truy vấn kết hợp 
đặc trưng thị giác 
và ngữ nghĩa
Kết quả truy vấn : 
- Độ chính xác cao, tuy nhiên còn bị phụ thuộc vào 
kho từ vựng.
Thời gian truy vấn : - Nhanh
81794. Phương pháp 
truy vấn dựa ngữ
nghĩa
Kết quả truy vấn : 
- Tìm được đoạn cần tìm, nội dung của đoạn cần tìm 
phù hợp hơn về ngữ nghĩa cần truy vấn. Dễ dàng thể
hiện yêu cầu truy vấn so với phương pháp 1 và 2. 
Tuy nhiên một số ptđdn trong cơ sở dữ liệu không 
thể hiện rõ nét ngữ nghĩa. 
Thời gian truy vấn : - Nhanh
78743. Phương pháp 
truy vấn dựa vào 
các ptđdn
Kết quả truy vấn : 
- Có thể tìm được nhiều đoạn cần tìm mà phương 
pháp 1 không tìm được , tuy nhiên kết quả sai còn 
nhiều 
Thời gian truy vấn : - Nhanh
69622. Phương pháp 
truy vấn dựa vào 
đặc trưng thị giác 
của các khung hình 
chính
Kết quả truy vấn : 
- Tìm được đoạn cần tìm, tuy nhiên kết quả sai còn 
nhiều 
Thời gian truy vấn : - Nhanh
67581. Phương pháp 
truy vấn dựa vào 
đặc trưng thị giác 
của đoạn cơ sở
Mức độ hiệu quả
Đối với người dùng
(theo ý kiến người dùng)
Độ trung thực
Trung bình
(%)
Độ chính xác
Trung bình
(%)
Ta su.’ du.ng 2 da. i lu
.o.. ng: doˆ. ch´ınh xa´c va` doˆ. trung thu
.
. c deˆ’ da´nh gia´ t´ınh hieˆ.u qua’ cu’a heˆ.
thoˆ´ng.
Doˆ. ch´ınh xa´c = (Soˆ´ doa.n co
. so.’ t`ım du.o.. c du´ng / Soˆ´ doa.n co
. so.’ t`ım du.o.. c).
Doˆ. trung thu
.
. c = (Soˆ´ doa.n co
. so.’ t`ım du.o.. c du´ng / Toˆ’ng soˆ´ doa.n co
. so.’ du´ng thu.. c co´)
Thu.. c hieˆ.n vieˆ.c truy vaˆ´n du
.
. a treˆn boˆ. du˜
. lieˆ.u goˆ`m 5280 doa.n co
. so.’ .
KEˆ´T HO.
.
P DA˘. C TRU
.
NG THI. GIA´C VA` NGU˜
.
NGHI˜A 37
Đường đồ thị P-R ứng với
truy vấn dựa vào
Đoạn cơ sở
Khung hình chính
0 Recal l
Pr eci si on
100
100
90
80
60
50
40
30
20
10
908070605040302010
Phần tử đại diện vùng
Ngữ nghĩa
Ngữ nghĩa-
Phần tử đại diện vùng
Hı`nh 1. Du.`o.ng cong theˆ’ hieˆ.n moˆ´i quan heˆ. giu˜
.a doˆ. ch´ınh xa´c va` doˆ. trung thu
.
. c
vo´.i ca´c phu.o.ng pha´p truy vaˆ´n kha´c nhau
Keˆ´t qua’ truy vaˆ´n cho thaˆ´y moˆ h`ınh keˆ´t ho.. p truy vaˆ´n du
.
. a va`o da˘.c tru
.ng thi. gia´c va` ngu˜
.
ngh˜ıa dem la. i keˆ´t qua’ toˆ´t ho
.n ca´c vo´.i ca´c phu.o.ng pha´p truye`ˆn thoˆ´ng chı’ du.. a va`o da˘.c tru
.ng
thi. gia´c toa`n cu. c, cu. c boˆ. hoa˘.c chı’ du
.
. a va`o ngu˜
. ngh˜ıa.
6. KE´ˆT LUAˆ. N VA` HU
.
O´
.
NG PHA´T TRIEˆ’N
Ba`i ba´o da˜ tr`ınh ba`y moˆ.t moˆ h`ınh truy t`ım du˜
. lieˆ.u video soˆ´. Moˆ h`ınh na`y taˆ.p trung va`o
hai vaˆ´n de`ˆ then choˆ´t trong vieˆ.c truy t`ım, do´ la` toˆ’ chu´
.c, bieˆ’u die˜ˆn du˜. lieˆ.u video soˆ´ va` ca´ch
thu´.c truy vaˆ´n nha`˘m hy vo.ng tu`
.ng bu.´o.c da.t du
.o.. c ba mu. c tieˆu sau:
+ Mu.c tieˆu thu´
. nhaˆ´t la` xaˆy du.. ng moˆ h`ınh truy vaˆ´n video sao cho moˆ h`ınh na`y la` su
.
. mo
.’
roˆ.ng tu
.
. nhieˆn cu’a moˆ h`ınh truy vaˆ´n a’nh.
+ Mu. c tieˆu thu´
. hai la` moˆ h`ınh co´ theˆ’ a´p du.ng cho du˜
. lieˆ.u video toˆ’ng qua´t laˆ˜n da˘.c thu`.
+ Mu.c tieˆu thu´
. ba la` keˆ´t qua’ truy vaˆ´n phu` ho.. p vo´
.i yeˆu ca`ˆu ve`ˆ ngu˜. ngh˜ıa va` thi. gia´c cu’a
ngu.`o.i du`ng.
Keˆ´t qua’ thu.. c nghieˆ.m cho thaˆ´y moˆ h`ınh co´ trieˆ’n vo.ng kha’ quan. Vieˆ.c keˆ´t ho
.
. p xaˆy du
.
. ng
pha’ heˆ. tri thu´
.c thi. gia´c va` chu´ th´ıch tu
.
. doˆ.ng doa.n video deˆ’ co´ theˆ’ truy vaˆ´n khoˆng ca`ˆn du`ng
deˆ´n doa.n co
. so.’ doˆ`ng tho`.i taˆ.n du. ng da˘.c tru
.ng mang t´ınh tho`.i gian nhu. da˘.c tru
.ng chuyeˆ’n
doˆ.ng trong truy vaˆ´n se˜ du
.o.. c tr`ınh ba`y trong nhu˜
.ng coˆng tr`ınh tieˆ´p theo.
TA`I LIEˆ. U THAM KHA
’O
[1] D. Bimbo, Visual Information Retrieval, Morgan Kaufmann, 1999.
[2] D. Zhong and S. F. Chang, Video object model and segmentation for content-based video
indexing, Proc.IEEE International Conference on Circuits and Systems ’97, (Hong Kong),
June 1997.
[3] Jeon, V. Lawrenko, R. Mammatha, Automatic image annotation and retrieval using
cross-media relevance models, SIGIR ’03: ACM (2003).
38 NGUYE˜ˆN LA˜M, LY´ QUOˆ´C NGO. C, DU
.
O
.
NG ANH DU´
.
C
[4] J. Huang, S. R. Kumar, M. Mitra, W. J. Zhu, R. Zabih, Image indexing using color cor-
relograms, IEEE International Conference on Image Processing (ICIC ’01):IEEE, 2001.
[5] Jianping Fan, Ahmed K. Elmagarmid, Xingquan Zhu, Walid G.Aref, and Lide Wu,
Classview: hierarchical video shot classification, indexing, and accessing, IEEE Trans-
actions on Multimedia 6 (1) (2004).
[6] M.Yeung and B. L.Yeo, Time-constrained clustering for segmentation of video into story
units, 13th International Conference on Pattern Recognition,(Vienna), August 1996 (375—
380).
[7] Nguye˜ˆn La˜m, Ly´ Quoˆ´c Ngo.c, Phaˆn t´ıch tu
.
. doˆ.ng du˜
. lieˆ.u video soˆ´ du
.
. a treˆn moˆ h`ınh phaˆn
caˆ´p du˜. lieˆ.u, Ta. p ch´ı Tin ho. c va` Die`ˆu khieˆ’n ho. c 21 (1) (2005).
[8] Nguye˜ˆn La˜m, Ly´ Quoˆ´c Ngo.c, Phan V˜ınh Phu
.´o.c, Nguye˜ˆn Va˘n Ky’ Cang, Nguye˜ˆn Quoˆ´c
Tuaˆ´n, Phaˆn t´ıch tu.. doˆ.ng du˜
. lieˆ.u video soˆ´ hoˆ˜ tro
.
. truy t`ım thoˆng tin thi. gia´c du
.
. a va`o noˆ. i
dung, Ta. p ch´ı Pha´t Trieˆ’n Khoa ho. c va` Coˆng Ngheˆ. Da. i ho. c Quoˆ´c Gia Tp.HCM 8 (4)
(2005).
[9] P. Salembier, L. Garrido, Binary partition tree as an efficient representation for image
processing, segmentation and information retrieval, IEEE Transactions on Image Process-
ing 9 (4) (2000) 561—576.
[10] Quoc Ngoc Ly, Anh Duc Duong, Hierarchical data model in content-based image retrieval,
International Journal of Information Technology, International Conference on Intelligent
Computing (ICIC2005) August 23-28, 2005 (Hefei, China).
[11] Quoc Ngoc Ly, Anh Duc Duong, Thach Thao Duong, Duc Thanh Ngo, Image retrieval
based on visual information concept and automatic image annotation, The First Inter-
national Conference on Theories and Applications of Computer Science (ICTACS 2006),
Ho Chi Minh City, VietNam, August 3-5, 2006.
[12] S. F. Chang, W. Chen, H. J. Meng, H. Sundaram, and D. Zhong, VideoQ-an automatic
content-based video search system using visual cues, Proc.ACM Multimedia Conf. (Seat-
tle, WA), November 1997.
[13] V. Mezaris, I. Kompatsiaris, M. G. Strintzis, Region-based image retrieval using an object
ontology and relevance feedback, Eurasip Journal on applied signal processing (6) June
2004 (886—901).
[14] W. AL-Khatib, Y. F. Day, A. Ghafoor, P. B. Berra, Semantic modeling and knowledge
representation in multimedia databases, IEEE Transactions on Knowledge and Data En-
gineering 11 (1) (1999) 64—80.
[15] W. Wolf, Keyframe selection by motion analysis, ICASSP Vol II, May 7-10 1996 (1228—
1231).
Nhaˆ. n ba`i nga`y 15 - 9 - 2005
Nhaˆ. n la. i sau su
.’ a nga`y 5 - 3 -2007