Bài giảng Phân tích và thiết kế giải thuật - Chương 4: Chiến lược biến thể-để-trị

Chương 4Chiến lược biến thể-để-trị (transform-and-conquer)1Nội dungChiến lược Biến thể-để-trịGiải thuật Gauss để giải hệ phương trình tuyến tínhCấu trúc heap và heapsortGiải thuật Horner để định trị đa thứcSo trùng dòng ký tự bằng giải thuật Rabin-Karp21.Biến thể để trị (transform-and-conquer)Kỹ thuật biến thể-để-trị thường làm việc theo hai bước. Bước 1 là bước biến thể, thể hiện của bài toán được biến đổi để chuyển sang một dạng dễ dẫn đến lời giải. Bước 2 là bước tìm ra lời giải cho bài toán.Có nhiều biến dạng của bước 1:Biến thể để đưa đến một thể hiện đơn giản hơn của bài toán (đơn giản hóa thể hiện -instance simplification)Biến thể để đưa đến một biểu diễn khác của cùng bài toán (biến đổi biểu diễn -representation change)Biến thể để đưa đến một thể hiện của một bài toán khác mà đã có tồn tại giải thuật (thu giảm bài toán - problem reduction).32. Giải thuật Gauss để giải hệ phương trình tuyến tínhCho hệ phương trình gồm n phương trình với n ẩn số. a11x1 + a12x2 +  + a1nxn = b1 a21x1 + a22x2 +  + a2nxn = b2 ; ; an1x1 + an2x2 +  + annxn = bnĐể giải hệ phương trình trên, ta dùng giải thuật loại trừ Gauss (Gauss elimination). Ý tưởng chính của giải thuật : biến đổi hệ thống n phương trình tuyến tính với n biến thành một hệ thống tương đương (tức là có cùng lời giải như hệ phương trình ban đầu) với một ma trận tam giác trên (một ma trận với các hệ số zero dưới đường chéo chính)Giải thuật Gauss thể hiện tinh thần của chiến lược biến thể-để-trị theo kiểu “đơn giản hóa thể hiện” (instance simplification). 4a11x1 + a12x2 +  + a1nxn = b1 	 a’11x1 + a’12x2 +  + a’1nxn = b’1 a21x1 + a22x2 +  + a2nxn = b2	 a’22x2 +  + a’2nxn = b’2 ;  ;an1x1 + an2x2 +  + annxn = bn	 a’nnxn = b’nLàm cách nào để ta có thể chuyển một hệ thống với ma trận A bất kỳ thành một hệ thống tương đương với ma trận tam giác trên A’?Bằng một loạt các phép biến đổi cơ bản như sau:Hoán vị hai phương trình trong hệ thốngThay một phương trình bằng phương trình đó nhân với một hệ số.Thay một phương trình với tổng hay hiệu phương trình đó với một phương trình khác được nhân một hệ số.5Thí dụ2x1 – x2 + x3 =14x1 + x2 – x3 = 5x1 + x2 + x3 = 02 -1 1 1 4 1 -2 5	row 2 – (4/2) row 11 1 1 0	row 3 – (1/2) row 12 -1 1 10 3 -3 3	row 3 – (1/2) row 20 3/2 ½ -1/22 -1 1 10 3 -3 30 0 2 -2  x3 = (-2/2)=1; x2 = (3-(-3)x3/3 = 0; 	x1 = (1-x3 – (-1)x2)/2 = 16Giải thuật GaussGaussElimination(A[1..n,1..n],b[1..n])for i := 1 to n do A[i,n+1] := b[i];for i := 1 to n -1 do for j := i + 1 to n do for k:= i to n+1 do A[j,k] := A[j,k]-A[i,k]*A[j,i]/A[i,i];Lưu ý: Vector cột b cũng được gom vào thành cột thứ n+1 của ma trận A.Trở ngại: Khi A[i,i] = 0, giải thuật không làm việc được. Và khi |A[i,i]| quá nhỏ, giải thuật sẽ bị sai số làm tròn khi máy tính tính toán (round-off-error) gây ảnh hưởng xấu, làm cho sự tính toán trở nên không chính xác.7Giải thuật Gauss cải tiếnĐể tránh trường hợp |A[i,i]| quá nhỏ nêu trên, ta áp dụng kỹ thuật tìm phần tử chốt bán phần (partial pivoting) được mô tả như sau: “Tại lượt lặp thứ i của vòng lặp ngoài, ta cần tìm hàng nào có hệ số ở cột thứ i mang giá trị tuyệt đối lớn nhất và hoán đổi hàng này với hàng i và dùng hệ số đó như là phần tử chốt của lượt lặp thứ i”8Giải thuật Gauss cải tiếnBetterGaussElimination(A[1..n,1..n],b[1..n])for i := 1 to n do A[i,n+1] := b[i];for i := 1 to n -1 do pivotrow := i; for j := i+1 to n do if |A[j,i]| > |A[pivotrow,i]| then pivotrow:= j; for k:= i to n+1 do swap(A[i,k], A[pivotrow,k]); for j := i + 1 to n do temp:= A[j,i]/A[i,i]; for k:= i to n+1 do A[j,k] := A[j,k]-A[i,k]*temp;9Độ phức tạp của giải thuật Gauss n-1 n n-1 nC(n) = i=1 j=i+1(n+1-i+1) = i=1 j=i+1(n+2-i) n-1 n-1 =i=1 (n+2-i)(n-(i+1)+1) = i=1 (n+2-i)(n-i) = (n+1)(n-1)+n(n-2)+..+3.1 n-1 n-1 n-1 =j=1(j+2)j = j=1 j2 + j=1 2j = (n-1)n(2n-1)/6 + 2(n-1)n/2 = n(n-1)(2n+5)/6  n3/3 = O(n3)Sau khi dùng giải thuật Gauss để đưa ma trận về dạng ma trận tam giác trên, ta sẽ dùng phương pháp thay thế lùi (backward subsitution) để tính ra giá trị của các ẩn.103. Cấu trúc dữ liệu heap và heapsortHàng đợi có độ ưu tiên (a priority-queue) là cấu trúc dữ liệu mà hỗ trợ ít nhất hai tác vụ: thêm một phần tử mới vào cấu trúcTìm phần tử có độ ưu tiên lớn nhất xóa bỏ phần tử có độ ưu tiên lớn nhất Hàng đợi có độ ưu tiên khác với hàng đợi thông thường ở điểm khi lấy phần tử ra khỏi hàng đợi thì đó không phải là phần tử cũ nhất trong hàng đợi mà là phần tử có độ ưu tiên lớn nhất trong hàng đợi.11Thi công hàng đợi có độ ưu tiênHàng đợi có độ ưu tiên như đã mô tả là một ví dụ về kiểu dữ liệu trừu tượng. Có hai cách để thi công hàng đợi có độ ưu tiên:Dùng mảng để thi công hàng đợi có độ ưu tiên (Cách này thì đơn giản khi thêm vào một phần tử mới nhưng khi xóa bỏ phần tử có độ ưu tiên lớn nhất ra khỏi hàng đợi thì độ phức tạp sẽ cao.)Dùng cấu trúc dữ liệu heap.12Cấu trúc dữ liệu heap Cấu trúc dữ liệu mà có thể hỗ trợ cho các tác vụ làm việc với hàng đợi có độ ưu tiên sẽ chứa các mẩu tin trong một mảng sao cho: mỗi khóa phải lớn hơn khóa ở hai vị trí khác trong mảng. Tương tự mỗi khóa trong hai khóa này phải lớn hơn hai trị khóa khác và cứ như thế.. Thứ tự này sẽ dễ thấy hơn khi ta diễn tả mảng như một cấu trúc cây với những đường nối mỗi khóa xuống hai khóa nhỏ hơn. Các trị khóa trong cấu trúc cây thỏa điều kiện heap như sau: Khóa tại mỗi nút cần phải lớn hơn (hay bằng) các khóa ở hai con của nó (nếu có). Điều này hàm ý trị khóa lớn nhất ở nút rễ.13Thí dụ: Heap dưới dạng cây nhị phânk 1 2 3 4 5 6 7 8 9 10 11 12a[k] X T O G S M N A E R A I14Heap dưới dạng một mảngTa có thể diễn tả dạng cây của heap thành một mảng bằng cách đặt nút rễ tại vị trí 1 của mảng, các con của nó tại vị trí 2 và 3, các nút ở các mức kế tiếp ở các vị trí 4, 5, 6 và 7, v.v..k	 1 2 3 4 5 6 7 8 9 10 11 12a[k] X T O G S M N A E R A ITừ một nút dễ dàng để đi tới nút cha và các nút con của nó.  Cha một nút ở vị trí j sẽ là nút ở vị trí j div 2.  Hai con của một nút ở vị trí j sẽ ở các vị trí 2j và 2j+1.15Các lối đi trên heapMột heap là một cây nhị phân, được diễn tả như là một mảng trong đó mỗi nút thỏa mãn điều kiện heap. Đặc biệt, phần tử có khóa lớn nhất luôn ở vị trí thứ nhất của mảng.Tất cả các giải thuật làm việc trên heap đi dọc theo một lối đi nào đó từ nút rễ xuống mức đáy (bottom) của heap.  Trong một heap có N nút, tất cả các lối đi (path) thường có lgN nút trên đó.16Các giải thuật trên HeapCó hai tác vụ quan trọng làm việc trên heap: thêm vào phần tử mới và xóa bỏ phần tử lớn nhất ra khỏi heap. Tác vụ này sẽ làm tăng kích thước của heap lên thêm một phần tử. N được tăng thêm 1. Và phần tử mới được đặt vào tại vị trí a[N], nhưng lúc đó điều kiện heap có thể sẽ bị vi phạm.Nếu điều kiện heap bị vi phạm, nó sẽ được khắc phục bằng cách hoán đổi phần tử mới với cha của nó. Điều này lại có thể gây ra vi phạm điều kiện heap và nó sẽ được khắc phục tiếp với cùng một cách tương tự.1. Tác vụ thêm vào (insert)17Tác vụ thêm vàoprocedure upheap(k:integer)var v: integer;begin 	v :=a[k]; a[0]:= maxint;	while a[k div 2] = a[j] then go to 0; a[k]:= a[j]; k:= j;	 end;0: a[k]: =vend;function remove: integer;begin remove := a[1]; a[1] := a[N]; N := N-1; downheap(1);end;21Thí dụ về tác vụ xóaTrước khi xóaSau khi xóaM22Độ phức tạp của các tác vụ trên heapTính chất 3.1: Mọi tác vụ thêm vào, xóa bỏ, downheap, upheap đòi hỏi ít hơn 2lgN so sánh khi thực hiện trên một heap gồm N phần tử.Tất cả những tác vụ này phải đi dọc theo một lối đi giữa nút rễ cho đến cuối heap mà bao gồm ít hơn lgN phần tử với một heap gồm N phần tử.Thừa số 2 là do tác vụ downheap khi xóa bỏ mà cần hai thao tác so sánh trong vòng lặp trong và các thao tác khác chỉ đòi hỏi lgN lần so sánh.23Giải thuật heapsortÝ tưởng: Giải thuật bao gồm 2 công tác (1) tạo một heap chứa những phần tử cần sắp thứ tự và (2) lần lượt lấy chúng ra khỏi heap theo một thứ tự. M : kích thước của heap N: số phần tử cần được sắp thứ tự.N:=0;for k:= 1 to M do insert(a[k]); /* construct the heap */for k:= M downto 1 do a[k]:= remove; /*putting the element removed into the array a */24Độ phức tạp của heap sortTính chất: Heapsort dùng ít hơn 3MlgM lần so sánh để sắp thứ tự M phần tử.Giới hạn trên này xuất phát từ giải thuật heapsort và tính chất của hai tác vụ thêm vào/xóa bỏ trên heap. Vòng for thứ nhất tốn MlgM lần so sánh. Vòng for thứ hai tốn 2MlgM lần so sánh.Tổng cọng:	MlgM + 2MlgM = 3MlgM.Heapsort là một thí dụ điển hình của chiến lược Biến thể-để-trị, dùng kỹ thuật “biến đổi biểu diễn” (representation change)254. Giải thuật Horner để định trị đa thứcTa cần định trị đa thức sau p(x) = anxn + an-1xn-1 +  + a1x + a0 (4.1)tại một điểm x.G.H Horner, một nhà toán học người Anh, cách đây 150 năm đã đưa ra một qui tắc đinh trị đa thức rất hữu hiệu.Qui tắc Horner là một thí dụ tốt về chiến lược Biến thể-để-trị dùng kỹ thuật “thay đổi biểu diễn” (representation change). Từ công thức 4.1 ta có thể thu được một công thức mới bằng cách liên tiếp dùng x làm thừa số chung trong những đa thức con còn lại với số mũ giảm dần. p(x) = ((anx + an-1)x+)x + a0 (4.2)26Giải thuật HornerHorner(P[0..n],x)// Mảng P[0..n] chứa các hệ số của đa thức.p := P[n];for j := n -1 down to 0 do p := p*x + P[i];return p;Tổng số phép nhân và tổng số phép cọng trong giải thuật chỉ là n.Trong khi đó nếu tính trực tiếp đa thức thì chỉ riêng số hạng anxn đã cần đến n phép nhân. Giải thuật Horner là giải thuật tối ưu để định trị đa thức.275. So trùng dòng ký tự bằng giải thuật Rabin-KarpSo trùng dòng ký tự: tìm tất cả sự xuất hiện của một khuôn mẫu (pattern) trong một văn bản (text).Văn bản là một mảng ký tự T[1..n] chiều dài n và một khuôn mẫu là một mảng P[1..m] chiều dài m. Các phần tử của P và T là những ký tự lấy từ một tập ký tự (alphabet) .Khuôn mẫu P xuất hiện với bước dịch chuyển(shift) s trong văn bản T (tức là, P xuất hiện bắt đầu từ vị trí s+1 trong văn bản T) nếu 1  s  n – m và T[s+1..s+m] = P[1..m].Nếu P xuất hiện với bước dịch chuyển s trong T, thì ta bảo s là một bước dịch chuyển hợp lệ (valid shift); ngược lại ta bảo s là một bước dịch chuyển không hợp lệ (invalid shift).28Bài toán so trùng dòng ký tự là bài toán tìm tất cả những bước dịch chuyển hợp lệ mà một khuôn mẫu P xuất hiện trong một văn bản T cho trước.Văn bản abcabaabcabacKhuôn mẫu 	 abaabcabacBước dịch chuyển: s = 3Giải thuật Rabin-Karp vận dụng những khái niện căn bản trong lý thuyết số chẳng hạn sự tương đương của hai số modulo một số thứ ba.29Giải thuật Rabin-KarpGiả sử  = {0, 1, 2, , 9}, tức mỗi ký tự là một ký số thập phân. (Trong trường hợp tổng quát, mỗi ký tự là một ký số của cơ hệ d, tức là d = | |.)Ta có thể xem một dòng gồm k ký tự kế tiếp diễn tả một số thập phân có chiều dài k. Dòng ký tự “31415” tương ứng với trị số thập phân 31415.Cho một khuôn mẫu P[1..m], gọi p là giá trị thập phân tương ứng với khuôn mẫu.Cho một văn bản T[1..n], gọi ts là trị số thập phân của dòng con chiều dài m T[s+1...s+m], với s = 0, 1, , n-m.ts = p nếu và chỉ nếu T[s+1..s+m] = P[1..m] và s là một bước dịch chuyển hợp lệ nếu và chỉ nếu ts = p30Ta có thể tính p trong thời gian O(m) dùng qui tắc Horner: p = P[m] + 10*(P[m-1] + 10*(P[m-2] +  + 10*(P[2] + 10*P[1])))Giá trị t0 có thể được tính một cách tương tự từ T[1..m] trong thời gian O(m).Chú ý: ts+1 có thể được tính từ ts: ts+1 = 10(ts – 10m-1T[s+1]) + T[s+m+1] 	 (5.1)Thí dụ: Nếu m = 5 và ts = 31415, thì ta sẽ bỏ ký số bậc cao T[s+1] = ‘3’ và đưa vào ký số bậc thấp là ‘2’ để đạt giá trị: ts+1 = 10(31415 – 10000.3) + 2 = 1415231Mỗi lần thực thi phương trình (5.1) sẽ cần tiến hành một số lượng phép toán số học cố định. Việc tính toán t1, t2,, tn-m tỉ lệ với O(n-m).Như vậy, p và t0, t1, , tn-m có thể được tính trong chi phí thời gian O(m) +O(m) + O(n-m)  O(n + m).Nhưng p và ts có thể quá lớn đến nỗi máy tính không thể biểu diễn được. Để khắc phục vấn đề này, ta tính p và các ts modulo một đại lượng q thích hợp. Đại lượng q thường được chọn là một số nguyên tố sao cho 10q thì chứa được trong một từ của máy tính.Trong trường hợp tổng quát, với bộ mẫu tự gồm d ký tự {0, 1, , d-1}, ta chọn q sao cho dq chứa được trong một từ của máy tính. 32Và phương trình (5.1) trở thành: ts+1 = d(ts – hT[s+1]) + T[s+m+1])mod q 	(5.2) với h = dm-1 (mod q)Tuy nhiên, ts  p (mod q) không hàm ý ts = p.Mặt khác, nếu ts  p (mod q) thì ta có thể khẳng định ts  p, và như vậy bước dịch chuyển s là không hợp lệ. Chúng ta có thể dùng cách thử ts  p (mod q) để loại bỏ những bước dịch chuyển không hợp lệ s. Một bước dịch chuyển s mà thỏa ts  p (mod q) thì phải được thử nghiệm thêm để xem s có thực sự là bước dịch chuyển hợp lệ hay chỉ là một sự khớp trùng giả (spurious hit) mà thôi .Giải thuật Rabin-Karp thể hiện rõ nét tinh thần chiến lược Biến thể-để-trị33Thí dụ:|2| 3| 5| 9| 0| 2| 3| 1| 4| 1| 5| 2| 6| 7| 3| 9| 9| 2| 1|  ______   | 7||2| 3| 5| 9| 0| 2| 3| 1| 4| 1| 5| 2| 6| 7| 3| 9| 9| 2| 1|  _______   ______   ______      | 8| 9| 3|11| 0| 1| 7| 8| 4| 5|10|11| 7| 9|11| valid spurious match match | 3| 1| 4| 1| 5| 2|  ______    | 7| 8|14152 = (31415 – 3  1000)  10 + 2 (mod 13) = 8 (mod 13)34procedure RABIN-KARP-MATCHER(T, P, d, q);/* T is the text, P is the pattern, d is the radix and q is the prime */begin n: = |T|; m: = |P|; h: = dm-1 mod q; p: = 0; t0: = 0; for i: = 1 to m do begin p: = (d*p + P[i])mod q; t0: = (d*t0 + T[i])mod q end for s: = 0 to n – m do begin if p = ts then /* there may be a hit */ if P[1..m] = T[s+1..s+m] then Print “Pattern occurs with shift “s; if s < n – m then ts+1: = (d(ts –T[s + 1]h) + T[s+m+1])mod q end endThời gian thực thi của RABIN-KARP-MATCHER là O((n – m + 1)m) trong trường hợp xấu nhất vì khi đó giải thuật phải kiểm tra lại mọi bước dịch chuyển hợp lệ.Trong nhiều ứng dụng, thường chỉ có một vài bước dịch chuyển hợp lệ và do đó thời gian chạy thường là O(n+m) cọng với thời gian đòi hỏi để kiểm tra lại các sự khớp trùng giả.35Vài ghi nhận về chiến lược biến thể-để-trịCây AVL là cây tìm kiếm nhị phân mà luôn luôn được làm cho cân bằng. Sự cân bằng này được duy trì bằng 4 phép quay (rotation). Tất cả các thao tác trên cây AVL đều có độ phức tạp O(nlgn), loại trừ được trường hợp xấu nhất của cây tìm kiếm nhị phân.Cây AVL và giải thuật loại trừ Gauss là những thí dụ của biến thể-để-trị theo kiểu “đơn giản hóa thể hiện”.Heapsort, giải thuật Horner và giải thuật Rabin-Karp là những thí dụ của biến thể-để-trị theo kiểu “biến đổi cách biểu diễn”36