Bài giảng Thống kê học ứng dụng trong quản lý xây dựng - Phần 4: Thu thập dữ liệu - Nguyễn Duy Long

9/8/2010
1
Phần 04
Nguyễn Duy Long, Tiến Sỹ
Bộ môn Thi Công và QLXD
©2010, Nguyễn Duy Long, Tiến Sỹ 1
 Khảo sát mẫu
 Thí nghiệm và nghiên cứu quan sát
©2010, Nguyễn Duy Long, Tiến Sỹ 2
9/8/2010
2
Gathering Data
3©2010, Nguyễn Duy Long, Tiến Sỹ
 Xem xét cơ sở của việc thu thập dữ liệu.
 Vượt ra dữ liệu có trong tay để đến với thế giới
rộng lớn (quần thể). 
 Tìm hiểu ba ý tưởng chính cho phép chúng ta sự
“vượt rào” này
4©2010, Nguyễn Duy Long, Tiến Sỹ
9/8/2010
3
 Ý tưởng đầu tiên là rút ra một mẫu.
◦ Xem xét một nhóm nhỏ hơn, gọi là mẫu (sample), được lựa
ầ ểchọn từ qu n th .
◦ Lấy mẫu (sampling) là việc làm tự nhiên. 
 Thăm dò ý kiến (opinion poll) là ví dụ về khảo sát
mẫu (sample surveys), được thiết kế để hỏi một
nhóm nhỏ với hy vọng hiểu vấn đề gì đó về toàn bộ
quần thể.
Người thăm dò ý kiến (pollster) chuyên nghiệp phải đảm◦ 
bảo việc lấy mẫu là có tính đại diện (representative ) cho
quần thể.
◦ Nếu không, thì sẽ có.
5©2010, Nguyễn Duy Long, Tiến Sỹ
 Mẫu không đại diện cho mọi thành viên trong quần
thể gọi là bị chệch (biased). 
◦ Sự chệch là “bả thuốc” của việc lấy mẫu.
◦ Thường không có cách nào để chỉnh sửa mẫu bị chệch hay 
để có thông tin hữu ích từ nó.
 Cách tốt nhất để tránh sự chệch là chọn các cá thể
cho mẫu một cách ngẫu nhiên (at random). 
◦ Giá trị của việc giới thiệu sự ngẫu nhiên (randomness) là
một trong những quan niệm tuyệt vời của thống kê học.
6©2010, Nguyễn Duy Long, Tiến Sỹ
9/8/2010
4
©2010, Nguyễn Duy Long, Tiến Sỹ 7
Nguồn: VNExpress.net, 8/11/2009
 Ngẫu nhiên hóa (randomization) kháng lại các yếu
tố mà bạn biết (và cả không biết) về dữ liệu. 
 Ngẫu nhiên hóa bảo vệ chúng ta từ các tác động
của các đặc điểm của quần thể.
 Ngẫu nhiên hóa cũng giúp chúng ta có thể có các
suy luận về quần thể khi chúng ta chỉ thấy mẫu.
◦ Sự suy luận đó là trong số những thứ hữu hiệu nhất mà
chúng ta có thể thực hiện với thống kê học.
8©2010, Nguyễn Duy Long, Tiến Sỹ
9/8/2010
5
 Mẫu ngẫu nhiên cần lớn ra sao để mẫu có thể đại
diện cho quần thể?
Kí h hướ ủ ẫ hứ khô hải kí h hướ c t c c a m u, c ng p c t c
của quần thể tạo sự khác biệt trong lấy mẫu. 
 Tỷ phần của quần thể mà được lấy mẫu không phải
là vấn đề. 
9©2010, Nguyễn Duy Long, Tiến Sỹ
 Tại sao phải lo xác định kích thước mẫu? 
 Sẽ tốt hơn nếu bao gồm mọi người và “lấy mẫu” 
h à ầ hể?c o to n qu n t 
◦ Mẫu đặc biệt đó gọi là tổng điều tra (census).
 Các vấn đề của tổng điều tra:
◦ Khó để hoàn thành tổng điều tra.
◦ Các quần thể khó đứng yên.
◦ Tổng điều tra luôn phức tạp và tốn kém hơn lấy mẫu.
10©2010, Nguyễn Duy Long, Tiến Sỹ
9/8/2010
6
 Mô hình dùng toán học để miêu tả thực tế.
◦ Các thống số là các số chính trong các mô hình đó.
 Dùng dữ liệu để ước lượng các tham số quần thể.
◦ Mỗi tổng kết từ dữ liệu là một trị số thống kê (statistic). 
◦ Trị số thống kê để ước lượng tham số quần thể được gọi là
trị số thống kê mẫu (sample statistics).
Tên Trị số thống kê Tham số
Trị trung bình µy
Độ lệch chuẩn s σ
Sự tương quan r ρ
Hệ số hồi qui b β
Phần ppˆ
11©2010, Nguyễn Duy Long, Tiến Sỹ
 Cần bảo đảm rằng các trị số thống kê từ mẫu phản
ánh các tham số tương ứng một cách chính xác. 
 Mọi mẫu khả dĩ của kích thước mẫu định lấy có cơ
hội được lựa chọn giống nhau. 
◦ Mỗi thành viên có cơ hội được lựa chọn như nhau.
◦ Mỗi tổ hợp của thành viên cũng có cùng cơ hội được chọn
lựa.
◦ Một mẫu được lấy ra như vậy được gọi là mẫu ngẫu nhiên
đơn giản (Simple Random Sample (SRS)). 
12©2010, Nguyễn Duy Long, Tiến Sỹ
9/8/2010
7
 SRS là tiêu chuẩn để đo các phương pháp lấy mẫu khác, 
và phương pháp lấy mẫu dựa trên lý thuyết làm việc với
các dữ liệu từ mẫu.
 Để chọn một mẫu ngẫu nhiên, trước tiên cần xác định
mẫu đến từ đâu. 
◦ Khung mẫu (sampling frame) là tập hợp các cá thể mà mẫuđược rút ra.
 Một khi có khung mẫu, cách dễ nhất để chọn SRS là với
các số ngẫu nhiên.
 Các mẫu rút ra ngẫu nhiên thường khác nhau.
◦ Mỗi số ngẫu nhiên rút ra chọn các cá thể khác nhau cho mẫu.
◦ Các khác nhau này dẫn đến các giá trị khác nhau cho các biếnđược đo lường.
◦ Các sự khác nhau này giữ các mẫu gọi là sự biến đổi do lấy
mẫu (sampling variability).
13©2010, Nguyễn Duy Long, Tiến Sỹ
 Lấy mẫu ngẫu nhiên đơn giản không phải là cách hợp
lý duy nhất để lấy mẫu.
 Các thiết kế phức tạp hơn có thể tiết kiệm thời gian
hay tiền bạc hay giúp tránh các vấn đề liên quan đến
lấy mẫu.
 Các thiết kế được dùng để lấy mẫu từ các quần thể
thường phúc tạp hơn các mẫu ngẫu nhiên đơn giản.
 Có 4 loại khác nhau:
1. Lấy mẫu được phân tầng (Stratified Sampling)
2. Lấy mẫu cụm (Cluster Sampling)
3. Lấy mẫu nhiều giai đoạn (Multistage Sampling)
4. Lấy mẫu có hệ thống (Systematic Sampling)
14©2010, Nguyễn Duy Long, Tiến Sỹ
9/8/2010
8
 Thỉnh thoảng quần thể được chia ra trước thành
các nhóm đồng nhất gọi là tầng (strata) trước khi, , 
chọn mẫu.
 SRS được dùng trong mỗi tần (stratum) trước khi
kết hợp các kết quả.
 Thiết kế mẫu thông dụng này gọi là lấy mẫu ngẫu
nhiên phân tầng (stratified random sampling).
 Việc phân tầng giảm sự biến đổi trong các kết quả.
15©2010, Nguyễn Duy Long, Tiến Sỹ
 Một nhà thầu có kế hoạch tái cấu trúc và thay đổi
thị trường các dự án xây dựng của họ. Họ muốn
ế ầ ầbi t các thói quen chọn th u của các chủ đ u tư, 
trong quần thể chủ đầu tư ở Việt Nam.
◦ Các chủ đầu tư công có tiêu chí khác các chủ đầu tư
tư nhân (và có thể các chủ đầu tư nước ngoài có tiêu
chí khác cả hai loại chủ đầu tư trên). Có thể hữu ích
nếu phân tầng quần thể, và lấy mẫu cho 3 nhóm riêng
biệt.
◦ Chúng ta làm điều này ra sao?
◦ Sự xem xét cuối cùng có thể là gì, sau khi thu thập tất
các 3 mẫu này?
16©2010, Nguyễn Duy Long, Tiến Sỹ
9/8/2010
9
 Thỉnh thoảng việc phân tầng không thực tế
và SRS là rất khó, 
 Chia quần thể thành các phần tương tự
nhau hay cụm (clusters) có thể làm việc lấy
mẫu thực tế hơn.
◦ Có thể chọn một hay một vài cụm ngẫu nhiên và
thực hiện tổng điều tra (hay lấy mẫu lớn).
Thiế kế lấ ẫ à i là lấ ẫ ( l◦ t y m u n y gọ y m u cụm c uster 
sampling).
◦ Nếu mỗi cụm đại diện cho quần thể hợp lý, lấy
mẫu cụm sẽ cho mẫu không bị chệch.
17©2010, Nguyễn Duy Long, Tiến Sỹ
 Lấy mẫu cụm khác với lấy mẫu phân tầng.
◦ Phân tầng để đảm bảo mẫu có sự đại diện của các
nhóm trong quần thể, và lấy mẫu ngẫu nhiên mỗi
tầng.
◦ Các cụm thì khá giống nhau, mỗi cụm không
đồng nhất (heterogeneous) và tương tự quần thể.
18©2010, Nguyễn Duy Long, Tiến Sỹ
9/8/2010
10
 Thỉnh thoảng dùng nhiều phương pháp lấy mẫu.
 Kế hoạch lấy mẫu kết hợp nhiều phương pháp gọi
là các mẫu nhiều giai đoạn (multistage samples).
 Hầu hết các khảo sát thực hiện bởi các tổ chức
khảo sát chuyên nghiệp kết hợp lấy mẫu phân tầng
và cụm cũng như lấy mẫu ngẫu nhiên đơn giản.
19©2010, Nguyễn Duy Long, Tiến Sỹ
 Thỉng thoảng lấy mẫu bằng việc chọn các cá thể có
hệ thống.
 Để tạo tính ngẫu nhiên, bắt đầu với sự chọn lựa có
hệ thống từ một cá thể được lựa chọn ngẫu nhiên.
 Khi không có lý do để tin thứ tự của danh sách là
liên hợp với các phản hồi, lấy mẫu có hệ thống
(systematic sampling) có thể cho mẫu có tính đại
diện.
 Lấy mẫu có hệ thống có thể rẻ hơn lấy mẫu ngẫu
nhiên.
20©2010, Nguyễn Duy Long, Tiến Sỹ
9/8/2010
11
 “Ai” trong một khảo sát có thể từ các nhóm khác
nhau, và sự nhập nhằng từ đó có thể nói lên nhiều
ề ềđi u v sự thành công của nghiên cứu.
1. Nghĩ về quần thể đang quan tâm (population of 
interest).
2. Xác định khung mẫu (sampling frame). 
3. Có mẫu mục tiêu (target sample). 
để lấ ẫ á đối tư điề t4.  y m u, c c ợng u ra
(respondents) thực sự.
Sự chệch có thể nảy sinh tại bất cứ điểm nào!
21©2010, Nguyễn Duy Long, Tiến Sỹ
 SRS từ khung mẫu sai (flawed sampling frame) có
thể nảy sinh sự chệch.
 Lấy mẫu thuận tiện (convenience sampling), chỉ lấy
từ các cá thể thuận tiện.
 Lấy mẫu thuận tiện không chỉ là vấn đề của các
người lấy mẫu khởi sự.
22©2010, Nguyễn Duy Long, Tiến Sỹ
9/8/2010
12
 “Phủ sóng kém” (Under-coverage)
 Vấn đề phổ biến là sự chệch do không trả lời (non-
b )response ias
23©2010, Nguyễn Duy Long, Tiến Sỹ
 Trong mẫu trả lời tự nguyện (voluntary response 
sample), một nhóm lớn được mời trả lời và tất cả
những ai trả lời sẽ được tính. 
◦ Các mẫu trả lời tự nguyện gần như luôn bị chệch, các kết
luận rút ra từ đó hầu hết là sai.
 Các mẫu trả lời tự nguyện thường bị chệch theo
những người có các ý kiến mạnh hay những người
được khuyến khích mạnh.
Vi ẫ là khô ó tí h đ i diệ hệ h d t ả m u ng c n ạ n, sự c c o r
lời tự nguyện (voluntary response bias) làm mất giá
trị cuộc khảo sát.
24©2010, Nguyễn Duy Long, Tiến Sỹ
9/8/2010
13
 Tránh các trả lời có tác động (influencing 
responses).
◦ Sự chệch trong trả lời (Response bias) liên hệ đến bất cứ
thứ gì trong thiết kế khảo sát mà gây ảnh hưởng đến trả
lời. 
◦ Câu chữ trong câu hỏi có thể ảnh hưởng đến trả lời.
◦ Vấn đề của sự “neo chặt” (anchoring). 
25©2010, Nguyễn Duy Long, Tiến Sỹ
Experiments and observational 
studies
©2010, Nguyễn Duy Long, Tiến Sỹ 26
9/8/2010
14
 Trong nghiên cứu quan sát (observational study), 
nhà nghiên cứu không ấn định các lựa chọn, họ chỉ
á húquan s t c ng.
◦ Ví dụ: Năm 2009, trường ĐHBK nghiên cứu so sánh sự
thành công trong thị trường việc làm của sinh viên học lớp
kỹ sư tài năng và kỹ sư học lớp thông thường khóa 2004.
◦ Vì các nhà khảo sát không ấn định sinh viên học lớp này
hay lớp kia mà chỉ quan sát sinh viên trong khóa học.
27©2010, Nguyễn Duy Long, Tiến Sỹ
 Vì các nhà khảo sát xác định đối tượng theo học và
thu thập số liệu về công việc của họ sau ra trường, 
đây gọi là nghiên cứu “xem lại quá khứ” 
(retrospective study).
 Nếu các nhà khảo sát xác định đối tượng trước và
thu thập số liệu khi các sự kiện chưa bộc lộ, đó gọi
là nghiên cứu về sau (prospective study).
 Nghiên cứu quan sát có giá trị cho việc khám phá
khuynh hướng và các liên hệ khả dĩ
 Tuy nhiên, nghiên cứu quan sát không thể chỉ ra
mối quan hệ nhân quả.
28©2010, Nguyễn Duy Long, Tiến Sỹ
9/8/2010
15
 Thí nghiệm (experiment) là thiết kế nghiên cứu cho
phép chúng ta chứng minh mối quan hệ nhân quả.
Thí hiệ ng m:
◦ Thao tác (manipulate) các mức yếu tố (factor 
levels) để tạo liệu pháp (treatments).
◦ Ấn định (assign) ngẫu nhiên các đối tượng với các
mức liệu pháp này.
◦ So sánh (compares) các phản hồi của các nhóm
đối tượng với các mức liệu pháp này.
 Thí nghiệm phải xác định ít nhất một biến khám
phá, gọi là yếu tố (factor) để thao tác và ít nhất một
biến phản hồi để đo lường.
29©2010, Nguyễn Duy Long, Tiến Sỹ
 Người thí nghiệm thao tác các yếu tố để kiểm soát các
chi tiết của các liệu pháp, và ấn định các đối tượng với
các liệu pháp đó một các ngẫu nhiên.
 Người thí nghiệm quan sát biến phản hồi và so sánh các
phản hồi cho các nhóm đối tượng khác nhau.
 Cá thể mà chúng ta thí nghiệm gọi là đơn vị thí nghiệm
(experimental units)/
◦ Khi cá thể là con người, gọi là đối tượng (subjects) hay người
tham gia (participants).
 Các giá trị cụ thể mà người thí nghiệm chọn cho một
yếu tố gọi là các mức của yếu tố.
 Một liệu pháp là sự kết hợp của các mức cụ thể từ tất cả
các yếu tố mà một đơn vị thí nghiệm tiếp nhận.
30©2010, Nguyễn Duy Long, Tiến Sỹ
9/8/2010
16
1. Kiểm soát (Control):
◦ Kiểm soát các nguồn của sự biến đổi hơn là các
yếu tố chúng ta đang thử bằng cách tạo ra các
điều kiện cho các nhóm liệu pháp càng tương
tự càng tốt.
2. Ngẫu nhiên hóa (Randomize):
◦ Sự ngẫu nhiên hóa cho phép cân bằng các ảnh
hưởng của các nguồn biến đổi không được biết
hay không thể kiểm soát.
◦ Không có sự ngẫu nhiên hóa, sự chệch sẽ nảy
sinh.
31©2010, Nguyễn Duy Long, Tiến Sỹ
3. Lặp lại (Replicate):
◦ Làm lại thí nghiệm, áp dụng các liệu pháp vào
hiề đối tưn u ợng. 
4. Tạo khối (Block) (tùy chọn):
◦ Thỉnh thoảng một số thuộc tính của đơn vị thí
nghiệm không được nghiên cứu hay không thể
kiểm soát có thể ảnh hưởng kết quả của thí
nghiệm.
◦ Nếu chúng ta nhóm các cá thể tương tự và
ngẫu nhiên hóa trong các khối (block) này, có
thể loại bỏ nhiều các biến đổi do sự khác nhau
giữa các khối.
32©2010, Nguyễn Duy Long, Tiến Sỹ
9/8/2010
17
 Giản đồ giúp thể hiện thủ tục thí nghiệm.
 Giản đồ sau biểu thị sự bố trí ngẫu nhiên của các
đối tượng với các nhóm liệu pháp, các liệu pháp
riêng biệt cho các nhóm này và so sánh kết qua sau
cùng:
Nguồn: De Veaux, 2006
33©2010, Nguyễn Duy Long, Tiến Sỹ
 Sự khác biệt cần có ra sao để có thể nói là có sự
khác biệt trong các liệu pháp?
 Các khác biệt lớn hơn những gì từ sự ngẫu nhiên
hóa gọi là “đáng kể về mặt thống kê” (statistically 
significant).
 Sự đáng kể về mặt thống kê (statistical 
significance) sẽ nói ở các phần sau. Đến đây, một
sự khác biệt là đáng kể về mặt thống kê nếu chúng
ể ẫta tin nó không th xảy ra do ng u nhiên.
34©2010, Nguyễn Duy Long, Tiến Sỹ
9/8/2010
18
 Thí nghiệm và khảo sát mẫu đều dùng sự ngẫu
nhiên hóa để thu thập các dữ liệu không bị chệch
( b d d )un iase ata . 
 Nhưng chúng làm với những cách và mục đích khác
nhau:
◦ Khảo sát mẫu cố gắng ước lượng các tham số của quần thể, 
vì vậy mẫu càng có tính đại diện cho quần thể càng tốt.
◦ Thí nghiệm cố gắng đánh giá các ảnh hưởng của các liệu
pháp và các đơn vị thí nghiệm không phải luôn lấy ngẫu, 
nhiên từ quần thể.
35©2010, Nguyễn Duy Long, Tiến Sỹ
 Thông thường chúng ta muốn so sánh tình huống
từ một liệu pháp cụ thể với tình huống nguyên
trạng (status quo).
 Sự đo lường cơ sở (baseline measurement) gọi là
liệu pháp kiểm soát (control treatment), và đơn vị
thí nghiệm dùng liệu pháp đó gọi là nhóm kiểm
soát (control group).
36©2010, Nguyễn Duy Long, Tiến Sỹ
9/8/2010
19
 Khi chúng ta biết liệu pháp gì được dùng, rất khóđể không để kiến thức đó tác động sự đánh giá
của chúng ta về sự phản hồi.
 Để tránh sự chệch khả dĩ do biết liệu pháp gì đang
áp dụng, dùng sự “giấu kín” (blinding).
 Hai nhóm chính có thể ảnh hưởng đến kết quả của
thí nghiệm:
1. Người có thể ảnh hưởng đến kết quả
2. Người đánh giá kết quả
 Khi mọi cá nhân trong một trong hai nhóm nàyđ đ dấ kí hí h là ấ kí được ược u n, t ng iệm gọi gi u n ơn
(single-blind).
 Khi mọi cá nhân trong cả hai nhóm được giấu kín, 
thí nghiệm gọi là giấu kín kép (double-blind).
37©2010, Nguyễn Duy Long, Tiến Sỹ
 Thường thì chỉ đơn giản dùng bất cứ liệu pháp nào
có thể có sự cải thiện. 
 Để tách các tác động của liệu pháp quan tâm, có
thể dùng liệu pháp kiểm soát để nhại (giả) liệu
pháp đó.
 Liệu pháp giả (“fake” treatment) trông như liệu
pháp đang thử nghiệm gọi là “giả dược” (placebo). 
 Ảnh hưởng giả dược (placebo effect) xảy ra khi
dùng liệu pháp giả thì tạo ra sự thay đổi trong biến
phản hồi. 
38©2010, Nguyễn Duy Long, Tiến Sỹ
9/8/2010
20
  thường là:
◦ ngẫu nhiên hóa (randomized).
◦ có thể so sánh (comparative).
◦ giấu kín kép (double-blind).
◦ giả dược được kiểm soát (placebo-controlled)
39©2010, Nguyễn Duy Long, Tiến Sỹ
 Khi các nhóm của đơn vị thí nghiệm tương tự, có
thể tập hợp chúng lại với nhau thành các khối
(bl k )oc s . 
 Tạo khối tách các biến đổi do sự khác biệt giữa các
khối để có thể thấy sự khác biệt do các liệu pháo rõ
hơn.
 Khi sự ngẫu nhiên hóa chỉ xảy ra trong các khối, ta
gọi thiết kế tạo khối được ngẫu nhiên hóa
(randomized block design).
40©2010, Nguyễn Duy Long, Tiến Sỹ
9/8/2010
21
 Giản đồ của thí nghiệm được tạo khối:
Nguồn: De Veaux, 2006
41©2010, Nguyễn Duy Long, Tiến Sỹ
 Tạo khối trong thí nghiệm tương tự như phân tầng
trong khảo sát.
T hiê ứ “ l i á khứ” h hiê rong ng n c u xem ạ qu ay ng n
cứu “về sau”, các đối tượng thường sóng đôi bởi vì
chúng tương tự nhau theo các cách không nghiên
cứu.
42©2010, Nguyễn Duy Long, Tiến Sỹ
9/8/2010
22
 Thường bao gồm nhiều yếu tố trong một thí
nghiệm để đánh giá điều gì xảy ra khi các mức của
ế ố ấ ếy u t được n định với các sự k t hợp khác nhau.
43©2010, Nguyễn Duy Long, Tiến Sỹ
 Khi các mức của một yếu tố có liên hợp với các mức
của yếu tố khác, ta gọi hai yếu tố này là trùng hợp
( f d d)con oun e .
 Với các yếu tố trùng hợp, chúng ta không thể tách
các ảnh hưởng của yếu này với các ảnh hưởng của
yếu tố khác.
44©2010, Nguyễn Duy Long, Tiến Sỹ
9/8/2010
23
 Biến ẩn tạo sự liên hợp với hai biến khác làm chúng ta
nghĩ biến này gây ra biến kia.
◦ Xảy ra cả trong phân tích hồi qui và nghiên cứu quan sát.
◦ Biến ẩn thường là nguyên nhân của cả hai biến y và x làm có
vẻ như là x có thể gây ra y.
 Biến trùng hợp liên hợp theo cách không nhân quả
với một yếu tố và ảnh hưởng đến sự phản hồi.
◦ Vì sự phản hồi, chúng ta không thể cho biết ảnh hưởng ta thấy
là được gây ra bởi yếu tố của chúng ta hay bởi yếu tố trùng
hợp (hay do cả hai).
 Cả hai loại ảnh hưởng này điều làm sai lệch – cần đề
phòng cả hai!
45©2010, Nguyễn Duy Long, Tiến Sỹ
©2010, Nguyễn Duy Long, Tiến Sỹ 46