Khi một bản tin nói nghiên cứu cho thấy, câu hỏi đầu tiên nên là: nghiên cứu loại gì?
Vì các thiết kế nghiên cứu khác nhau cho phép rút ra những kết luận rất khác nhau — và việc lẫn lộn chúng là nguồn gốc của phần lớn thông tin sai về khoa học.
Các loại thiết kế cơ bản
Nghiên cứu quan sát. Ghi nhận những gì xảy ra mà không can thiệp.
- Cho phép: phát hiện mối liên hệ, mô tả hiện trạng, tạo giả thuyết.
- Không cho phép: kết luận chắc chắn về nhân quả, vì có thể có yếu tố thứ ba gây ra cả hai hiện tượng.
Nghiên cứu can thiệp có đối chứng. Chia thành nhóm, một nhóm nhận can thiệp, nhóm kia không, và so sánh.
- Cho phép: kết luận mạnh hơn nhiều về nhân quả, nếu việc phân nhóm là ngẫu nhiên.
- Hạn chế: tốn kém, đôi khi không khả thi hoặc không phù hợp về mặt đạo đức, và điều kiện thí nghiệm có thể khác thực tế.
Nghiên cứu trên phòng thí nghiệm hoặc trên động vật.
- Cho phép: hiểu cơ chế.
- Không cho phép: kết luận trực tiếp cho người. Đây là bước nhảy mà rất nhiều bản tin thực hiện.
Nghiên cứu định tính. Phỏng vấn sâu, quan sát tham dự.
- Cho phép: hiểu vì sao và như thế nào, khám phá các khía cạnh chưa biết.
- Không nhằm: khái quát hoá về mặt số lượng — đó không phải mục đích của nó, và việc phê phán nó vì cỡ mẫu nhỏ là hiểu sai thiết kế.
Tổng quan hệ thống và phân tích tổng hợp. Tập hợp và đánh giá tất cả nghiên cứu về một câu hỏi.
- Cho phép: kết luận vững hơn nhiều so với một nghiên cứu đơn lẻ.
- Hạn chế: chất lượng phụ thuộc vào chất lượng của các nghiên cứu đầu vào, và chịu ảnh hưởng của thiên lệch công bố.
Mô hình hoá và mô phỏng.
- Cho phép: dự báo có điều kiện, khám phá các kịch bản.
- Phụ thuộc hoàn toàn vào giả định — kết quả chỉ đúng trong phạm vi giả định đúng.
Vì sao một nghiên cứu đơn lẻ không đủ
Đây là điểm quan trọng nhất khi đọc tin về khoa học:
- Kết quả có thể do ngẫu nhiên — với cỡ mẫu nhỏ, khả năng này không nhỏ.
- Điều kiện cụ thể của một nghiên cứu có thể không lặp lại ở nơi khác.
- Có thể có lỗi chưa được phát hiện.
- Khả năng tái lập là vấn đề đã được ghi nhận ở nhiều lĩnh vực.
Nguyên tắc: một kết luận trở nên đáng tin khi nhiều nghiên cứu độc lập, với các thiết kế khác nhau, cùng chỉ về một hướng.
Các câu hỏi để đánh giá một nghiên cứu
- Thiết kế là gì và nó cho phép kết luận tới đâu?
- Cỡ mẫu bao nhiêu?
- Đối tượng là ai — kết quả áp dụng cho nhóm nào?
- Có nhóm đối chứng không?
- Đo trong bao lâu? Tác động ngắn hạn có thể khác dài hạn.
- Đã qua phản biện chưa?
- Ai tài trợ và có xung đột lợi ích không?
- Các nghiên cứu khác nói gì?
- Tác giả nêu giới hạn nào? Bài báo tốt luôn có phần này.
Một số khái niệm hay bị hiểu nhầm
Ý nghĩa thống kê không đồng nghĩa với ý nghĩa thực tiễn. Một khác biệt có thể có ý nghĩa về mặt thống kê nhưng quá nhỏ để có ý nghĩa trong thực tế — điều này đặc biệt dễ xảy ra với mẫu rất lớn.
Rủi ro tương đối và rủi ro tuyệt đối. Nói rủi ro tăng gấp đôi nghe rất mạnh; nếu rủi ro ban đầu vốn rất nhỏ thì mức tăng tuyệt đối có thể không đáng kể. Luôn hỏi con số tuyệt đối.
Tương quan không phải nhân quả — đã nhắc nhiều nhưng vẫn là lỗi phổ biến nhất.
Không tìm thấy khác biệt không đồng nghĩa với không có khác biệt — có thể nghiên cứu không đủ khả năng phát hiện.
Với người viết về khoa học
- Nêu rõ loại nghiên cứu ngay trong bài.
- Nêu cỡ mẫu và đối tượng.
- Nêu rõ nếu là nghiên cứu trên động vật hoặc trong phòng thí nghiệm.
- Nêu rõ nếu chưa qua phản biện.
- Đặt kết quả trong bối cảnh các nghiên cứu khác.
- Hỏi tác giả về giới hạn và đưa vào bài.
- Tránh động từ chỉ nhân quả khi nghiên cứu chỉ cho thấy tương quan.
Với người làm nghiên cứu
- Chọn thiết kế phù hợp với câu hỏi, không chọn theo tính khả thi rồi kết luận vượt quá.
- Nêu rõ loại kết luận thiết kế của bạn cho phép.
- Nêu giới hạn thẳng thắn — điều này tăng chứ không giảm độ tin cậy.
- Cẩn thận với ngôn ngữ trong phần bàn luận và trong thông cáo báo chí.
- Tính cỡ mẫu trước thay vì lấy theo khả năng.
Một điều đáng nhớ
Câu hỏi nghiên cứu này có đúng không thường không trả lời được ngay.
Nhưng câu hỏi nghiên cứu này cho phép kết luận tới đâu thì trả lời được — chỉ cần biết thiết kế của nó. Và đó là kỹ năng hữu ích hơn nhiều cho việc đọc tin hằng ngày.
Câu hỏi thường gặp
Nghiên cứu quan sát cho phép kết luận gì?
Phát hiện mối liên hệ, mô tả hiện trạng và tạo giả thuyết — nhưng không cho phép kết luận chắc chắn về nhân quả, vì có thể có yếu tố thứ ba gây ra cả hai hiện tượng.
Vì sao một nghiên cứu đơn lẻ không đủ?
Vì kết quả có thể do ngẫu nhiên, điều kiện cụ thể có thể không lặp lại ở nơi khác, và có thể có lỗi chưa phát hiện. Kết luận đáng tin khi nhiều nghiên cứu độc lập cùng chỉ về một hướng.
Rủi ro tương đối và tuyệt đối khác nhau ra sao?
Nói rủi ro tăng gấp đôi nghe rất mạnh, nhưng nếu rủi ro ban đầu vốn rất nhỏ thì mức tăng tuyệt đối có thể không đáng kể — luôn hỏi con số tuyệt đối.
Ý nghĩa thống kê có nghĩa là quan trọng không?
Không nhất thiết. Một khác biệt có thể có ý nghĩa thống kê nhưng quá nhỏ để có ý nghĩa thực tế, đặc biệt dễ xảy ra với mẫu rất lớn.
Phê phán nghiên cứu định tính vì cỡ mẫu nhỏ có đúng không?
Không. Nghiên cứu định tính nhằm hiểu vì sao và như thế nào, không nhằm khái quát hoá về số lượng — phê phán nó vì cỡ mẫu là hiểu sai thiết kế.
