Vấn đề bắt đầu từ định nghĩa
Nhiều chỉ số nghe rất rõ ràng nhưng được định nghĩa khác nhau giữa các hệ thống:
- "Giảng viên" — có nước tính cả người làm việc bán thời gian và trợ giảng, có nước chỉ tính biên chế toàn thời gian. Tỷ lệ giảng viên trên sinh viên vì thế không so trực tiếp được.
- "Nhân lực nghiên cứu" — có nơi quy đổi theo thời gian dành cho nghiên cứu, có nơi đếm đầu người.
- "Chi cho nghiên cứu và phát triển" — phạm vi khoản chi được tính vào rất khác nhau, và cách xử lý phần chi của doanh nghiệp cũng vậy.
- "Trình độ tiến sĩ" — cấu trúc chương trình và thời gian đào tạo khác nhau giữa các hệ thống.
Trước khi so hai con số, hãy tìm phần định nghĩa trong tài liệu gốc. Nếu không tìm thấy, đó đã là một cảnh báo.
Vấn đề của việc đếm công bố
Số bài báo là chỉ số hay được dùng nhất vì dễ đếm. Nhưng nó chịu ảnh hưởng của nhiều thứ ngoài năng lực nghiên cứu:
- Cơ sở dữ liệu nào được dùng để đếm. Mỗi cơ sở dữ liệu bao phủ một tập tạp chí khác nhau, và độ bao phủ với tạp chí không phải tiếng Anh thường thấp hơn hẳn. Điều này làm số liệu của các nước không nói tiếng Anh bị thấp một cách hệ thống.
- Cách quy công bài có nhiều tác giả từ nhiều nước. Đếm đủ cho mỗi nước hay chia theo tỷ lệ tác giả — hai cách cho hai bức tranh khác nhau.
- Đặc thù ngành. Ngành y sinh công bố nhiều và nhanh hơn ngành khoa học xã hội hoặc toán lý thuyết. Cơ cấu ngành của một nước ảnh hưởng thẳng tới tổng số bài.
- Chính sách khuyến khích. Nơi thưởng theo số bài sẽ có số bài tăng — điều đó không tự động nghĩa là năng lực tăng.
Vấn đề của việc so trích dẫn
Trích dẫn tích luỹ theo thời gian nên bài mới luôn thiệt so với bài cũ. Thói quen trích dẫn cũng khác nhau giữa các ngành: một ngành có danh mục tham khảo trung bình bốn mươi mục sẽ tạo ra nhiều trích dẫn hơn ngành có mười lăm mục, mà không liên quan gì tới chất lượng.
Vì vậy so trích dẫn chỉ có ý nghĩa khi đã chuẩn hoá theo ngành và theo năm — và ngay cả khi đó vẫn nên đọc kèm bối cảnh.
Vấn đề của bối cảnh
Một nước có hệ thống đại học trẻ, quy mô dân số khác, cơ cấu kinh tế khác thì không nằm trên cùng đường xuất phát. So tuyệt đối giữa các nước rất khác nhau về quy mô thường ít có nghĩa; so theo đầu người hoặc theo tỷ lệ trên tổng chi thì hợp lý hơn, nhưng vẫn phải đọc kèm bối cảnh.
Cách đọc một bảng so sánh cho tỉnh táo
- Tìm định nghĩa của chỉ số trong tài liệu gốc.
- Xem nguồn dữ liệu là gì và độ bao phủ của nó ra sao.
- Xem năm của dữ liệu — nhiều bảng dùng số liệu cách vài năm.
- Hỏi: chỉ số này chuẩn hoá theo cái gì — dân số, quy mô hệ thống, hay không chuẩn hoá?
- Hỏi: có yếu tố nào ngoài năng lực có thể giải thích khác biệt này không?
- Nếu định dùng để lập luận, hãy nêu kèm những hạn chế trên.
Vậy có nên so không
Có, nhưng để đặt câu hỏi chứ không để kết luận. Một khác biệt lớn trong bảng so sánh là dấu hiệu đáng tìm hiểu — và bước tiếp theo phải là đào vào nguyên nhân, không phải xếp hạng.
Lưu ý: tiêu chuẩn, quy chế và cách ghi danh xưng nêu trong bài do cơ quan có thẩm quyền quy định và có thay đổi theo thời gian. Hãy đối chiếu với văn bản hiện hành và hỏi đơn vị có thẩm quyền trước khi sử dụng trong hồ sơ chính thức.
