Thursday, May 8, 2008

Chỉ số H (hay H index) của tôi

Hôm nay, Viện trưởng báo tin rằng sẽ có một cuộc tổng duyệt (total review) về các hoạt động khoa học của toàn Viện Garvan trong vòng 5 năm qua. Thật ra, đây là một cuộc “kiểm toán”, hay kiểm tra thường xuyên, theo chu kì 5 năm làm một lần. Mục tiêu bao quát là xem qua chiến lược về định hướng nghiên cứu của toàn Viện và các nhóm nghiên cứu trong Viện. Mục tiêu gần hơn là không cho các nhà nghiên cứu "ngủ gục" (có lẽ vì có tuổi hay … lười biếng) hoặc không cho bất cứ ai ngủ quên trên chiến thắng, mà bắt buộc mọi người phải nhìn lại mình, nhìn qua người khác, nhìn lên đối thủ, nhìn sang đồng nghiệp để tìm cơ hội, và nhìn cạnh để thấy mối đe dọa đến từ đâu … Nói tóm lại, cuộc tổng duyệt này nhằm đảm bảo tính cạnh tranh của Viện trên trường quốc tế.

Kết quả tổng duyệt này rất quan trọng. Trong hai đợt trước mà tôi tham gia, đã có người mất chức, có nhóm nghiên cứu bị đóng cửa (thật ra là “được” mời ra khỏi Viện, đi chỗ khác) vì năng suất khoa học không khá, hoặc chất lượng không tương xứng với các nhóm khác trong viện, hay công trình chưa có tầm cỡ quốc tế. Nói chung, cuộc tổng duyệt là một gánh nặng đè lên người đứng đầu nhóm nghiên cứu.

Qui trình họ làm cũng chặt chẽ và khách quan. Viện lập một ủy ban bình duyệt gồm 5 người, tất cả đều là người ngoài Viện. Năm nguời của ủy ban này đều là các giáo sư danh tiếng trên thế giới. Tôi chưa thấy người nào dưới 60 tuổi cả! Toàn là mấy cụ không. Ông nào ông nấy nhìn rất nghiêm chỉnh. Nghe nói họ chọn mấy vị nghỉ hưu, vì nếu báo cáo của các vị này có đụng chạm đến nhà khoa học thì cũng … chẳng làm được gì họ (họ nghỉ hưu rồi, đâu còn cạnh tranh với ai nữa). Tinh vi thật!

Năm nay, ủy ban có 2 người đến từ Đại học Harvard và UC San Diego, 1 người từ Anh, và 2 người từ Melbourne và Brisbane. Tôi chẳng quen với ai trong 5 người này, và điều này làm tôi cũng … hồi hộp. :-) Mà có quen cũng chẳng làm được gì, vì họ không cho mình nói chuyện riêng với bất cứ ai trong thành viên của ủy ban. Để làm cuộc tổng duyệt này, Viện phải mất gần 50.000 USD để bay mấy người này sang Sydney, cho ở khách sạn ngon lành, ăn uống nhà hàng sang trọng, v.v… Họ làm việc trong vòng 1 tuần liển, từ sáng đến chiều. Lịch làm việc rõ ràng, tiêu chuẩn đều công bố rành mạch.

Cách họ làm cũng đơn giản. Mỗi nhóm nghiên cứu có 30 phút để trình bày về những thành tựu chính trong 5 năm qua, định hướng 5 năm tới, phân tích SWOT (streng - thế mạnh, thế yếu – weakness, cơ hội – opportunity, và đe dọa – threat). Sau đó, ủy ban sẽ dành 30 phút để “quay” sếp của nhóm nghiên cứu. Họ phỏng vấn về bất cứ vấn đề gì mà họ thấy có vấn đề. Thường thường họ khen thì ít, mà chê thì nhiều. Chê thẳng thừng. Có lần tôi nhớ một đồng nghiệp bị chê là “thành tích mỏng quá” trước mặt mọi người khác. Họ lịch sự ở đâu không biết, nhưng đụng đến chuyện này họ rất … tàn nhẫn. Họ sẽ viết một báo cáo cho từng nhóm, và trong báo cáo này họ đánh giá xem nhóm nghiên cứu có đủ tiêu chuẩn quốc tế hay không, có khả năng cạnh tranh hay không, đứng vào hàng thứ mấy trên thế giới, đang tụt hạng hay đang lên, chất lượng nghiên cứu có tầm cỡ “world class” hay là “local”, v.v… Báo cáo chỉ được Viện trưởng và trưởng nhóm nghiên cứu đọc. Viện trưởng sẽ căn cứ vào báo cáo mà hành động.

Ngày thứ Ba tuần tới tôi phải đại diện cho nhóm mình ra trước “tòa án” của ủy ban này. Viện trưởng ra lệnh cho các trưởng nhóm như tôi phải làm một số việc, phải biết cách ứng phó với phỏng vấn, và phải chuẩn bị những “sản phẩm” để … bán. Một trong những sản phẩm đó là H – index – chỉ số H.

Có lẽ một số bạn đọc chưa biết chỉ số này là gì, nhưng nó là một chí số quan trọng trong khoa học. Bạn đọc nào muốn biết cái index quái quỉ này thì có thể đọc ở đây và nhiều chỗ khác nữa.

Tại sao chỉ số H?

Sự ra đời của chỉ số này cũng thú vị. Đối với những nhà khoa học đã được trao giải Nobel thì những đóng góp của họ chắc chắn là phải đáng kể rồi, nhưng còn 99.9% các nhà khoa học “vô danh” khác thì sao? Lấy cái gì để đánh giá thành tựu nghiên cứu của những người “trầm lặng” này? Trước đây, người ta dựa vào số bài báo khoa học mà một nhà khoa học công bố để đánh giá năng suất sáng tạo của nhà khoa học đó. Nhưng dù con số này quan trọng, nó chỉ phản ảnh phần lượng mà chưa chắc phản ảnh phần chất của các công trình nghiên cứu. Một nhà khoa học có thể công bố hàng trăm công trình nghiên cứu, nhưng có thể các công trình đó kém chất lượng nên chẳng gây ảnh hưởng gì đến chuyên ngành.

Do đó, người ta cần đến một con số khác để “đo lường” chất lượng các công trình khoa học của một nhà nghiên cứu. Nói đến chất lượng là nói đến một khía cạnh rất khó đo lường, cho nên người ta phải dựa vào một cách tính gián tiếp: đó là số lần trích dẫn (citation) trung bình cho một nhà khoa học. Số lần trích dẫn trung bình là tổng số lần trích dẫn chia cho số lượng bài báo trong một thời gian sau khi xuất bản. Chẳng hạn như một nhà khoa học có thể chỉ công bố 10 công trình nhưng được trích dẫn 200 lần (tức số lần trích dẫn trung bình là 200 / 10 = 20) vẫn có ảnh hưởng hơn một nhà khoa học công bố 100 công trình mà tổng số lần trích dẫn chỉ 200 (tức số lần trích dẫn trung bình là 2).

Tuy nhiên, ngay cả cách tính này cũng không công bằng, bởi vì có thể chỉ có một số ít các công trình được trích dẫn nhiều lần, còn đa số thì chẳng ai trích dẫn!

Định nghĩa chỉ số H

Năm 2005, nhà vật lí học Jorge Hirsch (Đại học California San Diego) đề xuất một chỉ số mà ông lấy tên là H index (H có lẽ là viết tắt họ của ông). Chỉ số H được tính toán dựa vào số công trình công bố và số lần trích dẫn. Mục tiêu của chỉ số H là đo lường mức độ ảnh hưởng tích lũy của một nhà khoa học. Chỉ số H được định nghĩa như sau: Chỉ số H của một nhà khoa học là H công trình trong số N công trình của nhà khoa học đó được trích dẫn ít nhất là H lần, và (N – H) được trích dẫn dưới H lần. Ví dụ, nếu chị Anna có chỉ số H = 20 thì điều này có nghĩa là chị Anna có 20 công trình được trích dẫn ít nhất là 20 lần. Đơn giản.

Ngay từ khi chỉ số H ra đời, có nhiều người tán thành và lấy đó làm thước đo thành tựu và ảnh hưởng của một nhà khoa học. Tập san Nature, Science, Cell, PNAS, v.v… và các cơ quan quản lí khoa học ở Âu châu, Mĩ châu, Úc châu đều sử dụng chỉ số H để làm cơ sở cho đề bạt, cấp tài trợ, và đánh giá thành công của một nhà khoa học hay một nhóm nghiên cứu. Ngay cả Viện thông tin khoa học (ISI Thompson) cũng sử dụng chỉ số H trong báo cáo của họ [2].

Chỉ số H bao nhiêu được xem là nhà khoa học khá? Trong bài báo trên PNAS [1], Hirsch viết rằng [tôi tạm dịch] một nhà khoa học với chỉ số H = 12 nên được xem là đủ tiêu chuẩn để vào biên chế đại học (tenure). Một nhà khoa học với H = 20 sau 20 năm làm khoa học có thể xem là một nhà khoa học thành công (successful); một chỉ số H = 40 sau 20 năm làm khoa học được xem là xuất sắc (outstanding) thường hay thấy ở các đại học hàng đầu hay viện nghiên cứu đẳng cấp quốc tế; một chỉ số H = 60 sau 20 năm làm nghiên cứu được xem là thật sự cá biệt (truly unique) [3].

Chỉ số H xem ra hợp lí (validity). Hirsch chịu khó phân tích các nhà khoa học y sinh học, vật lí học, hóa học từng chiếm giải Nobel thì thấy 84% có chỉ số H trên 30. Những người được bầu vào Viện Hàn lâm Khoa học Mĩ có chỉ số H trung bình là 45. Khi phân tích sao sánh những nghiên cứu sinh thành công xin postdoc và những người không thành công, thì chỉ số H của người thành công lúc nào cũng cao hơn người không thành công. Phân tích trên 147 nhà khoa học ở Hà Lan cho thấy hệ số tương quan giữa chỉ số H và uy tín cũng như số lần trích dẫn lên đến 0.89. Tất cả các dẫn chứng này cho thấy chỉ số H thật sự phản ảnh chất lượng nghiên cứu và ảnh hưởng của nhà khoa học.

Nhưng chỉ số H vẫn chưa hoàn hảo. Trong những khiếm khuyết mà giới khoa học chỉ ra trong thời gian qua, có 3 khiếm khuyết lớn như sau:

· Thứ nhất, chỉ số H luôn luôn tăng theo thời gian, và do đó tùy thuộc vào độ tuổi của nhà nghiên cứu và thời gian làm nghiên cứu. Chẳng hạn như chỉ số H của sếp tôi (người đã làm nghiên cứu 35 năm) có xu hướng cao hơn tôi (người mới làm nghiên cứu có 20 năm).

· Thứ hai, chỉ số H không phân biệt được những nhà khoa học đã nghỉ hưu với những nhà khoa học đang làm việc.

· Thứ ba, chỉ số H còn tùy thuộc vào ngành khoa học. Nói chung, các ngành khoa học tự nhiên và thực nghiệm (như vật lí, y sinh học) có xu hướng công bố nhiều công trình nghiên cứu và thường hay trích dẫn nhau hơn các nghành khoa học như toán học hay xã hội học.

Để khắc phục các khiếm khuyết trên, một vài chỉ số khác đã được đề xuất để “điều chỉnh” chỉ số H. Để điều chỉnh cho thời gian làm nghiên cứu, Hirsch đề nghị chia chỉ số H cho thời gian làm nghiên cứu và ông gọi chỉ số này là chỉ số m. Nếu sếp tôi có chỉ số H là 61 và ông đã làm nghiên cứu khoa học 35 năm, thì chỉ số m là 61 / 35 = 1.74. Nhưng nếu một người mới ra trường PhD khoảng 5 năm và có chỉ số H là 10 thì m = 2. Diễn giải như thế nào cho 2 người này? Khá gay go đấy!

Ngoài ra, còn có chỉ số khác như chỉ số g (g index), chỉ số H đương đại (contemporary H index), chỉ số H cá nhân (individual H index). Các bạn có thể tham khảo thêm ở đây (trang nhà của giáo sư Harzing). Tuy nhiên, khi so sánh các chỉ số mới này với chỉ số H, ngoài vài trường hợp cá biệt, không có gì khác nhau đáng kể. Do đó, cho đến nay giới quản lí khoa học vẫn sử dụng chỉ số H để đánh giá chất lượng và thành tựu của nghiên cứu khoa học. Có thể đọc thêm vài tài liệu về chỉ số này trong tài liệu tham khảo dưới đây [4].

Nãy giờ chắc các bạn muốn biết chỉ số H của tôi là bao nhiêu. Tôi đã nhờ Dr Nguyên tìm trong ISI và kết quả cũng ok: H = 41. Có lẽ tôi sẽ còn sống sót trong tương lai.

Chú thích:

Thành thật cám ơn Dr Nguyên đã tìm các thông tin này trên ISI và chỉ cho tôi cách truy cập trang nhà của ISI để biết mình như thế nào.

[1] Hirsch, J. E. (2005). "An index to quantify an individual's scientific research output," Proceedings of the National Academy of Sciences, 102(46):16569-16572, November 15, 2005 (Free copy available from arXiv).

[2] Ghi chú riêng cho tôi để tìm chỉ số H.

  • Vào Garvan intranet site
  • Truy cập Curran Library à Database
  • Truy cập Web of Science à Advanced Search (AU=[tên nhà khoa học như Nguyen TV] AND AD=[địa chỉ như Garvan] hoặc CU=[quốc gia như Australia].

[3] Trong bài báo [1] Hirsch viết như sau: “From inspection of the citation records of many physicists, I conclude the following:

  1. A value of m ≈ 1 (i.e., an h index of 20 after 20 years of scientific activity), characterizes a successful scientist.

  1. A value of m ≈ 2 (i.e., an h index of 40 after 20 years of scientific activity), characterizes outstanding scientists, likely to be found only at the top universities or major research laboratories.

  1. A value of m ≈ 3 or higher (i.e., an h index of 60 after 20 years, or 90 after 30 years), characterizes truly unique individuals.”

[4] Philip Ball. Achievement index climbs the ranks. Nature 448, 737 (16 August 2007) và phản hồi: Michael C. Wendl. H-index: however ranked, citations need context. Nature 449, 403 (27 September 2007). Philip Ball. "Index aims for fair ranking of scientists". Nature 436 (August 2005), và Wikipedia.

Ngoài ra, Robert Wells và Judith A Whitworth có một bài khá hay với tựa đề thách thức “Assessing outcomes of health and medical research: do we measure what counts or count what we can measure?” bàn về đánh giá thành tựu nghiên cứu y khoa ở đây. Tôi thích câu này trong bài: “Governments world wide are increasingly demanding outcome measures to evaluate research investment. Health and medical research outputs can be considered as gains in knowledge, wealth and health. Measurement of the impacts of research on health are difficult, particularly within the time frames of granting bodies. Thus evaluations often measure what can be measured, rather than what should be measured. Traditional academic metrics are insufficient to demonstrate societal benefit from public investment in health research. New approaches that consider all the benefits of research are needed.”





Biểu đồ cho biết số công trình xuất bản hàng năm của tôi. Mấy năm mới từ Mĩ về Sydney còn xây dựng cơ đồ nên năng suất không mấy cao. Sau này có người tiếp tay và tài trợ nên làm ăn cũng khấm khá.




Biểu đồ cho biết số lần trích dẫn các công trình của tôi từ 1994-2008. Tôi tham gia Viện Garvan vào năm 1992, phải 3 năm sau mới khởi sắc. Trước đó khi còn ở Đại học Sydney có mấy bài báo chẳng ai trích dẫn (thật ra là có nhưng trung bình chỉ 1-2 trích dẫn).

No comments: