รพีพัฒน์ อิงคสิทธิ์ เรื่อง
ศุภิสรา บุราณปู่ ภาพประกอบ
ผมประมาทเผลอปล่อยไก่ตัวใหญ่ไปในบทความชิ้นก่อน เพราะไปหยิบเอางานวิจัยที่ถูกถอนจากวารสารไปแล้วมาใช้อ้างอิง โชคดีที่ผู้อ่านแสดงความเห็นตักเตือน จึงแก้ไขได้อย่างทันท่วงที แต่ความผิดพลาดครั้งนี้ก็ชวนให้ผมสงสัยว่า ‘งานวิจัย’ ที่ตัวผมและเหล่านักวิชาการคนอื่นๆ มักจะหยิบมาอ้างอิงนั้นสามารถเชื่อถือได้แค่ไหนกัน
คนจำนวนไม่น้อยก็มีคำถามเช่นเดียวกับผม บางคนถึงกับลงทุนลงแรงเขียนนิตยสารเสียดสีชื่อว่า วารสารของผลลัพธ์ที่ไม่สามารถทำซ้ำได้ (Journal of Irreproducible Results) ประเด็นดังกล่าวถูกพัฒนากลายเป็นวารสารวิชาการจริงจังที่ตั้งเป้าทุ่มเทเพื่อทำซ้ำและทดสอบงานวิจัยของนักวิชาการชั้นแนวหน้าซึ่งมักจะไม่ถูกตั้งคำถามเพราะไม่อยากกระทบกระทั่ง งบประมาณที่จำกัด หรือเห็นว่าแทนที่จะเสียเวลาทดลองซ้ำ สู้เอาเวลาไปทำการศึกษาชิ้นใหม่ไม่ดีกว่าหรือ
วารสาร Nature ทำการสำรวจความคิดเห็นนักวิจัย 1,576 คนในสาขาเคมี ฟิสิกส์ สิ่งแวดล้อม ชีววิทยา รวมถึงการทดลองทางการแพทย์ ได้บทสรุปที่น่าตกใจคือนักวิจัยราว 70 เปอร์เซ็นต์มีประสบการณ์ความล้มเหลวในการ ‘ทำซ้ำ’ การทดลองของนักวิทยาศาสตร์คนอื่นที่ตีพิมพ์ในวารสารวิชาการได้ อีกทั้งนักวิจัยกว่าครึ่งต่างเห็นว่าเรากำลังอยู่ในภาวะวิกฤติ เนื่องจากการทดลองที่ไม่สามารถทำซ้ำได้อาจเป็นเพียง ‘โชค’ ที่เกิดขึ้นในห้องทดลอง
อย่างไรก็ดี ข้อสรุปข้างต้นก็เป็นเพียงความเห็นของนักวิจัยหยิบมือหนึ่งซึ่งอาจไม่ได้มีความเป็นวิทยาศาสตร์มากนัก ขณะที่หลักฐานเชิงประจักษ์ว่าด้วยปัญหาการทำซ้ำก็มีไม่มากนัก แต่มีการศึกษาชิ้นหนึ่งที่โดดเด่นคือผลงานของ ‘โครงการทำซ้ำ’ (Reproducibility Project) ที่มีหัวเรี่ยวหัวแรงหลักคือไบรอัน โนเสก (Brian Nosek) อาจารย์ด้านจิตวิทยาจากมหาวิทยาลัยเวอร์จิเนียที่รวบรวมนักวิจัยกว่า 270 ชีวิตเพื่อทำซ้ำงานวิจัยด้านจิตวิทยา 100 ชิ้น โดยเลียนแบบทุกขั้นตอนให้ใกล้เคียงกับการวิจัยดั้งเดิมมากที่สุด แล้วเปรียบเทียบว่าข้อสรุปที่ได้ใกล้เคียงกับงานวิจัยดั้งเดิมหรือไม่
หลายคนอาจแปลกใจเมื่อพบว่ามีงานวิจัยเพียง 39 เปอร์เซ็นต์เท่านั้นที่สามารถทำซ้ำแล้วได้ผลลัพธ์ใกล้เคียงกับงานวิจัยดั้งเดิม แต่อย่าเพิ่งรีบด่วนสรุปว่าแวดวงจิตวิทยากำลังเผชิญวิกฤติทางวิชาการนะครับ เพราะความแตกต่างดังกล่าวสามารถอธิบายได้ (บางส่วน) ด้วยความผันแปรทางบริบทเวลา ไม่ว่าจะเป็นช่วงก่อนหรือหลังวิกฤติเศรษฐกิจ มิติทางวัฒนธรรม สถานที่ทดลอง และลักษณะทางประชากรศาสตร์
แม้ว่าจวบจนปัจจุบันนักวิทยาศาสตร์จะยังถกเถียงกันไม่จบว่าสถานการณ์ของความสามารถในการทำซ้ำงานวิจัยที่ตีพิมพ์ในวารสารวิชาการย่ำแย่แค่ไหน แต่อย่างน้อยปัญหาดังกล่าวก็เป็นที่รับรู้ในวงกว้างทำให้เราต้องอ่านงานวิชาการอย่างระมัดระวัง แต่ภัยเงียบที่น่ากลัวกว่ากลับเป็น ‘อคติในการตีพิมพ์’ (Publication Bias)
โลกวิชาการกับอคติในการตีพิมพ์
ก่อนจะเข้าประเด็นอคติในการตีพิมพ์ ผู้เขียนชวนมาทำความเข้าใจแรงจูงใจในโลกวิชาการซึ่งชี้วัดด้วยจำนวนงานวิจัยที่ได้รับการตีพิมพ์ในวารสารชั้นแนวหน้าในแต่ละสาขาวิชา หรือการผลิตผลงานชิ้นเอกที่ได้รับการอ้างอิงจากแพร่หลาย แต่ก่อนจะผลิตผลงานวิจัยสักชิ้นหนึ่งได้นั้น นักวิจัยต้องลงทุนลงแรงหาข้อมูล ออกแบบระเบียบวิธีการศึกษา พร้อมกับใช้เวลานั่งหลังขดหลังแข็งเรียบเรียงข้อมูลยุ่งยากให้รวบรัด กระชับ และตรงประเด็น ซึ่งก็ใช้พลังงานไม่น้อย
ดังนั้น นักวิชาการที่มีเหตุมีผลย่อมตัดสินใจใช้เวลาชีวิตที่มีอยู่อย่างจำกัดให้เต็มศักยภาพโดยเลือกพัฒนาเฉพาะงานวิจัยที่มีโอกาสได้รับการตีพิมพ์ซึ่งส่วนใหญ่มักจะเป็นการศึกษาที่ ‘มีนัยสำคัญทางสถิติ’ ส่วนการศึกษาที่ไม่มีข้อสรุปหรือไม่มีนัยสำคัญทางสถิติก็มีแนวโน้มจะถูกแช่ทิ้งไว้โฟลเดอร์งานดอง เพราะมีโอกาสได้รับการตีพิมพ์น้อยกว่า
แอนนี ฟรานโก (Annie Franco) และคณะ หยิบงานวิจัยด้านสังคมศาสตร์ที่ได้รับทุนวิจัยจำนวน 249 ชิ้น โดยเปรียบเทียบระหว่างผลการวิจัยที่มีนัยสำคัญทางสถิติและไม่มีนัยสำคัญทางสถิติ พบว่าผลการวิจัยที่มีนัยสำคัญทางสถิติได้รับการเรียบเรียงและส่งให้วารสารพิจารณาตีพิมพ์มากกว่าถึง 60 เปอร์เซ็นต์ และมีโอกาสได้รับการตีพิมพ์มากกว่า 40 เปอร์เซ็นต์
จึงไม่น่าแปลกใจ ถ้าหากเราลองพลิกอ่านงานวิจัยส่วนใหญ่ซึ่งได้รับการตีพิมพ์ในวารสารวิชาการ แล้วพบว่าการศึกษาส่วนใหญ่ได้ผลลัพธ์ที่มีนัยสำคัญทางสถิติ เราเรียกปัญหานี้ว่า ‘อคติในการตีพิมพ์’
อคติดังกล่าวอาจเป็นต้นเหตุของปัญหาการทำซ้ำในแวดวงวิชาการ เนื่องจากผลลัพธ์ที่มีนัยสำคัญทางสถิติของงานวิจัยที่ได้รับการตีพิมพ์อาจมีโอกาสเกิดขึ้นเพียง 1 ใน 100 ครั้ง แต่เมื่อทีมวิจัยอีก 99 ทีมเห็นผลลัพธ์ที่ไม่มีนัยสำคัญทางสถิติก็เลือกที่จะพับโครงการเก็บใส่ลิ้นชัก หรืออาจดันทุรังส่งไปให้วารสารพิจารณา แต่ก็ถูกปฏิเสธที่จะตีพิมพ์
นอกจากนี้ อคติในการตีพิมพ์ยังสร้างแรงจูงใจที่บิดเบี้ยวให้นักวิชาการ ‘ปรับแต่ง’ ผลลัพธ์ของงานวิจัยให้มีนัยสำคัญทางสถิติ โดยการศึกษาชิ้นหนึ่งวิเคราะห์งานวิจัยกว่า 50,000 ชิ้นซึ่งตีพิมพ์ระหว่าง พ.ศ. 2548 – 2554 ในวารสารชั้นนำสามฉบับของสหรัฐอเมริกา พบการกระจายตัวทางสถิติที่น่าประหลาด ราวกับว่ามีความพยายามทำให้ผลลัพธ์ที่มีนัยสำคัญทางสถิติต่ำๆ เช่นที่ 10 เปอร์เซ็นต์ ขยับขึ้นมาเป็นผลลัพธ์ที่มีนัยสำคัญทางสถิติ 5 เปอร์เซ็นต์ ซึ่งเป็นตัวเลขที่ได้รับการยอมรับมากกว่า
อย่างไรก็ดี อคติเหล่านี้ยังไม่ได้ส่งผลกระทบเป็นวงกว้างต่อสาธารณชน กระทั่งสื่อมวลชนหยิบข้อมูลเหล่านี้ไปนำเสนอโดยไม่ใส่ข้อจำกัดและข้อควรระวังในการตีความงานวิจัย แถมยังไม่อัปเดตข้อมูลใหม่เมื่องานวิจัยถูกหักล้าง จนทำให้ความเข้าใจผิดยังคงวนเวียนอยู่ในสังคม แม้ว่าแวดวงวิชาการจะก้าวข้ามประเด็นดังกล่าวไปเนิ่นนานแล้วก็ตาม
ถูกหักล้างแต่ยังเป็นที่แพร่หลาย
ตัวอย่างคลาสสิคคืองานวิจัยที่เป็นต้นตอของเทรนด์การต่อต้านวัคซีนในปัจจุบัน การศึกษาชิ้นดังกล่าวตีพิมพ์ในวารสารชื่อดัง The Lancet เมื่อ พ.ศ. 2541 โดยแอนดรูว์ เวคฟิลด์ (Andrew Wakefield) แพทย์ชาวอังกฤษ ซึ่งแสดงผลการศึกษาให้เห็นว่าวัคซีนโรคหัด คางทูม และหัดเยอรมัน (Measles-mumps-rubella vaccine หรือวัคซีน MMR) อาจส่งผลให้เด็กมีปัญหาพัฒนาการด้านพฤติกรรมและอารมณ์ หรือที่เรารู้จักกันในชื่อภาวะออทิสซึม
การศึกษาชิ้นดังกล่าวใช้หลักฐานที่อ่อนยวบเพราะมีคนไข้กลุ่มตัวอย่างเพียง 12 รายเท่านั้น อีกทั้งยังออกแบบวิธีวิจัยที่ไร้การควบคุมที่เหมาะสม ประกอบกับข้อสรุปที่มีลักษณะเชิงคาดการณ์เสียมากกว่า
อย่างไรก็ดี งานชิ้นดังกล่าวกลับกระจายไปในวงกว้าง สร้างความตื่นกลัววัคซีนในหมู่พ่อแม่ผู้ปกครอง ส่งผลให้อัตราการรับวัคซีน MMR ทั่วโลกลดฮวบ จนเกิดการระบาดของกลุ่มโรคดังกล่าวอีกหลายระลอกทั้งในประเทศกำลังพัฒนาและประเทศพัฒนาแล้ว
คณะวิจัย 10 จาก 12 คนขอถอนการตีพิมพ์ในส่วนการตีความผลการศึกษาในภายหลัง โดยระบุว่าไม่มีการเชื่อมโยงอย่างเป็นเหตุเป็นผลระหว่างวัคซีน MMR กับภาวะออทิสซึม พร้อมกับการเปิดโปงแรงจูงใจทางการเงินที่เวคฟิลด์จงใจปิดบังว่าได้รับทุนการวิจัยจากทนายความของพ่อแม่เด็กที่ฟ้องร้องบริษัทผลิตวัคซีน วารสาร The Lancet จึงประณามเวคฟิลด์และคณะว่าละเมิดจริยธรรมและวิธีปฏิบัติทางวิทยาศาสตร์ ก่อนจะถอนการตีพิมพ์บทความชิ้นนั้นใน พ.ศ. 2553
ถึงแม้นักวิทยาศาสตร์จะทุ่มเทแรงกายและแรงใจมหาศาลเพื่อหักล้างงานวิจัยขนาดเล็กของเวคฟิลด์ อีกทั้งประกาศว่าการศึกษาชิ้นดังกล่าวเป็นเรื่องหลอกลวงโดยวารสารชั้นนำ แต่ความหวาดกลัวเกี่ยวกับวัคซีนก็ยังไม่หายไปไหน กลับกัน ฝ่ายต่อต้านวัคซีนยังยกย่องเวคฟิลด์เป็นฮีโร่ผู้กล้าเปิดโปงความจริง พร้อมกับสร้างทฤษฎีสมคบคิดว่านักวิทยาศาสตร์ที่เหลือถูกบริษัทวัคซีนว่าจ้างมาให้ตีพิมพ์งานวิจัย นับเป็นหายนะทางสาธารณสุขทั่วโลกที่เกิดจากการศึกษาที่บกพร่องเพียงหนึ่งชิ้น
นอกจากงานของเวคฟิลด์แล้ว ยังมีงานคลาสสิคอีกหลายชิ้นที่ยังคงถูกกล่าวถึงอย่างแพร่หลาย แม้ว่านักวิจัยรุ่นหลังจะหักล้างไปแล้วว่าเป็นความผิดพลาด ตัวอย่างเช่น การทดลองมาร์ชเมลโล่ (marshmallow test) ที่ได้ข้อสรุปว่าเด็กที่สามารถอดเปรี้ยวไว้กินหวาน (delayed gratification) จะมีแนวโน้มประสบความสำเร็จในชีวิตมากกว่า แต่การศึกษาในยุคหลังพบว่าปัจจัยที่แท้จริงอาจไม่ใช่อุปนิสัย หากแต่เป็นสถานะทางเศรษฐกิจและสังคมของครอบครัวเด็กที่ทำให้เด็กสามารถควบคุมตนเองได้ดีกว่า
อีกตัวอย่างหนึ่งคืองานวิจัยที่ค้นพบตัวเลขมหัศจรรย์ของระดับหนี้สาธารณะว่าไม่ควรเกิน 90 เปอร์เซ็นต์ของจีดีพี มิฉะนั้นจะกระทบต่อการเติบโตทางเศรษฐกิจ แต่มีการศึกษาที่ทำซ้ำงานวิจัยชิ้นดังกล่าวและพบข้อผิดพลาดมากมาย แต่ทุกวันนี้ ขุนคลังหลายประเทศก็ยังมองว่านี่คือตัวเลขสำเร็จรูปของเพดานหนี้สาธารณะ
อย่างไรก็ดี ผู้เขียนไม่ได้ต้องการให้มองว่า ‘วิทยาศาสตร์’ เป็นเรื่องที่เชื่อไม่ได้ ในทางกลับกัน การพูดคุยบนหลักฐานเชิงประจักษ์และแนวคิดใหม่ๆ ที่จะมาหักล้างทฤษฎีในอดีตต่างหากคือความแข็งแกร่งของวิทยาศาสตร์ เพียงแต่เราต้องเปิดใจให้กว้าง อย่ามองความรู้เป็นสิ่งที่หยุดนิ่ง เพราะหากขึ้นชื่อว่าเป็นวิทยาศาสตร์ นั่นหมายความว่ามันมีโอกาสเปลี่ยนแปลงได้ตลอดเวลา
ครั้งนี้ ครั้งหน้า หรือครั้งไหนที่ผู้อ่านเจอคำว่า “งานวิจัยเผย. . .” ก็อย่าเพิ่งรีบปักใจเชื่อนะครับ ขอให้ใช้วิจารณญาณเบื้องต้นวิเคราะห์ก่อนว่าบทสรุปดังกล่าวน่าเชื่อถือเพียงใด งานวิจัยเก่าเก็บขนาดไหน และมีงานชิ้นใหม่ๆ มาหักล้างแล้วหรือไม่ พร้อมกับตระหนักอยู่เสมอว่านักวิจัยก็ปุถุชนคนธรรมดาที่มีโอกาสทำงานผิดพลาดได้ ไม่ว่าจะโดยตั้งใจหรือไม่ตั้งใจก็ตาม
เอกสารประกอบการเขียน
Why Do So Many Studies Fail to Replicate?
The Experiments Are Fascinating. But Nobody Can Repeat Them
How to Be a Smart Consumer of Social Science Research
The MMR vaccine and autism: Sensation, refutation, retraction, and fraud
