fbpx
เราเชื่อถือ ‘งานวิจัย’ ได้แค่ไหนกัน?

เราเชื่อถือ ‘งานวิจัย’ ได้แค่ไหนกัน?

รพีพัฒน์ อิงคสิทธิ์ เรื่อง

ศุภิสรา บุราณปู่ ภาพประกอบ

ผมประมาทเผลอปล่อยไก่ตัวใหญ่ไปในบทความชิ้นก่อน เพราะไปหยิบเอางานวิจัยที่ถูกถอนจากวารสารไปแล้วมาใช้อ้างอิง โชคดีที่ผู้อ่านแสดงความเห็นตักเตือน จึงแก้ไขได้อย่างทันท่วงที แต่ความผิดพลาดครั้งนี้ก็ชวนให้ผมสงสัยว่า ‘งานวิจัย’ ที่ตัวผมและเหล่านักวิชาการคนอื่นๆ มักจะหยิบมาอ้างอิงนั้นสามารถเชื่อถือได้แค่ไหนกัน

คนจำนวนไม่น้อยก็มีคำถามเช่นเดียวกับผม บางคนถึงกับลงทุนลงแรงเขียนนิตยสารเสียดสีชื่อว่า วารสารของผลลัพธ์ที่ไม่สามารถทำซ้ำได้ (Journal of Irreproducible Results) ประเด็นดังกล่าวถูกพัฒนากลายเป็นวารสารวิชาการจริงจังที่ตั้งเป้าทุ่มเทเพื่อทำซ้ำและทดสอบงานวิจัยของนักวิชาการชั้นแนวหน้าซึ่งมักจะไม่ถูกตั้งคำถามเพราะไม่อยากกระทบกระทั่ง งบประมาณที่จำกัด หรือเห็นว่าแทนที่จะเสียเวลาทดลองซ้ำ สู้เอาเวลาไปทำการศึกษาชิ้นใหม่ไม่ดีกว่าหรือ

วารสาร Nature ทำการสำรวจความคิดเห็นนักวิจัย 1,576 คนในสาขาเคมี ฟิสิกส์ สิ่งแวดล้อม ชีววิทยา รวมถึงการทดลองทางการแพทย์ ได้บทสรุปที่น่าตกใจคือนักวิจัยราว 70 เปอร์เซ็นต์มีประสบการณ์ความล้มเหลวในการ ‘ทำซ้ำ’ การทดลองของนักวิทยาศาสตร์คนอื่นที่ตีพิมพ์ในวารสารวิชาการได้ อีกทั้งนักวิจัยกว่าครึ่งต่างเห็นว่าเรากำลังอยู่ในภาวะวิกฤติ เนื่องจากการทดลองที่ไม่สามารถทำซ้ำได้อาจเป็นเพียง ‘โชค’ ที่เกิดขึ้นในห้องทดลอง

อย่างไรก็ดี ข้อสรุปข้างต้นก็เป็นเพียงความเห็นของนักวิจัยหยิบมือหนึ่งซึ่งอาจไม่ได้มีความเป็นวิทยาศาสตร์มากนัก ขณะที่หลักฐานเชิงประจักษ์ว่าด้วยปัญหาการทำซ้ำก็มีไม่มากนัก แต่มีการศึกษาชิ้นหนึ่งที่โดดเด่นคือผลงานของ ‘โครงการทำซ้ำ’ (Reproducibility Project) ที่มีหัวเรี่ยวหัวแรงหลักคือไบรอัน โนเสก (Brian Nosek) อาจารย์ด้านจิตวิทยาจากมหาวิทยาลัยเวอร์จิเนียที่รวบรวมนักวิจัยกว่า 270 ชีวิตเพื่อทำซ้ำงานวิจัยด้านจิตวิทยา 100 ชิ้น โดยเลียนแบบทุกขั้นตอนให้ใกล้เคียงกับการวิจัยดั้งเดิมมากที่สุด แล้วเปรียบเทียบว่าข้อสรุปที่ได้ใกล้เคียงกับงานวิจัยดั้งเดิมหรือไม่

หลายคนอาจแปลกใจเมื่อพบว่ามีงานวิจัยเพียง 39 เปอร์เซ็นต์เท่านั้นที่สามารถทำซ้ำแล้วได้ผลลัพธ์ใกล้เคียงกับงานวิจัยดั้งเดิม แต่อย่าเพิ่งรีบด่วนสรุปว่าแวดวงจิตวิทยากำลังเผชิญวิกฤติทางวิชาการนะครับ เพราะความแตกต่างดังกล่าวสามารถอธิบายได้ (บางส่วน) ด้วยความผันแปรทางบริบทเวลา ไม่ว่าจะเป็นช่วงก่อนหรือหลังวิกฤติเศรษฐกิจ มิติทางวัฒนธรรม สถานที่ทดลอง และลักษณะทางประชากรศาสตร์

แม้ว่าจวบจนปัจจุบันนักวิทยาศาสตร์จะยังถกเถียงกันไม่จบว่าสถานการณ์ของความสามารถในการทำซ้ำงานวิจัยที่ตีพิมพ์ในวารสารวิชาการย่ำแย่แค่ไหน แต่อย่างน้อยปัญหาดังกล่าวก็เป็นที่รับรู้ในวงกว้างทำให้เราต้องอ่านงานวิชาการอย่างระมัดระวัง แต่ภัยเงียบที่น่ากลัวกว่ากลับเป็น ‘อคติในการตีพิมพ์’ (Publication Bias)

โลกวิชาการกับอคติในการตีพิมพ์

ก่อนจะเข้าประเด็นอคติในการตีพิมพ์ ผู้เขียนชวนมาทำความเข้าใจแรงจูงใจในโลกวิชาการซึ่งชี้วัดด้วยจำนวนงานวิจัยที่ได้รับการตีพิมพ์ในวารสารชั้นแนวหน้าในแต่ละสาขาวิชา หรือการผลิตผลงานชิ้นเอกที่ได้รับการอ้างอิงจากแพร่หลาย แต่ก่อนจะผลิตผลงานวิจัยสักชิ้นหนึ่งได้นั้น นักวิจัยต้องลงทุนลงแรงหาข้อมูล ออกแบบระเบียบวิธีการศึกษา พร้อมกับใช้เวลานั่งหลังขดหลังแข็งเรียบเรียงข้อมูลยุ่งยากให้รวบรัด กระชับ และตรงประเด็น ซึ่งก็ใช้พลังงานไม่น้อย

ดังนั้น นักวิชาการที่มีเหตุมีผลย่อมตัดสินใจใช้เวลาชีวิตที่มีอยู่อย่างจำกัดให้เต็มศักยภาพโดยเลือกพัฒนาเฉพาะงานวิจัยที่มีโอกาสได้รับการตีพิมพ์ซึ่งส่วนใหญ่มักจะเป็นการศึกษาที่ ‘มีนัยสำคัญทางสถิติ’ ส่วนการศึกษาที่ไม่มีข้อสรุปหรือไม่มีนัยสำคัญทางสถิติก็มีแนวโน้มจะถูกแช่ทิ้งไว้โฟลเดอร์งานดอง เพราะมีโอกาสได้รับการตีพิมพ์น้อยกว่า

แอนนี ฟรานโก (Annie Franco) และคณะ หยิบงานวิจัยด้านสังคมศาสตร์ที่ได้รับทุนวิจัยจำนวน 249 ชิ้น โดยเปรียบเทียบระหว่างผลการวิจัยที่มีนัยสำคัญทางสถิติและไม่มีนัยสำคัญทางสถิติ พบว่าผลการวิจัยที่มีนัยสำคัญทางสถิติได้รับการเรียบเรียงและส่งให้วารสารพิจารณาตีพิมพ์มากกว่าถึง 60 เปอร์เซ็นต์ และมีโอกาสได้รับการตีพิมพ์มากกว่า 40 เปอร์เซ็นต์

จึงไม่น่าแปลกใจ ถ้าหากเราลองพลิกอ่านงานวิจัยส่วนใหญ่ซึ่งได้รับการตีพิมพ์ในวารสารวิชาการ แล้วพบว่าการศึกษาส่วนใหญ่ได้ผลลัพธ์ที่มีนัยสำคัญทางสถิติ เราเรียกปัญหานี้ว่า ‘อคติในการตีพิมพ์’

อคติดังกล่าวอาจเป็นต้นเหตุของปัญหาการทำซ้ำในแวดวงวิชาการ เนื่องจากผลลัพธ์ที่มีนัยสำคัญทางสถิติของงานวิจัยที่ได้รับการตีพิมพ์อาจมีโอกาสเกิดขึ้นเพียง 1 ใน 100 ครั้ง แต่เมื่อทีมวิจัยอีก 99 ทีมเห็นผลลัพธ์ที่ไม่มีนัยสำคัญทางสถิติก็เลือกที่จะพับโครงการเก็บใส่ลิ้นชัก หรืออาจดันทุรังส่งไปให้วารสารพิจารณา แต่ก็ถูกปฏิเสธที่จะตีพิมพ์

นอกจากนี้ อคติในการตีพิมพ์ยังสร้างแรงจูงใจที่บิดเบี้ยวให้นักวิชาการ ‘ปรับแต่ง’ ผลลัพธ์ของงานวิจัยให้มีนัยสำคัญทางสถิติ โดยการศึกษาชิ้นหนึ่งวิเคราะห์งานวิจัยกว่า 50,000 ชิ้นซึ่งตีพิมพ์ระหว่าง พ.ศ. 2548 – 2554 ในวารสารชั้นนำสามฉบับของสหรัฐอเมริกา พบการกระจายตัวทางสถิติที่น่าประหลาด ราวกับว่ามีความพยายามทำให้ผลลัพธ์ที่มีนัยสำคัญทางสถิติต่ำๆ เช่นที่ 10 เปอร์เซ็นต์ ขยับขึ้นมาเป็นผลลัพธ์ที่มีนัยสำคัญทางสถิติ 5 เปอร์เซ็นต์ ซึ่งเป็นตัวเลขที่ได้รับการยอมรับมากกว่า

อย่างไรก็ดี อคติเหล่านี้ยังไม่ได้ส่งผลกระทบเป็นวงกว้างต่อสาธารณชน กระทั่งสื่อมวลชนหยิบข้อมูลเหล่านี้ไปนำเสนอโดยไม่ใส่ข้อจำกัดและข้อควรระวังในการตีความงานวิจัย แถมยังไม่อัปเดตข้อมูลใหม่เมื่องานวิจัยถูกหักล้าง จนทำให้ความเข้าใจผิดยังคงวนเวียนอยู่ในสังคม แม้ว่าแวดวงวิชาการจะก้าวข้ามประเด็นดังกล่าวไปเนิ่นนานแล้วก็ตาม

ถูกหักล้างแต่ยังเป็นที่แพร่หลาย

ตัวอย่างคลาสสิคคืองานวิจัยที่เป็นต้นตอของเทรนด์การต่อต้านวัคซีนในปัจจุบัน การศึกษาชิ้นดังกล่าวตีพิมพ์ในวารสารชื่อดัง The Lancet เมื่อ พ.ศ. 2541 โดยแอนดรูว์ เวคฟิลด์ (Andrew Wakefield) แพทย์ชาวอังกฤษ ซึ่งแสดงผลการศึกษาให้เห็นว่าวัคซีนโรคหัด คางทูม และหัดเยอรมัน (Measles-mumps-rubella vaccine หรือวัคซีน MMR) อาจส่งผลให้เด็กมีปัญหาพัฒนาการด้านพฤติกรรมและอารมณ์ หรือที่เรารู้จักกันในชื่อภาวะออทิสซึม

การศึกษาชิ้นดังกล่าวใช้หลักฐานที่อ่อนยวบเพราะมีคนไข้กลุ่มตัวอย่างเพียง 12 รายเท่านั้น อีกทั้งยังออกแบบวิธีวิจัยที่ไร้การควบคุมที่เหมาะสม ประกอบกับข้อสรุปที่มีลักษณะเชิงคาดการณ์เสียมากกว่า

อย่างไรก็ดี งานชิ้นดังกล่าวกลับกระจายไปในวงกว้าง สร้างความตื่นกลัววัคซีนในหมู่พ่อแม่ผู้ปกครอง ส่งผลให้อัตราการรับวัคซีน MMR ทั่วโลกลดฮวบ จนเกิดการระบาดของกลุ่มโรคดังกล่าวอีกหลายระลอกทั้งในประเทศกำลังพัฒนาและประเทศพัฒนาแล้ว

คณะวิจัย 10 จาก 12 คนขอถอนการตีพิมพ์ในส่วนการตีความผลการศึกษาในภายหลัง โดยระบุว่าไม่มีการเชื่อมโยงอย่างเป็นเหตุเป็นผลระหว่างวัคซีน MMR กับภาวะออทิสซึม พร้อมกับการเปิดโปงแรงจูงใจทางการเงินที่เวคฟิลด์จงใจปิดบังว่าได้รับทุนการวิจัยจากทนายความของพ่อแม่เด็กที่ฟ้องร้องบริษัทผลิตวัคซีน วารสาร The Lancet จึงประณามเวคฟิลด์และคณะว่าละเมิดจริยธรรมและวิธีปฏิบัติทางวิทยาศาสตร์ ก่อนจะถอนการตีพิมพ์บทความชิ้นนั้นใน พ.ศ. 2553

ถึงแม้นักวิทยาศาสตร์จะทุ่มเทแรงกายและแรงใจมหาศาลเพื่อหักล้างงานวิจัยขนาดเล็กของเวคฟิลด์ อีกทั้งประกาศว่าการศึกษาชิ้นดังกล่าวเป็นเรื่องหลอกลวงโดยวารสารชั้นนำ แต่ความหวาดกลัวเกี่ยวกับวัคซีนก็ยังไม่หายไปไหน กลับกัน ฝ่ายต่อต้านวัคซีนยังยกย่องเวคฟิลด์เป็นฮีโร่ผู้กล้าเปิดโปงความจริง พร้อมกับสร้างทฤษฎีสมคบคิดว่านักวิทยาศาสตร์ที่เหลือถูกบริษัทวัคซีนว่าจ้างมาให้ตีพิมพ์งานวิจัย นับเป็นหายนะทางสาธารณสุขทั่วโลกที่เกิดจากการศึกษาที่บกพร่องเพียงหนึ่งชิ้น

นอกจากงานของเวคฟิลด์แล้ว ยังมีงานคลาสสิคอีกหลายชิ้นที่ยังคงถูกกล่าวถึงอย่างแพร่หลาย แม้ว่านักวิจัยรุ่นหลังจะหักล้างไปแล้วว่าเป็นความผิดพลาด ตัวอย่างเช่น การทดลองมาร์ชเมลโล่ (marshmallow test) ที่ได้ข้อสรุปว่าเด็กที่สามารถอดเปรี้ยวไว้กินหวาน (delayed gratification) จะมีแนวโน้มประสบความสำเร็จในชีวิตมากกว่า แต่การศึกษาในยุคหลังพบว่าปัจจัยที่แท้จริงอาจไม่ใช่อุปนิสัย หากแต่เป็นสถานะทางเศรษฐกิจและสังคมของครอบครัวเด็กที่ทำให้เด็กสามารถควบคุมตนเองได้ดีกว่า

อีกตัวอย่างหนึ่งคืองานวิจัยที่ค้นพบตัวเลขมหัศจรรย์ของระดับหนี้สาธารณะว่าไม่ควรเกิน 90 เปอร์เซ็นต์ของจีดีพี มิฉะนั้นจะกระทบต่อการเติบโตทางเศรษฐกิจ แต่มีการศึกษาที่ทำซ้ำงานวิจัยชิ้นดังกล่าวและพบข้อผิดพลาดมากมาย แต่ทุกวันนี้ ขุนคลังหลายประเทศก็ยังมองว่านี่คือตัวเลขสำเร็จรูปของเพดานหนี้สาธารณะ

อย่างไรก็ดี ผู้เขียนไม่ได้ต้องการให้มองว่า ‘วิทยาศาสตร์’ เป็นเรื่องที่เชื่อไม่ได้ ในทางกลับกัน การพูดคุยบนหลักฐานเชิงประจักษ์และแนวคิดใหม่ๆ ที่จะมาหักล้างทฤษฎีในอดีตต่างหากคือความแข็งแกร่งของวิทยาศาสตร์ เพียงแต่เราต้องเปิดใจให้กว้าง อย่ามองความรู้เป็นสิ่งที่หยุดนิ่ง เพราะหากขึ้นชื่อว่าเป็นวิทยาศาสตร์ นั่นหมายความว่ามันมีโอกาสเปลี่ยนแปลงได้ตลอดเวลา

ครั้งนี้ ครั้งหน้า หรือครั้งไหนที่ผู้อ่านเจอคำว่า “งานวิจัยเผย. . .” ก็อย่าเพิ่งรีบปักใจเชื่อนะครับ ขอให้ใช้วิจารณญาณเบื้องต้นวิเคราะห์ก่อนว่าบทสรุปดังกล่าวน่าเชื่อถือเพียงใด งานวิจัยเก่าเก็บขนาดไหน และมีงานชิ้นใหม่ๆ มาหักล้างแล้วหรือไม่ พร้อมกับตระหนักอยู่เสมอว่านักวิจัยก็ปุถุชนคนธรรมดาที่มีโอกาสทำงานผิดพลาดได้ ไม่ว่าจะโดยตั้งใจหรือไม่ตั้งใจก็ตาม


เอกสารประกอบการเขียน

Why Do So Many Studies Fail to Replicate?

The Experiments Are Fascinating. But Nobody Can Repeat Them

How to Be a Smart Consumer of Social Science Research

Let’s just try that again

The MMR vaccine and autism: Sensation, refutation, retraction, and fraud

MOST READ

Economy

12 Dec 2018

‘รวยกระจุก จนกระจาย’ ระดับสาหัส: ความเหลื่อมล้ำทางเศรษฐกิจไทยในศตวรรษที่ 21

ธนสักก์ เจนมานะ ใช้ข้อมูลและระเบียบวิธีวิจัยใหม่ล่าสุดสำรวจสถานการณ์ความเหลื่อมล้ำไทยที่ ‘สาหัส’ เป็นอันดับต้นๆ ของโลก

ธนสักก์ เจนมานะ

12 Dec 2018

Economy

15 Mar 2018

การท่องเที่ยวกับเศรษฐกิจไทย

พิพัฒน์ เหลืองนฤมิตชัย ตั้งคำถาม ใครได้ประโยชน์จากการท่องเที่ยวบูม และเราจะบริหารจัดการผลประโยชน์และสร้างความยั่งยืนให้กับรายได้จากการท่องเที่ยวได้อย่างไร

พิพัฒน์ เหลืองนฤมิตชัย

15 Mar 2018

Economy

19 Mar 2018

ทางออกอยู่ที่ทุนนิยม

ในยามหัวเลี้ยวหัวต่อของบ้านเมือง ผู้คนสิ้นหวังกับปัจจุบัน หวาดหวั่นต่ออนาคต และสั่นคลอนกับอดีตของตนเอง
วีระยุทธ กาญจน์ชูฉัตร เสนอทุนนิยมให้เป็น ‘grand strategy’ ใหม่ของประเทศไทย

วีระยุทธ กาญจน์ชูฉัตร

19 Mar 2018

เราใช้คุกกี้เพื่อพัฒนาประสิทธิภาพ และประสบการณ์ที่ดีในการใช้เว็บไซต์ของคุณ คุณสามารถศึกษารายละเอียดได้ที่ นโยบายความเป็นส่วนตัว และสามารถจัดการความเป็นส่วนตัวเองได้ของคุณได้เองโดยคลิกที่ ตั้งค่า

Privacy Preferences

คุณสามารถเลือกการตั้งค่าคุกกี้โดยเปิด/ปิด คุกกี้ในแต่ละประเภทได้ตามความต้องการ ยกเว้น คุกกี้ที่จำเป็น

Allow All
Manage Consent Preferences
  • Always Active

Save