چگونه ChatGPT-5 تکرارپذیری علمی را دوباره تعریف می کند – فیل در آزمایشگاه

پس از مدت ها انتظار، ChatGPT-5 وارد شد. به جای هوش مصنوعی عمومی (AGI)، OpenAI مدل ارکستر هوشمند تری را ارائه کرده است که اکنون به صورت داخلی زیرمدل مناسب را برای انجام یک کار مشخص انتخاب می کند. برای یک درخواست ساده، مدل کوچکتر و سریعتر را انتخاب می کند. برای پیچیده، از مدل هایی استفاده می کند که به زمان محاسباتی بیشتری نیاز دارند. این سیستم همچنین تصمیم خواهد گرفت که آیا به اینترنت دسترسی داشته باشد یا خیر. این تغییر به یک مشکل قدیمی برای OpenAI میپردازد، که تکثیر مدلهای مختلف آن (4o، 4-mini-high، 3.5، 4.1، 4.1-mini، و غیره) برای بسیاری از کاربران سردرگمی ایجاد کرد. در حالی که به نظر می رسد این یک پیشرفت مثبت است، هنوز برای ارائه یک ارزیابی کلی قطعی زود است. اما آنچه قبلاً می توان گفت این است که منطق پشت ChatGPT 5 چالش های مهمی را برای تحقیقات آکادمیک ایجاد می کند.
مدل های زبان بزرگ و دانشگاه
در کار قبلی، من برخی از مشکلات عمدهای را که مدلهای زبانی بزرگ برای تحقیقات ایجاد میکنند که مستقیماً پایههای یکپارچگی دانشگاهی را تضعیف میکنند، به ویژه از نظر شفافیت، قابلیت اطمینان و تکرارپذیری مورد بحث قرار دادهام (Sampaio و همکاران، 2024). با این حال، من می خواهم در اینجا بر تکرارپذیری تمرکز کنم. این یک اصل اساسی تحقیقات علمی است. اصل قضیه روشن است. اگر دادهها و روشهای یکسانی در شرایط مشابه اعمال شوند، نتایج یکسان یا حداقل بسیار مشابه باید بهویژه در زمینههای قابل مقایسه به دست آید. این شاید جدیترین مشکل استفاده از مدلهای زبانی باشد، زیرا بسته نرمافزاری سنتی دانشگاهی نسخهای دارد که میتوان آن را ردیابی کرد. به عنوان مثال، فرض کنید SPSS به دلیل پیشرفت های آماری، روش محاسبه رگرسیون خطی خود را از نسخه 32 به بعد تغییر داده است. برای بازتولید نتایج قبلی، فقط باید SPSS نسخه 31 یا بالاتر را دانلود کرده و از آن استفاده کنید تا مشکل حل شود. با مدل های زبان، این قابلیت ردیابی به طور کامل از بین می رود.
راه اندازی ChatGPT-5
راه اندازی ChatGPT-5 نشان می دهد که این یک اولویت برای توسعه دهندگان آن نیست. اگر درخواستی برای بررسی همتای مطالعهای دریافت کنم که از GPT-3 برای تحلیل کیفی موضوعی استفاده میکند، مجبور میشوم رد کنم زیرا این مدل دیگر در وبسایت OpenAI در دسترس نیست. حتی بدتر از آن، مدلهای زبان اغلب بهروزرسانی میشوند و ظاهراً بدون تغییر متناظر در نام نسخهشان بهبود مییابند. به عنوان مثال، GPT-4o که درست قبل از عرضه GPT-5 موجود بود، با نمونه موجود در روز عرضه یکسان نبود. Gemini 2.5 Pro در حال حاضر حداقل سه بهبود را تجربه کرده است. از نظر داخلی، ممکن است اینها به عنوان ساختهای جداگانه در نظر گرفته شوند، مانند Gemini 2.5.1.3، اما این اطلاعاتی است که دانشگاهیان از آن مطلع نیستند.
بنابراین، در شرایط مشابه بررسی همتا یا تلاش برای تکرار یک مطالعه، نمیتوانم به هدفم برسم. حتی اگر OpenAI فردا تغییر مسیر دهد و مدلهای قدیمیتر خود را دوباره در دسترس قرار دهد، مشکل اساسی باز خواهد ماند. به عنوان مثال، نسخه های اصلی 3.5 و 4 GPT برای مدت قابل توجهی در دسترس نبودند. آنها ممکن است از طریق برخی از APIهای شخص ثالث قابل دسترسی باشند، اما در نرم افزارهای آکادمیک به راحتی و قابل اطمینان قابل بازیابی نیستند. این سوال همچنین باید در زمینه نرم افزارهای دانشگاهی که تسلیم فشار یا نویز صنعت شده اند و هوش مصنوعی را در تجزیه و تحلیل های خود گنجانده اند، مطرح شود، همانطور که در مورد سه بسته نرم افزاری تحلیل کیفی پرکاربرد، یعنی NVivo، Atlas.ti و MAXQDA وجود دارد.
هر سه در حال حاضر دارای قابلیت خلاصه سازی و طبقه بندی خودکار با استفاده از هوش مصنوعی مولد هستند و هر سه در حال حاضر بر روی مدل های GPT اجرا می شوند. ما دقیقا نمی دانیم کدام مدل است. با ناپدید شدن مدل های قدیمی، احتمال استفاده از GPT-5 بسیار زیاد است. این یک وضعیت عجیب و غریب ایجاد خواهد کرد. ممکن است از همان نسخه MAXQDA استفاده کنیم، اما نتایج متفاوتی را که توسط هوش مصنوعی ایجاد شده است، دریافت کنیم، زیرا مدل اصلی بهروزرسانی شده است. باز هم این موضوعی است که محققان هیچ کنترلی بر آن نخواهند داشت. حال این سوال پیش می آید. این در مقایسه با منظره قبلی چگونه است؟
وضعیت ایده آل نبود، زیرا “بحران تکرار” چندین سال در زمینه های مختلف مانند روانشناسی، پزشکی (Wang, Sreedhara & Schneeweiss 2022) و اقتصاد (Brodeur et al., 2025) مورد بحث قرار گرفته است. علاوه بر این، می توان تشخیص داد که کدورت قابل توجهی از قبل در هسته عملکرد علمی وجود دارد. یکی از نمونه ها خراش دادن وب است. در عمل، استخراجهای مختلف از محتوای یکسان میتواند نتایج متفاوتی را ایجاد کند و دادههای مغرضانه و غیرنماینده را معرفی کند (Foerderer, 2023). همچنین میتوان به Google Scholar اشاره کرد که در روشهای نمایهسازی کاملاً غیرشفاف است و جستجوهای آن قابل تکرار نیستند. مثال دیگر، خود نرمافزار با کیفیت است که مدتهاست تحلیلهای خودکار محتوای مبتنی بر مدلهای هوش مصنوعی را برای پردازش زبان طبیعی تولید میکند، بدون اینکه این عمل به طور گسترده مورد اعتراض قرار گیرد.
به طور مشابه، درجه خاصی از کدورت در هر نرم افزار دانشگاهی وجود دارد. در استفاده روزانه، ما از روش های محاسبه دقیق SPSS یا Stata اطلاعی نداریم. اگرچه آنها مستند هستند، اما ما فرض می کنیم که شرکت ها به بهترین شیوه ها پایبند هستند و به نتایج آنها اعتماد دارند. آیا این به معنای مشروعیت آکادمیک ناشی از موسسه است؟ آیا NVivo یا Stata قابل اعتمادتر از OpenAI هستند زیرا به عنوان نرم افزار آکادمیک تعریف می شوند؟ آن وقت مشروعیت متعلق به خود شرکت هاست؟ بنابراین، هیچ چیز تغییر نکرده است؟ در واقع، علم برای مدت طولانی با مشکلات عدم شفافیت و تکرارپذیری دست و پنجه نرم کرده است. با این حال، وضعیت فعلی نشان دهنده یک تغییر کیفی در ماهیت مشکل است. این تغییر حداقل در سه محور خود را نشان می دهد که با تحولات اخیر تقویت شده است.
تغییر در سه محور
محور اول انتقال از کدورت ایستا به پویا است. نرم افزارهای سنتی، مانند SPSS، در نسخه های خاص و غیر قابل تغییر کار می کنند. یک الگوریتم در SPSS 31 همان عملیاتی را که دو سال بعد انجام می دهد، امروز انجام می دهد. اعتماد ریشه در ثبات و مشروعیت فرآیند دارد که به طور سنتی از روشهای صریح، گواهینامهها یا بررسی همتایان ناشی میشود، ویژگیهایی که عمدتاً در ماهیت اختصاصی و غیرشفاف توسعه LLM وجود ندارد. برچسب مدلی مانند “GPT-4o” اکنون به جای یک محصول ثابت به یک سرویس سیال مربوط می شود. این مدل به طور مداوم بدون اخطار تجدید نظر می شود، به این معنی که روش توصیف شده در یک مقاله علمی پس از انتشار منسوخ شده است. تکرار ناپذیری دیگر یک نقص تصادفی نیست و به یک ویژگی ساختاری ذاتی در طراحی سیستم تبدیل می شود. محور دوم تغییر در معماری قدرت است که شامل بیرونی سازی کنترل روش شناختی است. نرم افزارهایی مانند NVivo و MAXQDA با یکپارچه سازی API های AI مولد، مسئولیت استحکام تحلیلی را به شخص ثالث (OpenAI، Google) منتقل می کنند. تکرارپذیری به سیاست تجاری شرکت فناوری وابسته است.
مدل GPT-5 با ایفای نقش به عنوان ارکستر این موضوع را عمیق تر می کند. این به یک پلت فرم تصمیم گیری تبدیل می شود که به صورت داخلی انتخاب می کند از کدام مدل فرعی یا ابزار برای هر کار استفاده کند. این لایه اضافی از انتزاع، تنوع پنهان را معرفی می کند. یک پرس و جو می تواند نتایج متفاوتی تولید کند نه به دلیل یک خطا، بلکه به این دلیل که پلتفرم مسیرهای محاسباتی متفاوتی را بر اساس عواملی که برای کاربر نامرئی است (به عنوان مثال بار سیستم، هزینه) فعال کرده است. محقق از کاربر ابزار به پلتفرم وابسته حرکت می کند و اساساً رابطه با روش علمی را تغییر می دهد. محور سوم پیامد نهایی این تغییرات است. جامعه علمی دیگر تنها با بحران تکرارپذیری مواجه نیست، بلکه با بحران کنترل روش شناختی مواجه است. مشکل تنها مشکل بازتولید نتیجه نیست، بلکه ناتوانی محقق در شناخت و اطمینان از استحکام ابزار مورد استفاده است. اگر پلتفرم بتواند به طور غیر شفاف تصمیم بگیرد که چه زمانی و چگونه شبکه را جستجو کند، کدام زیرمدل ها را فعال کند، کدام فیلترها را اعمال کند و با چه پارامترهایی، محقق توانایی توصیف این روش را با جزئیات کافی برای تکرار از دست می دهد. بدونصادرات لاگ محاسباتی، تکرارپذیری به قرعه کشی تبدیل می شود. در این زمینه، جایگزینی نام تجاری با روش با نوشتن “نتایج به دست آمده با استفاده از GPT-5” وسوسه انگیز است که گویی این یک مشخصات کافی است. این کار نمی کند. این یک سلب مسئولیت روش شناختی است.
این وضعیت خطر عادی سازی استاندارد تکرارناپذیری قابل تحمل را به همراه دارد، جایی که اسناد به جای رویه های قابل حسابرسی، هدف را توصیف می کنند. پاسخ مستلزم ایجاد استانداردهای جدید از سوی جامعه علمی است. الزامات مربوط به “مسیر حسابرسی” یا “لاگ” که مسیرهای داخلی طی شده توسط مدل را مستند می کند، در دسترس بودن “مدل های منجمد” برای اهداف تکراری، و مستندات جامع درخواست ها و مصنوعات تولید شده، اقدامات متقابل ضروری هستند. اینها ویژگی هایی هستند که هنوز در مدل های تجاری هوش مصنوعی موجود نیستند. این بدان معنا نیست که ما به وضعیت “ابتدایی” علم بازگشته ایم. با این حال، این بدان معنی است که ما باید حداقل قوانین روشنی را برای استفاده از هوش مصنوعی مولد در تحقیقات ایجاد کنیم.
قوانین نحوه برخورد با هوش مصنوعی در تولید علمی
اولین مورد این است که گردش کار هوش مصنوعی را به عنوان بخشی از خود داده های تحقیق در نظر بگیریم. این شامل ضبط و بایگانی اعلانهای مورد استفاده، پیامهای سیستم، تاریخ و زمان دقیق، پارامترهای پیکربندی شده (مانند دما و محدودیتهای نشانه)، فایلهای زمینه، و کل تاریخچه تعامل است. دوم این است که به صراحت نحوه پیکربندی سیستم را توضیح دهیم. این شامل این است که آیا انتخاب مدل به صورت خودکار بوده است یا خیر، آیا مرورگر وب فعال بوده و از کدام سرویس های خارجی استفاده شده است. اگر پلتفرم این سطح از جزئیات را ارائه نمی دهد، این محدودیت باید در متن اصلی مقاله گزارش شود، نه فقط در پاورقی. سوم، آزمایش یافتههای مهم با مدلهای قویتر و بازتر، حتی اگر کمتر پیشرفته باشند، برای ایجاد یک خط پایه مقایسهای و تسهیل اعتبارسنجی متقابل.
با آزمایش پدیده ها یا فرضیه های مشابه در معماری ها و مجموعه داده های مختلف (حتی موارد کمتر پیشرفته)، می توانیم استحکام و تعمیم یافته ها را ارزیابی کنیم. اگر بتوان یک نتیجه را در مدلهای مختلف تکرار کرد یا مشاهده کرد، این امر اعتماد به اعتبار آن را تا حد زیادی افزایش میدهد و این خطر را کاهش میدهد که یافتهها صرفاً مصنوعات یک مدل یا فرآیند یادگیری خاص باشند. چهارم این است که بدانیم وقتی روش به یک سرویس دائماً در حال تغییر بستگی دارد، تکرار دقیق نتایج فقط در مدت زمان کوتاهی قابل انتظار است. سپس مقایسه ها باید به صورت مفهومی با استفاده از شاخص های شباهت یا اعتبار متقابل پیشنهاد شده در بالا انجام شود.
با این حال، این اقدامات مشکل اصلی را که عدم تطابق بین منافع تجاری شرکت های ارائه دهنده این سیستم ها و الزامات تحقیقات علمی است، حل نمی کند. بنابراین، توسعه جایگزینهای باز و عمومی که میتوانند در محیطهای کنترلشده، حتی با قابلیتهای کوچکتر، کار کنند، برای جلوگیری از وابستگی کامل روش علمی به فناوری بزرگ، ضروری است.
خلاصه یه چیزی عوض شده ما از حالتی که در آن بازتولید در عمل دشوار بود به حالتی که اساساً غیرممکن است، رفته ایم. سود در قابلیت استفاده برای عموم مردم با هزینه کنترل روش شناختی برای جامعه علمی خریداری شده است. سپس سوال از “آیا چیزی تغییر نکرده است؟” “چگونه جامعه علمی برای اطمینان از یکپارچگی تحقیقات در این رژیم جدید سازگار خواهد شد؟”




