پژوهشگران سنگاپوری در یک آزمایش جدید، از ChatGPT برای معاینه تخصصی حوزه زنان و زایمان استفاده کردند و دریافتند که این چت بات در برخی موارد میتواند بهتر از انسان عمل کند.
به گزارش ایسنا به نقل از نوروساینس نیوز، ChatGPT در یک معاینه آزمایشی تخصصی حوزه زنان و زایمان توانست از انسان بهتر عمل کند و در زمینه هایی مانند ارتباط همدلانه، جمع آوری اطلاعات و استدلال بالینی، خود را عالی نشان دهد.
این چت بات، میانگین امتیاز ۷۷.۲ درصد را به دست آورد و از انسان هایی که میانگین امتیاز ۷۳.۷ درصد را به دست آورده بودند، پیشی گرفت. این آزمایش نشان داد که ChatGPT میتواند پاسخ های دقیق و مرتبط با پرسش های بالینی پیچیده را به سرعت ارائه دهد. با وجود این، ChatGPT در مواردی که به توضیح باز یا تغییرات متعدد نیاز داشتند، با مشکل روبرو شد.
این آزمایش نشان داد که ChatGPT برای تکمیل هر بخش به طور میانگین دو دقیقه و ۵۴ ثانیه زمان لازم دارد که بطور قابل توجهی کمتر از ۱۰ دقیقه از پیش تعیین شده است.
در این پژوهش، پژوهشگران هفت بخش را انتخاب کردند که طی دو سال گذشته با روش ارزیابی موسوم به «معاینات بالینی ساختاریافته عینی» (OSCEs) در معاینات ساختگی اجرا شده بودند. همه آزمایش ها از نظر وسعت و دشواری مشابه بودند و برای رفع کردن محدودیت های کنونی ChatGPT در زمان آزمایش، تفاسیر بصری در آن ها گنجانده نشده بود.
هر بخش دارای چندین لایه از پرسش های در حال تکامل براساس داده های اولیه ارائه شده و پاسخ های بعدی از طرف داوطلب است. ارزیابی OSCE یک ارزیابی مبتنی بر معیار است که در آن هر داوطلب براساس شایستگی های بالینی خود و با تکمیل کردن مجموعه ای از آزمایش ها در یک محیط شبیه سازی شده بررسی می شود.
به هر داوطلب ۱۰ دقیقه زمان برای تکمیل کردن هر بخش داده شد که با یک سناریوی بالینی ناآشنا و اطلاعات لازم برای تصمیم گیری بالینی آگاهانه همراه بود. انتظار می رفت که هر داوطلب، یک برنامه مراقبتی را بیان کند و مهارت هایی مانند ارتباط، جمع آوری اطلاعات، کاربرد دانش بالینی و ایمنی بیمار را در محدوده زمانی مشخص شده نشان دهد.
همه بخش های آزمایش در قالب یکسان، به ترتیب به دو داوطلب انسان موسوم به کاندیداهای A و B و ChatGPT بعنوان کاندیدای C ارائه شدند.
این پژوهش در «دانشکده پزشکی یونگ لو لین» (NUS Medicine) سنگاپور به سرپرستی« ماهش کولانی» (Mahesh Choolani)، رئیس بخش جراحی زنان و زایمان این دانشکده انجام شد. پژوهشگران در این پروژه، تجزیه و تحلیلی را در مورد پاسخ ها انجام دادند و دریافتند که ChatGPT امتیاز بسیار خوبی را در حوزه ارتباط همدلانه به دست آورده است.
این چت بات توانست پاسخ های واقعی و دقیق و مرتبط با بیماری را به طور ماهرانه و سریع به پرسش های بالینی بدهد و پاسخ ها را براساس داده های ناآشنا در کوتاه ترین زمان ممکن تولید کند. این شاهکاری است که یک شخص با هوش متوسط، به بیش از ۱۰ سال آموزش بالینی نیاز دارد تا بتواند به آن برسد.
این موضوع قابل ستایش است که هوش مصنوعی مولد که در حال حاضر تنها در مراحل ابتدایی خود قرار دارد، می تواند بخش های قابل توجهی از محتوای کلی را به سرعت تفسیر کند و آنرا با سازمان دهی کردن در قالب پاسخ های منسجم و مختصر از نوع مکالمه ارائه دهد. این هدفی است که داوطلبان غیر انگلیسی زبان یا داوطلبانی که با استرس امتحان روبه رو هستند، به سادگی به دست نمی آورند.
برای به حداقل رساندن سوگیری، پاسخ ها در حالی به پنل آزمون فرستاده شدند که هویت واقعی ChatGPT پنهان شده بود. به رغم نهایت تلاش ها برای کور کردن پنل معاینه، ممتحنین عموما قادر به شناسایی پاسخ های ChatGPT بودند ولی نه در همه موارد.
مهم تر از همه این است که نتایج پژوهش نشان دادند ChatGPT کم تر قادر به رسیدگی به موضوعاتی است که دارای تغییرات چندگانه در سناریوها هستند و به تفسیر باز نیاز دارند.
سناریوهای دارای چند تغییر، به آموزش بیشتری در زمینه دانش پزشکی پیرامون موضوعات بسیار تخصصی نیاز دارند. این امر برای یک کاندید انسانی بسیار آموزش دیده که توانایی تشخیص بالاتر و استدلال انعطاف پذیر مورد نیاز برای مقابله با ابهامات این پرسش ها را دارد، قابل مدیریت است.
مشخص شد که ChatGPT در چندین حوزه دانش از جمله مدیریت کار، انکولوژی زنان و مراقبت های پس از جراحی که بر پروتکل استاندارد متمرکز شده اند، بهتر عمل می کند اما در موقعیت های بسیار مفهومی این کارآیی را ندارد.
کولانی گفت:ورود ChatGPT و افزایش استفاده از آن ثابت کرده است که این چت بات می تواند منبع سودمندی در هدایت آموزش پزشکی باشد، پشتیبانی کمکی را برای مراقبت های بالینی در لحظه ارائه دهد و حتی از نظارت بر درمان بیماران نیز پشتیبانی کند. در عصری که دانش و اطلاعات دقیق فورا در دسترس قرار می گیرند و این قابلیت ها میتوانند در آینده ای قابل پیش بینی توسط هوش مصنوعی مولد و در چارچوب مناسب تعبیه شوند، نیاز نسل آینده پزشکان به نشان دادن ارزش و اهمیت انسان آشکار است.
او ادامه داد: ما به عنوان پزشکان و آموزگاران پزشکی باید به شدت بر استفاده از مهارت های انعطاف پذیر ، ارتباط دلسوزانه و کاربرد دانش در آموزش پزشکی و مراقبت های بالینی تأکید کنیم.
این پژوهش، در مجله «American Journal of Obstetrics and Gynecology» به چاپ رسید.
- 16
- 4
