دانش
انجیل، قرآن و هوش مصنوعی
وقتی از هوش مصنوعی حرف میزنیم، معمولاً یاد یک ماشین دقیق و بیطرف میافتیم که فقط حساب میکند و…
پشوتن مدرسی · اکتبر ۲۰۲۵ · ۹ دقیقه
چرا نباید (همیشه) به هوش مصنوعی اعتماد کرد؟
هوش مصنوعی به بخشی جداییناپذیر از زندگی روزمره ما تبدیل شده است. هر روز با چتجیپیتی صحبت میکنیم، سؤالاتمان را میپرسیم و شاید حتی کمتر از گوگل استفاده میکنیم. ابزارهایی که تا چند سال پیش تنها در داستانهای…
چرا نباید (همیشه) به هوش مصنوعی اعتماد کرد؟آرشیو موزائیک
هوش مصنوعی به بخشی جداییناپذیر از زندگی روزمره ما تبدیل شده است. هر روز با چتجیپیتی صحبت میکنیم، سؤالاتمان را میپرسیم و شاید حتی کمتر از گوگل استفاده میکنیم. ابزارهایی که تا چند سال پیش تنها در داستانهای علمی-تخیلی وجود داشتند، اکنون در گوشیها و لپتاپهایمان در دسترس هستند و در طیف گستردهای از کارهای روزمره به ما کمک میکنند. حتما داستان من و وروجک دوست داشتنی را خوانده اید. امروزه این ارتباط دوسویه برای اکثر ما شکل گرفته است.
ظاهراً همهچیز عالی به نظر میرسد، اما یک مشکل اساسی وجود دارد. گاهی اوقات این هوشهای مصنوعی با اطمینان کامل اطلاعاتی به ما ارائه میدهند که کاملاً نادرست هستند. جواب اشتباه هوش مصنوعی همان پدیدهای است که متخصصان به آن “توهّم” یا به آلمانی “Halluzination” میگویند. اما دقیقاً این پدیده چیست و چرا باید نگران آن باشیم؟
توهّم در هوش مصنوعی: تعریف و چیستی
مدلهای زبانی بزرگ مانند ChatGPT روی حجم عظیمی از دادهها آموزش دیدهاند و با استفاده از الگوهایی که در این دادهها کشف کردهاند، پاسخ تولید میکنند. مشکل اساسی اینجاست که این مدلها قادر به تشخیص حقیقت از خطا نیستند. به عبارت دیگر، آنها “درک” واقعی از محتوا ندارند.
زمانی که اطلاعات دقیق در دادههای آموزشیشان وجود نداشته باشد یا نتوانند بهدرستی به اطلاعات صحیح دسترسی پیدا کنند، ممکن است با اعتماد به نفس بالا محتوایی تولید کنند که کاملاً ساختگی و نادرست است.
به عنوان مثال، ممکن است از هوش مصنوعی بپرسید: “در کلمهی قسطنطنیه چند حرف «ن» و چند حرف «ط» وجود دارد؟” و چتجیپیتی بدون انجام شمارش دقیق، پاسخی نادرست ارائه دهد! این نشان میدهد که مدلهای زبانی در پردازش دادههای ساختاریافته، مانند شمارش یا مسائل ریاضی، همیشه عملکرد قابل اعتمادی ندارند. یا ممکن است بخواهید دربارهی یک مقالهی علمی اطلاعات کسب کنید، اما هوش مصنوعی نام مقاله و نویسندهای را به شما معرفی کند که اصلاً وجود خارجی ندارند.
این جواب های اشتباه هوش مصنوعی ممکن است عجیب به نظر برسند، اما در واقعیت بسیار رایج هستند. در ادامه به بررسی چند نمونهی جالب میپردازیم.
نمونههای واقعی از جواب اشتباه هوش مصنوعی
١. اختراع منابع علمی غیرواقعی
فرض کنید میخواهید دربارهی تأثیر هوش مصنوعی بر اقتصاد تحقیق کنید و از مدل میپرسید: “یک مقالهی علمی معتبر دربارهی این موضوع معرفی کن.” هوش مصنوعی با اطمینان کامل عنوانی مانند:
“The Economic Impact of Artificial Intelligence in 21st Century” – نوشتهی دکتر جیمز اندرسون، منتشرشده در Journal of Modern Economics, 2022
را به شما پیشنهاد میدهد. اما وقتی این مقاله را در پایگاههای علمی جستجو میکنید، متوجه میشوید که:
- چنین مقالهای هرگز منتشر نشده است
- چنین نویسندهای اصلاً وجود ندارد
- حتی ممکن است چنین ژورنالی موجود نباشد
این مسئله فراتر از یک خطای ساده است؛ محققان و دانشجویانی که به این منابع جعلی اعتماد میکنند، ممکن است اطلاعات نادرستی را در پژوهشهای خود وارد کنند و اعتبار علمی کارشان را به خطر بیندازند. جواب اشتباه هوش مصنوعی میتواند در حوزههای علمی و پژوهشی پیامدهای جدی داشته باشد. به همین دلیل، پژوهشگران حرفهای هنگام استفاده از منابع پیشنهادی هوش مصنوعی، هر مورد را بهطور دقیق در پایگاههای معتبر علمی مانند Google Scholar یا PubMed مورد بررسی قرار میدهند.
٢. اشتباهات فرهنگی و ادبی در هوش مصنوعی
تصور کنید از چتجیپیتی میپرسید:
“یک بیت معروف از حافظ دربارهی عشق برایم بیاور.”
مدل ممکن است بیتی را ارائه دهد که شاید در بهترین حالت از نظر سبک و زبان شبیه اشعار حافظ است، اما در واقعیت کاملاً ساختگی بوده و در هیچیک از منابع معتبر یافت نمیشود!
به عنوان مثال، ممکن است پاسخی مانند این دریافت کنید:
“دلی که با غم عشق آشنا نیست، به دست باد سپار و ره رها کن.”
در حالی که چنین بیتی هرگز در اشعار حافظ ثبت نشده است!
در نگاه اول، این اشتباه ممکن است بیاهمیت به نظر برسد، اما با گسترش استفاده از مدلهای زبانی برای جستجوی منابع ادبی، جواب اشتباه هوش مصنوعی می تواند احتمال انتشار متون جعلی بهعنوان آثار اصیل شاعران را افزایش دهد. این پدیده میتواند به تدریج مرز بین متون اصیل و ساختگی را کمرنگ کند و منجر به ثبت اشعار نادرست در منابع آموزشی و فرهنگی آینده شود.
در ادامهی بحث دربارهی اشتباهات هوش مصنوعی، دیدگاهی دیگر بر نقش تفسیر انسانی در شکلگیری خطا تأکید میکند؛ جایی که هر سوگیری الگوریتمی، بازتابی از دادههای تاریخی و فرهنگی ماست.
میزان شیوع توهّم در هوش مصنوعی
پژوهشهای اخیر نشان میدهند که نرخ توهّم بسته به نوع پرسش، حوزهی موضوعی و پیچیدگی سؤال، متفاوت است. در یک مطالعهی جامع مشخص شد که در برخی موارد بین ۱۵ تا ۳۰ درصد پاسخهای مدلهای زبانی میتوانند حاوی اطلاعات نادرست یا کاملاً ساختگی باشند.
این آمار برحسب حوزههای مختلف متغیر است:
| حوزه موضوعی | میزان توهّم |
|---|---|
| موضوعات عمومی و تاریخی | کمتر از ۱۰٪ |
| پرسشهای پزشکی | حدود ۲۰٪ |
| موضوعات فنی و علمی پیشرفته | بیش از ۳۰٪ |
بنابراین، اگر تاکنون احساس کردهاید که برخی از پاسخهای هوش مصنوعی “غیرعادی” یا “مشکوک” هستند، احتمالاً حق با شماست! باید به خوبی حواستان را جمع کنید تا در صورت برخورد با جواب های اشتباه هوش مصنوعی از راهکارهایی جهت بهبود پاسخ ها استفاده کنید. در ادامه به بررسی دو روش کاملا عملی پرداخته ایم.
راهحلهای کاهش جواب اشتباه هوش مصنوعی
محققان در حال توسعهی روشهای متعددی برای کاهش جواب های نادرست هوش مصنوعی هستند. دو رویکرد اصلی که در حال حاضر بهطور جدی مورد بررسی قرار میگیرند، عبارتند از:
١. خودبازبینی (Self-Reflection)
به آلمانی: “Selbstreflexion“
در این روش، هوش مصنوعی با ارزیابی مجدد پاسخهای خود، تلاش میکند خطاهای احتمالی را شناسایی و اصلاح کند. این فرآیند مشابه خودبازبینی انسانها است، زمانی که پس از نوشتن یک متن یا حل یک مسأله، دوباره آن را مرور میکنند تا از صحت و دقت اطلاعات اطمینان حاصل کنند.
در انسانها، این مرحله نقشی حیاتی در تصحیح اشتباهات، ارزیابی منطقی و بهبود کیفیت پاسخها ایفا میکند. به همین ترتیب، مدلهای هوش مصنوعی نیز میتوانند با بازبینی پاسخهای خود، احتمال بروز خطا را کاهش دهند. با این حال، برخلاف انسانها که از تجربه، شهود و منطق برای اصلاح پاسخها بهره میبرند، مدلها صرفاً بر اساس الگوهای آماری موجود در دادههای آموزشی عمل میکنند و هنوز فاقد درک عمیق از مفاهیم و قصد پشت سؤالات هستند. بنابراین، جواب اشتباه هوش مصنوعی ممکن است همچنان بهطور غیرمنتظرهای در پاسخهای اصلاحشده ظاهر شود.
٢. تولید همراه با بازیابی اطلاعات (Retrieval-Augmented Generation)
به آلمانی: “Abrufunterstützte Generierung“
این روش به مدلهای هوش مصنوعی امکان میدهد از منابع خارجی معتبر مانند پایگاههای داده علمی برای ارائهی پاسخهای دقیقتر استفاده کنند. این رویکرد مشابه روشی است که انسانها برای ارائهی اطلاعات موثق به کار میبرند – یعنی مراجعه به منابع معتبر مانند کتابها، مقالات علمی یا وبسایتهای رسمی.
هنگامی که یک انسان در حال نوشتن مقالهی علمی یا پاسخ به یک سؤال تخصصی است، معمولاً برای افزایش دقت به منابع معتبر مراجعه کرده و اطلاعات خود را از آنها استخراج میکند. به همین ترتیب، مدلهای هوش مصنوعی با دسترسی به پایگاههای داده علمی، میتوانند پاسخهای دقیقتری نسبت به استفاده صرف از دادههای داخلی خود ارائه دهند.
با این حال، تفاوت کلیدی این است که انسانها توانایی ارزیابی نقادانه و تحلیل منابع مختلف را دارند و میتوانند با استفاده از تجربه و منطق، تناقضها را تشخیص داده و بهترین منابع را انتخاب کنند. در مقابل، مدلهای هوش مصنوعی صرفاً به الگوریتمها و فرایندهای از پیش تعیینشده متکی هستند و نمیتوانند مانند انسانها مفاهیم پیچیده را بهطور انتقادی ارزیابی کنند. این روش می تواند خطای ایجاد شده در جواب هوش مصنوعی را کاهش دهد ولی وجود محدودیت های ذاتی میتوانند همچنان به ارائه جواب اشتباه هوش مصنوعی منجرب شوند.
محدودیتهای راهحلها
با وجود پیشرفتهای قابل توجه، هیچکدام از این روشها نمیتوانند بهطور کامل از بروز جواب نادرست هوش مصنوعی جلوگیری کنند. حتی برخی از محققان برجسته معتقدند که این مشکل ذاتاً حلنشدنی است، زیرا مدلهای زبانی اساساً برای “تولید متن محتمل” طراحی شدهاند، نه برای “تشخیص حقیقت مطلق“!
چالش اصلی: چرخهی باطل توهّم
شاید فکر کنید که “خب، پس ما فقط باید بیشتر مراقب باشیم و پاسخها را با دقت بررسی کنیم.” اما مسئله فراتر از این است.
چالش بزرگتر این است که از زمان فراگیر شدن مدلهای هوش مصنوعی، حجم تولید محتوا در اینترنت بهطور چشمگیری افزایش یافته است. بخش قابل توجهی از مقالات، پستهای شبکههای اجتماعی و محتوایی که روزانه مطالعه میکنیم، توسط هوش مصنوعی تولید شدهاند.
اکنون تصور کنید که مدلهای آینده برای آموزش خود، از همین محتوای تولیدشده توسط نسل قبلی هوش مصنوعی ها استفاده کنند. این یعنی:
مدلهای آینده از اطلاعاتی یاد میگیرند که ممکن است حاصل توهّم مدلهای قبلی باشند!
این وضعیت منجر به شکلگیری یک چرخهی معیوب میشود که در آن خطاها و اشتباهات نه تنها تکرار میشوند، بلکه با گذشت زمان تقویت نیز میشوند.
توصیههای کاربردی
حال که از ماهیت و گستردگی جواب های اشتباه در هوش مصنوعی آگاه شدیم، دفعهی بعد که کسی با اطمینان کامل به شما گفت: “چتجیپیتی اینو گفته، پس حتماً درسته!”، چه واکنشی باید نشان دهید؟
هوش مصنوعی ابزاری قدرتمند و انقلابی است، اما همچنان محدودیتهایی دارد که باید از آنها آگاه باشیم. این فناوری قادر به تشخیص حقیقت از دروغ نیست و در شرایط مختلف ممکن است اطلاعات نادرستی ارائه دهد. جواب اشتباه هوش مصنوعی در مواقعی که مدلها اطلاعات دقیق ندارند یا نتوانند به منابع معتبر دسترسی پیدا کنند، میتواند مشکلساز شود.
با استفاده آگاهانه و هوشمندانه، میتوانیم از مزایای این فناوری بهرهمند شویم و در عین حال، از چالشهای آن دوری کنیم. به یاد داشته باشیم که هر محتوایی که میخوانیم، حتی اگر از یک مدل پیشرفتهی هوش مصنوعی باشد، همیشه ارزش یک بررسی دوباره را دارد. –
سؤالی برای خوانندگان
شما چه تجربهای از جواب های نادرست هوش مصنوعی داشتهاید؟ آیا تا به حال با اطلاعات اشتباهی که با اطمینان کامل توسط یک مدل ارائه شده، روبهرو شدهاید؟ نظرات و تجربیات خود را با ما به اشتراک بگذارید.
نظرات
-
ککیمیا۳۱ جولای ۲۰۲۶
میشه گفت هوش مصنوعی حتی اگه چت جی بی تی باشه باید بهش کمک کنیم اگه اشتباه کرد يا نه؟
-
ککیمیا۳۱ جولای ۲۰۲۶
میشه گفت هوش مصنوعی حتی اگه چت جی بی تی باشه باید بهش کمک کنیم اگه اشتباه کرد يا نه؟
از همین شماره
