ChatGPT مقاله می‌نویسد، کد تولید می‌کند، به سؤال‌های پیچیده جواب می‌دهد. خوب، این را همه می‌دانیم. اما یک سؤال بهتر این است: به آن می‌توان اعتماد کرد؟

پاسخ کوتاه: نه.

مثال ساده‌ای بزنیم: یک API call بزنی به GPT و بگویی «این عدد رو برگردان». در ۹۰٪ مواقع، عدد درست برمی‌گردد. در ۱۰٪ مواقع، مدل عددی برمی‌گرداند که مطمئن و با اعتماد به‌نفس ارائه می‌شود، اما کاملاً اشتباه است. و تو، به‌عنوان توسعه‌دهنده، هیچ راهی نداری که از بیرون بفهمی کدام جواب درست است و کدام hallucination. این مشکل، در مقیاس یک production system، می‌تواند فاجعه‌بار باشد.

۱. صورت مسئله: جادویی که قابل اعتماد نیست

مدل‌های زبانی بزرگ (LLM)، در بسیاری از وظایف، خروجی‌های متقاعدکننده تولید می‌کنند، اما خروجی‌هایی که نمی‌توان روی‌شان حساب کرد. این محدودیت در دو شکل اصلی خودش را نشان می‌دهد:

توهم‌زایی (Hallucination)

مدل، اطلاعات نادرست را با اعتماد به‌نفس کامل به‌عنوان واقعیت ارائه می‌دهد. در حوزه‌هایی مثل حقوق یا پزشکی، این فقط یک اشتباه نیست. یک فاجعه است.
نمونه‌ی واقعی: در سال ۲۰۲۳، یک وکیل در نیویورک از ChatGPT استفاده کرد تا case law مرتبط با پرونده‌ای را پیدا کند. مدل شش پرونده‌ی ساختگی را با شماره‌ی دقیق، تاریخ، و حتی citation ارائه داد. وکیل آن‌ها را به دادگاه برد، و دادگاه متوجه شد هیچ‌کدام از آن پرونده‌ها وجود خارجی ندارند. نتیجه: محکومیت وکیل و جریمه‌ی ۵۰۰۰ دلاری.
این یک خطای ایزوله نبود. تحقیقات نشان می‌دهد LLMها در حوزه‌های تخصصی، در ۱۵ تا ۲۵ درصد مواقع، اطلاعاتی تولید می‌کنند که از نظر ساختاری شبیه حقیقت است اما محتوایش جعلی است. یعنی اگر تو تخصص نداشته باشی، حتی متوجه جعلی بودن نمی‌شوی.

ناتوانی در حل مسائل واقعی

در وظایفی مثل تخصیص منابع، برنامه‌ریزی، یا مدیریت زنجیره تأمین، LLMها اغلب خروجی‌های اشتباه می‌دهند، یا حتی بدتر، خروجی‌هایی که در ظاهر درست به نظر می‌رسند.

دلیلش ساده است: این وظایف نیاز به استدلال دقیق و رعایت محدودیت‌های سخت دارند. مثلاً تخصیص بهینه‌ی منابع در یک تیم ۱۰ نفره، با ۵ محدودیت (هرکس حداکثر ۲ task، taskهای A و B نباید همزمان باشند، اولویت task C بالاتر است، ...). یک LLM ممکن است راه‌حلی قانع‌کننده بنویسد که در نگاه اول منطقی به نظر برسد، اما وقتی constraints رو چک کنی، می‌بینی ۲ یا ۳ محدودیت را نقض کرده. مدل، صورت مسئله را متوجه شده، اما ریاضیات لازم برای حل دقیق آن را ندارد.

۲. چرا چنین است؟ معماری حدس و احتمال

برای درک این محدودیت، باید بفهمیم LLMها واقعاً چطور کار می‌کنند. پاسخ ساده‌تر از چیزی‌ست که فکر می‌کنی: LLMها ماشین‌های پیش‌بینی توکن هستند. آن‌ها بر اساس الگوهای آماری در داده‌های آموزشی، محتمل‌ترین کلمه‌ی بعدی را انتخاب می‌کنند، بدون اینکه درک واقعی از «معنا» یا «جهان» داشته باشند.

این سه دلیل ریشه‌ای، ناپایداری LLMها را توضیح می‌دهد:

فقدان مدل جهان

انسان‌ها با تجربه‌ی حسی، زبان را درک می‌کنند. وقتی می‌گویی «گرما»، ما واقعاً حس گرما را تجربه کرده‌ایم. برای یک مدل زبانی، واژه‌ی «گرما» فقط یک الگوی آماری است، نه یک حس واقعی. این یعنی مدل می‌تواند جمله‌ای بسازد که «درباره‌ی گرما حرف می‌زند»، اما هیچ درکی از اینکه گرما چه حسی دارد، ندارد.

داده‌های ایستا

دانش LLMها در لحظه‌ی پایان آموزش متوقف می‌شود. به داده‌های لحظه‌ای دسترسی ندارند و نمی‌توانند دانش خود را به‌روز کنند. اگر امروز رویداد مهمی در دنیا رخ دهد، LLM تو تا ماه‌ها بعد از آن بی‌خبر است. و اگر از مدل بخواهی درباره‌ی یک API version جدید سؤال کنی، احتمالاً نسخه‌ی قدیمی را به یاد می‌آورد، با اعتماد به‌نفس کامل.

نشناختن مرزهای خود

شاید خطرناک‌ترین محدودیت این باشد: تحقیقات نشان می‌دهد LLMها نمی‌دانند چه چیزی می‌دانند و چه چیزی نمی‌دانند. گاهی وقتی جواب دارند، به ابزار خارجی متوسل می‌شوند. گاهی وقتی جوابی ندارند، شروع به حدس زدن می‌کنند، و حدس‌هایشان را با لحنی کاملاً مطمئن بیان می‌کنند. این «metacognition gap» همان چیزی‌ست که hallucination را تا این حد خطرناک می‌کند.

۳. مشکل اصلی: حرف زدن بدون عمل کردن

اما مشکل عمیق‌تر از اشتباه گفتن است.
یک LLM تنها می‌تواند خروجی تولید کند. متن، کد، تصویر. این خروجی در خلأ تولید می‌شود: بدون دسترسی به داده‌های واقعی کسب‌و‌کار شما، بدون حافظه‌ای از مکالمه‌ی قبلی، بدون توانایی انجام یک کار تا انتها.

تصور کنید یک کارمند جدید استخدام کرده‌اید. باهوش است، سریع است، خوب حرف می‌زند. رزومه‌ی عالی دارد. در مصاحبه تمام سؤالات سخت را درست جواب داده. اما از روز اول کار، هر روز صبح، همه چیز را فراموش کرده. اسم مشتری‌ها، تصمیم‌های دیروز، context پروژه، هیچ‌کدام یادش نیست.به هیچ سیستم داخلی دسترسی ندارد. CRM، دیتابیس، تقویم تیم، task tracker، هیچ‌کدام را نمی‌بیند.هر کاری که به او می‌دهی، فقط یک پیشنهاد روی کاغذ تحویل می‌دهد. «این کار رو بکن» را می‌گیرد، یک سند ۵ صفحه‌ای درباره‌ی چگونگی انجام کار می‌نویسد، ولی خود کار را انجام نمی‌دهد.

این دقیقاً وضعیت یک LLM بدون زیرساخت است.

LLM به تنهایی، مثل آن کارمند باهوشِ بدون دسترسی است. می‌تواند بنویسد، تحلیل کند، پیشنهاد بدهد، اما نمی‌تواند یک task واقعی را از ابتدا تا انتها انجام دهد. نمی‌تواند رزرو هتل را confirm کند. نمی‌تواند دیتابیس را آپدیت کند. نمی‌تواند ایمیل بفرستد. فقط متن تولید می‌کند، در یک اتاق ایزوله، بدون اتصال به دنیای واقعی.
برای اینکه هوش مصنوعی واقعاً عمل کند، نه فقط حرف بزند، باید به دنیای واقعی وصل باشد. به داده‌های کسب‌و‌کار شما، به ابزارهایی که می‌شناسید، به حافظه‌ای که فراموش نمی‌کند. این اتصال، دقیقاً همان چیزی‌ست که یک LLM ساده ندارد، و دقیقاً همان چیزی‌ست که یک ایجنت (agent) فراهم می‌کند.

یک LLM می‌داند چطور درباره‌ی یک task حرف بزند، اما نمی‌تواند آن را انجام دهد. این تفاوت، دقیقاً همان خطی است که چت‌بات (chatbot) را از ایجنت جدا می‌کند.

در مقاله‌ی بعدی، در این باره بیشتر خواهیم گفت.

منابع و مطالعه‌ی بیشتر:

1. Mata v. Avianca, Inc. — نخستین پرونده‌ی مهم حقوقی در آمریکا که در آن وکلا به‌دلیل استناد به پرونده‌های ساختگی تولیدشده توسط ChatGPT جریمه شدند. نمونه‌ای شاخص از خطر hallucination در حوزه‌های تخصصی. ↗️ Wikipedia

2. Hallucination (artificial intelligence) — مقاله‌ی جامع ویکی‌پدیا درباره‌ی تعریف، تاریخچه، علل، و نمونه‌های hallucination در مدل‌های زبانی بزرگ. ↗️ Wikipedia

3. Kadavath et al. (2022), "Language Models (Mostly) Know What They Know" — مقاله‌ی تحقیقاتی از Anthropic که مفهوم «metacognition gap» در LLMها را بررسی می‌کند: آیا مدل‌ها می‌توانند پیش‌بینی کنند چه چیزی را می‌دانند و چه چیزی را نمی‌دانند؟ ↗️ arXiv:2207.05221