تحقیقات علوم اجتماعی به علت کار با انسان‌ها، زیاد تر زمان‌بر، پرهزینه و دشوار است. جیسی آنتیس، پژوهشگر در دانشگاه استنفورد، می‌گوید که LLMها می‌توانند این چالش‌ها را با همانند‌سازی داده‌های انسانی حل کنند. این مدل‌ها می‌توانند نقش یک متخصص یا یک فرد عادی را بازی کنند تا پژوهشگران بتوانند با هزینه کم، فرضیات خود را آزمایش کنند یا مطالعات آزمایشی انجام بدهند. این رویکرد به اختصاصی در ترکیب با داده‌های انسانی، قوت آماری بالایی را فراهم می‌کند.

لوک هیویت و همکارانش در استنفورد، LLMها را در برابر ۴۷۶ آزمایش اتفاقی کنترل‌شده قبلی آزمایش کردند. آن‌ها دریافتند که پیش‌بینی‌های مدل GPT-4 از عکس العمل‌های همانند‌سازی‌شده، به اندازه پیش‌بینی‌های کارشناسان انسانی دقیق است و با نتایج واقعی همبستگی قوی دارد. این دقت حتی در رابطه مطالعاتی که بعد از آموزش GPT-4 انتشار شده بودند نیز مشاهده شد، که نشان‌دهنده توانایی مدل در تعمیم‌پذیری است.

با این حال، محققان به چند چالش عمده اشاره می‌کنند:

– سوگیری و چاپلوسی: LLMها امکان پذیر جواب‌های سوگیرانه یا چاپلوسانه اراعه دهند.

– بیگانگی : جواب‌های مدل‌ها امکان پذیر در ظاهر انسانی به نظر برسند، اما در سطوح عمیق‌تر کاملاً بیگانه باشند، برای مثالً در حل مسائل ریاضی ساده از راه حلهای شگفت و غریب منفعت گیری کنند.

– عدم تطابق توزیع: ‌LLMها نمی توانند تنوع جواب‌های انسانی را به درستی تکرار کنند و زیاد تر به یک محدوده قابل پیش‌بینی از جواب‌ها محدود خواهد شد.

پژوهشگران بر این باورند که بهترین روش اکنون، منفعت گیری از یک رویکرد هیبریدی است که داده‌های انسانی و پیش‌بینی‌های LLM را ترکیب می‌کند. این رویکرد، که توسط دیوید بروسکا گسترش یافته است، شامل انجام یک مطالعه آزمایشی کوچک با انسان‌ها و تکرار آن با یک LLM است تا قابلیت معاوضه‌پذیری نتایج بازدید شود. سپس این دو منبع داده به طوری ترکیب خواهد شد که دقت کلی افزایش یابد بدون این که LLM سوگیری داخل کند.

این روش می‌تواند به محققان پشتیبانی کند تا اندازه نمونه بهینه برای یک مطالعه را تخمین بزنند، که این خود تبدیل افت هزینه‌ها می‌شود. به طور کلی، هوش مصنوعی می‌تواند به گفتن یک ابزار کمکی برای طراحی شرایط آزمایشی یا انتخاب کلمات مناسب برای یک پرسشنامه عمل کند. با این حال، به حرف های هیویت، در نهایت اگر مقصد مطالعه حرکت انسانی باشد، آزمایش باید بر داده‌های انسانی متکی باشد.