سانتیاگو، یک مهندس ماشین لرنینگ، در یک توییت نوشته: گوگل، این شرم‌آور است! او این توییت را درباره ویدیوی دموی گوگل برای مدل جدید هوش مصنوعی‌اش به نام جمنای نوشته است. ویدیویی که میلیون‌ها بار در شبکه‌های اجتماعی مختلف دیده شده و به اصطلاح ویرال شده بود.
در ویدیو نشان داده می‌شود که Gemini به طور متناوب به سوالاتی درباره تصاویر مختلفی که برای او نمایش داده می‌شود پاسخ می‌دهد. در حالی که یک مشکل بزرگ در این ویدیو وجود دارد. اتفاقاتی که نمایش داده می‌شود در زمان واقعی یا real-time اتفاق نمی‌افتد. بر طبق ادعای یک مقاله بلومبرگ، این ویدیوی دمو در زمان واقعی رخ نداده است.
این اطلاعات تردیدهایی را درباره مدل جدید هوش مصنوعی گوگل و قابلیت‌ها و عملکردش وارد کرده است. بسیاری از اکانت‌های شبکه‌های اجتماعی و برخی از خروجی‌های رسانه‌ها به این ویدیو لقب جعلی و فیک داده‌اند.
نکته جنجال‌انگیز دیگر این است که چطور جمنی در MMLU – که یک بنچمارک برای ارزیابی دانش و توانایی حل مشکلِ مدل‌های هوش مصنوعی است – این قدر خوب عمل کرده است.
گوگل مدعی شده که جمنی نخستین مدل هوش مصنوعی است که در آزمایش‌ها از متخصصین انسانی عملکرد بهتری داشته است. در حالی که برت وینتون از ArkInvest و دیگران خاطرنشان کرده‌اند که این نتایج بر اساس استفاده از تکنیک‌های خاص پرامپت‌نویسی به دست آمده و در نهایت جمنی از متخصصین انسانی و GPT-4 در بنچمارک‌ها عقب‌تر است.
در حالی که انتقادات و ناامیدی از شرکتی در سطح گوگل قابل درک است اما متهم کردن گوگل به دروغگویی و جعل، کمی قصیه را کش‌دار می‌کند. در توضیحات ویدیوی یوتیوبی که در دموی مذکور منتشر شده آمده است: «برای مقاصد مربوط به این دمو، مدت آن کاهش یافته و خروجی‌های جمنی برای ایجاز، کوتاه شده است.» همچنان که بر طبق ادعای بنچمارک MMLU، وبسایت DeepMind گوگل اظهار کرده که از تکنیک‌های پرامپت‌نویسی متفاوتی استفاده شده است.
چنان که به نظر می‌رسد هر دو طرف ماجرا دلایل درستی می‌آورند یک توییت از آراویند سرینیوا، مدیرعامل هوش مصنوعی Perplexity یک نمایی از توازن برقرار کرده است: «واقعیت این است که جمنی خوب است. اولین مدلی که از لحاظ هوشمندی قابل مقایسه با GPT 4 است. این یک دستاورد واقعی است. بخصوص که این فقط یک مدل متراکم است. بازاریابی این مدل متلاطم بود اما Deepmind به واسطه روابط عمومی مهاجم و پرخاشگرش شناخته شده است. دموهایی مثل این ویدیوی چندوجهی در واقع می‌تواند در کمتر از یک سال امکان‌پذیر شود.
