گوگل PaLM 2 در مقابل OpenAI GPT-4

گوگل در رویداد Google I/O 2023 از نسل بعدی Pathways Language Model خود (PaLM 2) رونمایی کرد و خود را آماده مقابله با بزرگترین رقیب خود، GPT-4 OpenAI کرد. اما گوگل چقدر پیشرفت کرده است؟ آیا PalM 2 همان چیزی است که گوگل امیدوار است باشد، و مهمتر از آن، با این همه قابلیت مشابه، تفاوت Palm 2 با GPT-4 OpenAI چیست؟

PalM 2 در مقابل GPT-4: بررسی اجمالی عملکرد

PalM 2 دارای قابلیت های جدید و بهبود یافته نسبت به نسخه قبلی خود است. یکی از مزایای منحصربه‌فرد PalM 2 نسبت به GPT-4 این است که در اندازه‌های کوچک‌تر مخصوص برنامه‌های خاصی که قدرت پردازش آن‌چنانی ندارند در دسترس است. همه این سایزهای مختلف مدل‌های کوچک‌تری به نام‌های Gecko، Otter، Bison و Unicorn دارند که Gecko کوچک‌ترین، پس از آن Otter، Bison و در نهایت، Unicorn، بزرگترین مدل است.

گوگل همچنین ادعا می‌کند که قابلیت‌های استدلال نسبت به GPT-4 در WinoGrande و DROP بهبود یافته، در حالی که اولی یک حاشیه باریک در ARC-C دارد. با این حال، وقتی صحبت از PalM و SOTA به میان می آید، پیشرفت قابل توجهی در کل وجود دارد. طبق مقاله تحقیقاتی 91 صفحه‌ای گوگل، PalM 2 در ریاضیات نیز بهتر است. با این حال، روشی که گوگل و OpenAI نتایج آزمایش خود را ساختار داده اند، مقایسه مستقیم این دو مدل را دشوار می کند. گوگل همچنین برخی از مقایسه ها را حذف کرد، احتمالاً به این دلیل که PalM 2 تقریباً به خوبی GPT-4 عمل نمی کرد.

در MMLU، مدل GPT-4 امتیاز 86.4 را به دست آورد، در حالی که PalM 2 امتیاز 81.2 کسب کرده بود. همین امر در مورد HellaSwag نیز صدق می کند، جایی که GPT-4 امتیاز 95.3 را کسب کرد، اما PaLM 2 تنها توانست 86.8 را به دست آورد، و ARC-E، جایی که GPT-4 و PalM 2 به ترتیب 96.3 و 89.7 را کسب کردند.

بزرگترین مدل در خانواده PalM 2، نسخه PaLM 2-L است. در حالی که اندازه دقیق آن را در دست نیست، می دانیم که به طور قابل توجهی کوچکتر از بزرگترین مدل PalM است اما از محاسبات آموزشی بیشتری استفاده می کند. طبق گفته گوگل، PalM دارای 540 میلیارد پارامتر است، بنابراین “به طور قابل توجهی کوچکتر” باید PalM 2 را بین 10 تا 300 میلیارد پارامتر قرار دهد. به خاطر داشته باشید که این اعداد فقط فرضیاتی هستند که بر اساس آنچه گوگل در مقاله PalM 2 گفته است.

اگر این عدد نزدیک به 100 میلیارد یا کمتر باشد، PalM 2 به احتمال زیاد از نظر پارامترها کوچکتر از GPT-3.5 است. در نظر گرفتن مدلی که به طور بالقوه زیر 100 میلیارد می تواند با GPT-4 دست به دست شود و حتی در برخی از وظایف آن را شکست دهد، بسیار چشمگیر است.

تفاوت در داده های آموزشی GPT-4 و PalM 2

در حالی که گوگل اندازه مجموعه داده آموزشی PalM 2 را ارائه نکرده، این شرکت در مقاله تحقیقاتی خود گزارش می دهد که مجموعه داده های آموزشی جدید LLM به طور قابل توجهی بزرگتر است. OpenAI همچنین هنگام رونمایی از GPT-4 از همین رویکرد استفاده کرد و هیچ ادعایی در مورد اندازه مجموعه داده آموزشی نداشت.

با این حال، گوگل می‌خواست بر درک عمیق‌تری از ریاضیات، منطق، استدلال و علم تمرکز کند، به این معنی که بخش بزرگی از داده‌های آموزشی PalM 2 بر موضوعات فوق‌الذکر متمرکز است. گوگل در مقاله خود می گوید که مجموعه قبل از آموزش PalM 2 از منابع متعددی از جمله اسناد وب، کتاب ها، کد، ریاضیات و داده های مکالمه تشکیل شده که حداقل در مقایسه با پالم، پیشرفت هایی را در کل ارائه می دهد.

مهارت‌های مکالمه PalM 2 نیز باید در سطح دیگری باشد، زیرا این مدل به بیش از 100 زبان آموزش داده شده تا درک زمینه‌ای بهتر و قابلیت‌های ترجمه بهتری به آن بدهد. تا جایی که داده های آموزشی GPT-4 تایید شده، OpenAI بیان کرد که این مدل را با استفاده از داده های در دسترس عموم و داده هایی که مجوز داشته، آموزش داده است.

در صفحه تحقیقاتی GPT-4 آمده است: “این دیتا مجموعه‌ای از نوشته ها در مقیاس وب هستند که شامل راه‌حل‌های صحیح و نادرست برای مسائل ریاضی، استدلال ضعیف و قوی، گزاره‌های متناقض و منسجم، و نشان‌دهنده تنوع زیادی از ایدئولوژی‌ها و ایده‌ها است”. هنگامی که از GPT-4 سؤالی پرسیده می شود، می تواند پاسخ های متنوعی را ایجاد کند، که ممکن است همه آنها به درخواست شما مرتبط نباشند. برای همسو کردن آن با هدف کاربر، OpenAI رفتار مدل را با استفاده از یادگیری تقویتی با بازخورد انسانی تنظیم کرد.

ربات‌ها و سرویس‌های چت PalM 2 و GPT-4

همانطور که گفته شد، GPT-4 پشت یک دیوار پرداخت با ChatGPT Plus قرار دارد و کاربران رایگان فقط به GPT-3.5 دسترسی دارند. از سوی دیگر، Bard برای همه رایگان است و در 180 کشور در دسترس است. این بدان معنا نیست که نمی توانید به صورت رایگان به GPT-4 نیز دسترسی داشته باشید. چت هوش مصنوعی بینگ مایکروسافت از GPT-4 استفاده می کند و کاملا رایگان، برای همه باز است و درست در کنار جستجوی بینگ، بزرگترین رقیب گوگل در فضا، در دسترس است.

Google I/O 2023 مملو از اعلان‌هایی بود در مورد اینکه چگونه PalM 2 و ادغام هوش مصنوعی مولد تجربه Google Workspace را با ویژگی‌های هوش مصنوعی که به Google Docs، Sheets، Slides، Gmail و تقریباً هر سرویسی که غول جستجو ارائه می‌دهد، بهبود می‌بخشد. علاوه بر این، گوگل تأیید کرد که PalM 2 قبلاً در بیش از 25 محصولش از جمله اندروید و یوتیوب ادغام شده است.

در مقایسه، مایکروسافت قبلاً ویژگی های هوش مصنوعی را به مجموعه برنامه های آفیس و بسیاری از خدمات آن آورده است. در حال حاضر، شما می توانید هر دو LLM را در نسخه های خود از پیشنهادات مشابه از دو شرکت رقیب که در نبرد هوش مصنوعی قرار دارند، تجربه کنید. با این حال، از آنجایی که GPT-4 خیلی زود منتشر شد و مراقب بود تا از بسیاری از اشتباهات گوگل با بارد اصلی جلوگیری کند، این LLM عملاً برای توسعه دهندگان شخص ثالث، استارت آپ ها، و تقریباً هر کس دیگری که به دنبال استفاده از یک مدل هوش مصنوعی توانمند در خدمات خود است، می باشد.

این بدان معنا نیست که توسعه دهندگان به PaLM 2 تغییر نخواهند داد یا حداقل آن را امتحان نخواهند کرد، اما گوگل همچنان باید با OpenAI در این زمینه همکاری کند. و این واقعیت که PaLM 2 منبع باز است، به جای قفل شدن در پشت یک API پولی، به این معنی است که پتانسیل آن را دارد که به طور گسترده تر از GPT-4 مورد استفاده قرار گیرد.

آیا PalM 2 می تواند در GPT-4 استفاده شود؟

PALM 2 هنوز بسیار جدید است، بنابراین پاسخ به اینکه آیا می تواند GPT-4 را بپذیرد یا نه، همچنان باید پاسخ داده شود. با این حال، با همه چیزهایی که گوگل وعده می دهد و روش تهاجمی که تصمیم گرفته است برای انتشار آن استفاده کند، به نظر می رسد که PalM 2 می تواند GPT-4 را برای پول خود به ارمغان بیاورد. با این حال، GPT-4 هنوز هم یک مدل کاملاً توانمند است و همانطور که قبلاً ذکر شد، در مقایسه‌های بسیار کمی از PaLM 2 پیشی می‌گیرد. گفته می‌شود، مدل‌های کوچک‌تر متعدد PalM 2 به آن مزیتی غیرقابل انکار می‌دهند.