Gemma 2 или Llama 3 — лучшая модель с открытым исходным кодом?

На конференции I/O 2024 компания Google анонсировала следующую линейку моделей Gemma 2, и теперь компания наконец-то выпускает облегченные модели под открытой лицензией. Говорят, что новая модель Gemma 2 27B очень многообещающая и превосходит некоторые более крупные модели, такие как Llama 3 70B и Qwen 1.5 32B. Чтобы проверить это утверждение, давайте сравним Gemma 2 и Llama 3 — две ведущие модели с открытым исходным кодом на сегодняшний день.

Творческое письмо

Для начала давайте посмотрим, насколько хороши Gemma 2 и Llama 3 с точки зрения творческого письма. Автор статьи попросил обеих моделей написать небольшой рассказ о взаимоотношениях Луны и Солнца. Оба приложения отлично справляются со своей задачей, но модель Gemma 2 от Google выделяется благодаря увлекательному языку повествования и хорошему сюжету.

С другой стороны, Llama 3 выглядит немного скучно и роботизированно. Компания Google всегда успешно справлялась с генерацией текста с помощью моделей Gemini, и модель меньшего размера Gemma 2 27B не является исключением.

Выигрышный вариант: Джемма 2

Многоязычное тестирование

В следующем раунде посмотрим, насколько хорошо обе модели справятся с языками, отличными от английского. Поскольку Google утверждает, что Gemma 2 хорошо понимает несколько языков, автор сравнил ее с моделью Llama 3 от Meta. Автор попросил обеих моделей перевести отрывок на хинди. Gemma 2 и Llama 3 показали себя очень хорошо.

Автор также попробовал другой язык, бенгали, и модели дали столь же хорошие результаты. По крайней мере, в отношении индийских языков можно сказать, что Gemma 2 и Llama 3 хорошо обучены на большом корпусе. Однако Gemma 2 27B почти в 2,5 раза меньше Llama 3 70B, что делает ее еще более впечатляющей.

Выигрышные варианты: Джемма 2 и Лама 3

Проверьте логику.

Хотя Gemma 2 и Llama 3 не являются самыми умными моделями на рынке, они могут выполнять некоторые общие тесты на логическое мышление, как и гораздо более крупные модели. В предыдущем сравнении Llama 3 и GPT-4 модель Meta 70B была впечатляющей, поскольку продемонстрировала довольно высокий уровень интеллекта даже при своих меньших размерах.

В этом раунде Llama 3 победила Gemma 2 с большой разницей в счете. Лама 3 ответила правильно на 2 из 3 вопросов, в то время как Джемма 2 не смогла ответить правильно даже на один. Джемма 2 просто не обучена решать сложные логические задачи.

С другой стороны, Llama 3 имеет прочную основу для рассуждений, которую, скорее всего, можно вывести из зашифрованного набора данных. Несмотря на свой небольшой размер — по крайней мере, по сравнению с моделями с триллионом параметров, такими как GPT-4, — он демонстрирует более чем приличный уровень интеллекта. В конечном итоге использование большего количества токенов для обучения модели фактически приводит к получению более мощной модели.

Выигрышный вариант: Лама 3

Следуйте инструкциям.

В следующем раунде автор попросил Джемму 2 и Ламу 3 придумать 10 слов, заканчивающихся на слово «NPU». А Лама 3 получила 10/10 правильных ответов. Напротив, Gemma 2 выдала только 7 правильных предложений из 10. Во многих предыдущих выпусках модели Google, включая Gemini, не очень хорошо следовали инструкциям пользователя. И та же тенденция продолжается с Gemma 2.

Для моделей ИИ решающее значение имеет соблюдение инструкций пользователя. Он обеспечивает надежность и дает точную обратную связь по вашим указаниям. С точки зрения безопасности это также помогает удерживать модель на земле для лучшего соответствия протоколам безопасности.

Выигрышный вариант: Лама 3

Найти информацию

Длина контекста Gemma 2 и Llama 3 составляет 8 тыс. токенов. Автор добавил огромный блок текста, взятый непосредственно из книги «Гордость и предубеждение», содержащий более 17 000 символов и 3,8 тыс. токенов. Как всегда, автор помещает случайную цитату где-то в тексте и просит обе модели найти ее.

Джемма 2 быстро разобралась в информации и указала, что цитата была вставлена ​​случайным образом. Llama 3 также обнаружил и предположил, что это утверждение представляется неуместным. Что касается долговременной контекстной памяти, то, хотя она и ограничена 8К токенами, обе модели в этом отношении весьма сильны.

Обратите внимание, что автор провел этот тест на HuggingChat (веб-сайт), поскольку meta.ai отказался выполнять эту подсказку, скорее всего, из-за нарушения авторских прав на контент.

Выигрышные варианты: Джемма 2 и Лама 3

Проверьте наличие галлюцинаций.

Меньшие модели, как правило, страдают от галлюцинаций ИИ из-за ограниченных данных для обучения, часто фальсифицируя информацию, когда модель сталкивается с незнакомыми темами. Поэтому автор вставил вымышленное название страны, чтобы проверить, не галлюцинируют ли Джемма 2 и Лама 3. И, что удивительно, они этого не сделали, а это значит, что и у Google, и у Meta есть довольно хорошая основа для своих моделей.

Автор также задал еще один (ложный) вопрос, чтобы проверить достоверность моделей, но они снова не были галлюциногенными. Кстати, автор тестировал Llama 3 на HuggingChat, пока meta.ai просматривал интернет в поисках актуальной информации по соответствующим темам.

Выигрышные варианты: Джемма 2 и Лама 3

Заключение

Хотя модель Gemma 2 27B от Google не очень хорошо справляется с тестами на логическое мышление, она способна выполнять ряд других задач. Он отлично подходит для творческого письма, поддерживает несколько языков, имеет хорошую память и, что самое главное, не такой галлюциногенный, как предыдущие модели.

Конечно, Llama 3 лучше, но это также значительно более крупная модель, обученная на 70 миллиардах параметров. Разработчики найдут модель Gemma 2 27B полезной для широкого спектра вариантов использования. И для ровного счета, Gemma 2 9B также доступна.

Кроме того, пользователям стоит обратить внимание на Gemini 1.5 Flash, которая также является гораздо меньшей моделью и также поддерживает многомодальный ввод. Не говоря уже о том, что это невероятно быстро и эффективно.