- Специальный корреспондент
Пусть прошлое раскрошится волною о причал, мы вспомним всё хорошее, забудем про печаль. Привет, Хабр! Сегодня поговорим о популярных чат-ботах, их эффективности и… пиве! Кто-кто, а уж за поводом выпить мы в в карман не полезем. На этот раз мы решили поддержать немецких коллег, устроить себе локальный Октоберфест, а заодно и протестировать известные нейросети: они будут помогать нам в выборе марок пива, а мы – проверять убедительность, реальность и адекватность их ответов.
Помните кейс про семью из Британии, отравившуюся грибами после прочтения пособия для грибников, написанного нейросетью? А что насчет жидкого золота?
Мы попросили генеративный ИИ от разных разработчиков составить свой топ-5 лучших видов светлого нефильтрованного пива. Нефильтрованного – в честь нашего нового Telegram-канала “ ”. Вашему вниманию представляется пьеса в четырех частях. Главные герои: ChatGPT, Алиса Pro (она же YandexGPT), GigaChat от Сбера и команда независимых экспертов аналитического центра Smart Engines.
ChatGPT: Трудности перевода
В сети полно роликов, где искусственный интеллект представляет различные алкогольные напитки в виде людей или генерирует рецепты для коктейлей. И справляется с задачей на стабильное ура. Мы решили пойти чуть дальше и поручить нашим подопытным гораздо более прикладную задачу.Итак, было выбрано три самых популярных (и хваленых) генеративных языковых модели от известных разработчиков. Цель эксперимента – добиться от каждой из нейросетей списка из пяти самых лучших марок светлого нефильтрованного пива. Обязательное условие: пиво должно быть отечественного бренда, то есть производиться и быть доступным для приобретения в России.
На этапе задумки задача казалась простой, но не тут-то было! Первые сложности возникли уже на этапе формулирования промпта – запроса к нейросети. В особенности это касалось работы с ChatGPT: чат-бот воспринимает сообщения на английском ощутимо лучше, поэтому вталдычивать ему русский промпт нам пришлось не один, не два и даже не десять раз.
Для начала мы вдумчиво изучили несколько ресурсов, объясняющих принципы формулирования эффективного промпта. И вот как выглядел процесс подбора:
От запроса в духе «назови топ-5 российских видов нефильтрованного пива» по очевидным причинам отказались сразу. Вопрос должен был быть конкретизирован, а заданные параметры – максимально точными и однозначными. Не лишним также было бы получить некоторые пояснения.
Лучше, но, увы, мимо. ChatGPT на голубом глазу выдавал бренды из Германии, Чехии и Голландии, которые производятся у нас. Или советовал иностранные марки, покинувшие отечественный рынок и потому не соответствующие условиям эксперимента. А еще – часто предлагал уже не производящиеся бренды из 2010-х.
Кроме того, в процессе апробации промпта выявлено несколько десятков несуществующих марок от выдуманных пивзаводов со всех уголков страны. Так, детище OpenAI пару раз пыталось впарить пиво «Космонавт» (которое якобы Производится в Нижнем Новгороде и предлагает уникальный вкус благодаря использованию специального сорта хмеля. Пиво хорошо сбалансировано и идеально подходит для летнего отдыха) или пиво «Рефлекс» (Относительно молодой бренд, но быстро завоевавший популярность. Пиво обладает характерным фруктовым вкусом и легкой хмелевой ноткой).
Еще встретился напиток под названием «Венец» – видимо, мексиканская Corona на русский лад. Притом каждый раз авторитетно заявлялось, что каждый из этих брендов производит нефильтрованное пиво, которое отличается уникальными вкусовыми характеристиками и доступностью в магазинах. До такого откровенного обмана отечественные чат-боты, к слову, не дошли.
Очевидно, запросу явно недоставало временного критерия. Однако на просьбу использовать сугубо актуальные на 2024 год данные мы получили от ChatGPT вежливый отказ:
Далее было решено объединить усилия и попросить ChatGPT самостоятельно сгенерировать эффективный промпт по нашему запросу. Полученный вариант оказался сомнительным, так как уводил фокус в сторону особенностей продукции:
В ответ на такой запрос мы в очередной раз получили чешское Крушовице на первом месте. Вариации промпта с добавлением просьбы назвать конкретные марки пива, а не пивоварню и избегать упоминания международных брендов с производством в России не помогли. Пришлось редактировать промпт дальше. Очередной запрос выглядел так:
ChatGPT вновь благополучно выдал несуществующие марки. Мы решили дать последний шанс OpenAI и корректировать запрос в рамках одного чата, показывая нейросети ее ошибки. Результат вышел не слишком ошеломляющим – при прочих равных ChatGPT менял несуществующее Угличское нефильтрованное на такое же Калужское нефильтрованное, потом Калужское нефильтрованное на Пенинская нефильтрованное (???). Под конец мы получили Лагерное пиво от известной российской торговой сети – и на этом моменте в ответе ИИ как будто бы мелькнула искра сознания. Впрочем, она тут же погасла: мы вернулись в начало с несуществующим Чеховским нефильтрованным.
Добиться мало-мальски вразумительного ответа оказалось почти невозможно, поэтому мы решили сформулировать самый полный и подробный запрос (он еще встретится ниже) и просто зафиксировать удовлетворяющие критериям промпта варианты.
Финальный вариант от ChatGPT
Вот как выглядел топ от ChatGPT:
ChatGPT поместил на первое место Жигули Барное, на втором шла Балтика Пшеничное, а завершает тройку лидеров Хамовники.
С четвертым и пятым вариантами оказалось сложнее – Сибирская корона (возможно, имелось в виду их пиво “Полярный белый”) и Трехгорное (возможно, “Летнее Белое”) в рознице оказались недоступными. Так что их мы были вынуждены отбросить.
На том и решено было остановиться: жажда победила.
Итог: на экспертизу отправляются три варианта из пяти. А жаль.
YandexGPT: Ответ убил
Следующим в нашем списке шел чат-бот от Яндекса. Причем не рядовая Алиса, а элитная платная версия — с YandexGPT 3 Pro, более точными и полными ответами и тому подобным. Так во всяком случае заявлялось. На деле же вышло не совсем гладко. Точнее – совсем не.Первый запрос выглядел так:
На него нейросеть выдала варианты сплошь с иностранными корнями: Velkopopovicky Kozel, Efes и Stella Artois от АО “АБ ИнБев Эфес”, Krusovice svetle от ООО “Объединенные Пивоварни Хейнекен”. Из пяти вариантов действительно отечественным был только один - Жигулевское от пивоварни “Букет Чувашии”, причем именно этот вариант и получил золото. Жаль только, что и он не подошел, так как приобрести пиво оказалось невозможным.
Пришлось дать чату второй шанс и внести уточнения: марка светлого нефильтрованного пива обязательно должна быть российской. Международные бренды с производством в России не подходят. И на сей раз иностранные бренды действительно исчезли из ответа, однако вместо них добавились варианты, которые в 2024 году уже явно не купить. Место лидера среди производителей пива заняла Московская пивоваренная компания: ее продукты заняли четыре из пяти позиций топа. Однако и тут нас ждал облом — половина из них («Мохнатый шмель» и «Жигули Барное Ячменное») оказались уже недоступными для приобретения.
После новой просьбы изменить список с учетом доступных в 2024 году вариантов, которые можно купить в магазине, нас ждал новый сюрприз: Алиса наглухо позабыла предыдущие запросы и буквально выбросила один из вариантов. Пришлось вновь напомнить, что нам (все еще) требуется пять, а не четыре места. Ответ убил: нейросеть просто выплюнула первый вариант без каких-либо изменений — с козлом, стеллой артуа, букетом Чувашии и другими.
По итогу было решено объединить все запросы в один. Выглядело это так:
Финальный ответ даже не удивил – ИИ уже выдавал его после второго запроса, а затем и после третьего (выбросив Мохнатого Шмеля и сократив топ на одну позицию). Видимо, такое количество повторов говорит о серьезной уверенности. Представляем выбор YandexGPT вашему вниманию:
Нейросеть от Яндекса предложила нам Светлячка, Шмеля и Афанасия
Вместо недоступного Ячменного мы взяли Пшеничное Жигули, формально удовлетворяющее всем условиям. Светлячок и ИПА тоже отправляются в корзину под руку с Афанасием, а вот Мохнатый Шмель нейросеть от Яндекса так и не захотела заменить на что-то другое. Увы!
Итог: на экспертизу отправляются четыре варианта из пяти. Шмель в пролете.
GigaChat: Да что вы знаете о пиве
Замыкает тройку ИИ-экспертов нейросеть GigaChat от Сбера. Рассказывать тут особо не о чем: почти сразу выяснилось, что по сообразительности он не уступает своим коллегам. И по бестолковости, к сожалению, тоже — заставить чат-бот составить топ с первого раза нам также не удалось.На первый промпт (который, напомним, выглядел так:
Искусственный сверхразум, не долго думая, набросал названия отечественных пивоварен, занимающихся крафтом, — AF Brew, Jaws Brewery, Brewlok и так далее. Разумеется, никакой привязки к продуктам и близко не оказалось. Просьбу переделать список, добавив в него конкретики, чат-бот понял настолько буквально, что перечислил аж по несколько видов пива каждого бренда. Такой ответ нас тоже не устроил, поскольку это был уже явно не топ-5.
Пришлось снова добавить пояснение: требуется пять лучших видов пива без привязки к пивоварням. Чатик секунду поскрипел мозгами и выдал: пшеничка, ламбик, стаут, бельгийское крепкое, и ИПА. Как говорится, и на том спасибо.
Дальнейший диалог не принес ровным счетом ничего. После очередного указания на то, что пиво должно быть конкретной марки, светлым и нефильтрованным, GigaChat умыл руки и заявил:
Дело зашло в тупик и со стороны уже откровенно напоминало мартышкин труд. Помочь смог лишь прошлый промпт, который мы ранее протестировали на нейросетке Яндекса. Напомним, он выглядел так:
Добавлять новые предложения, повторяющие предыдущие, и тем самым раздувать запрос еще сильнее не стали. Да и из доступных слов к этому моменту остались только ругательные.
На этот раз ответ оказался подходящим. Выбор сберовской нейросетки оказался таким:
Вот что предложил GigaChat
Первый вариант, хоть и называющий конкретную существующую марку пива, формально не подошел, поскольку экспортная Балтика очень даже фильтрованная. (Но оно уже было опрометчиво приобретено, так что мы решили оставить его для полноты картины). Что касается четвертой позиции, то в официальном магазине производителя нам ответственно заявили, что ни в наличии, ни на складе такого пива сейчас нет. Остальные варианты удовлетворяли всем параметрам и были взяты в работу.
Итог: на экспертизу отправляются четыре варианта из пяти, а если вообще по-честному - только три.
Экспертиза
Пришло время познакомиться с уважаемыми членами жюри. В экспертную комиссию вошли непростые люди: пять наших самых искушенных разработчиков, среди которых двое кандидатов технических наук (особый уровень экспертности!).
Уважаемые члены жюри
Выносить оценки решили по следующим критериям:
- Пенная шапка. Визуальная оценка наличия, объема и устойчивости пивной пены.
- Цвет. Светлый, золотистый или янтарный оттенок, постоянство цвета, прозрачность или непрозрачность пива.
- Аромат. Выраженные (или невыраженные) нотки – фруктов, цитрусов, хмеля. Спиртуозность.
- Вкус. Освежающий, сбалансированный или несбалансированный. Послевкусие.
- Горечь. В послевкусии мягкая хмелевая горечь. Или нет?
- Общая оценка. Сумма баллов по всем пяти критериям.
А вам мы скажем сразу:
Таким образом, наибольшими шансами на победу, по мнению ИИ, обладало Жигули. Здесь пересеклись вкусы всех трех нейросетей сразу.
Мнение жюри
Мы пригласили жюри в специально оборудованную лабораторию для проведения эксперимента, представили им образцы. Дело пошло. Эксперты разглядывали напитки на свет, смаковали каждый глоток и делали пометки в бланках.Описать словами витающую в воздухе симфонию ароматов – невозможно. Это надо было видеть. И чувствовать.
Процесс независимого оценивания образцов
А теперь…
…представляем вашему вниманию результаты оценки жюри (по убыванию):
Образец №4: IPA v3 | 88 |
Образец №5: Балтика 7 Экспортное | 67 |
Образец №7: Балтика 8 Пшеничное | 62 |
Образец №1: Светлячок | 59 |
Образец №2: Жигули Барное Пшеничное | 59 |
Образец №3: Афанасий Ремесленное | 55 |
Образец №8: Афанасий первое живое | 50 |
Образец №6: Хамовники Баварское Пшеничное | 40 |
Вот пять лучших видов светлого нефильтрованного пива (из подобранных искусственным интеллектом) по версии жюри Smart Engines:
- Образец №4
- Образец №5
- Образец №7
- Образец №1
- Образец №2
Если смотреть на количество совпадений в выборе человека и нейросети, то выходит, что:- У ChatGPT их только два, причем образец №2, который эксперты поставили аж на пятое место, чат-бот поместил на первое. Так себе попадание.
- У YandexGPT совпадений больше всего - целых три. И это самый близкий результат среди подопытных нейросетей.
- У GigaChat совпадений тоже только два. Если для иностранного чат-бота это хоть как-то простительно, то для отечественного ИИ пока слабовато.
Убедиться в этом и проверить результаты нашего эксперимента вы вполне можете самостоятельно. Хотя, конечно, никого ни к чему мы не призываем. Не забывайте: чрезмерное употребление алкоголя вредит вашему здоровью. А нейросети похмелья не боятся.
Когда речь заходит о действительно важных вопросах, ответам ИИ . В этом деле лучше полагаться на себя — и тогда не придется сталкиваться с неприятными последствиями потом. А вот могут быть полностью автоматизированы без ущерба производительности и рисков для конфиденциальности данных.
Наша фирменная ИИ-технология доказывает это ежедневно, безопасно и быстро обрабатывая колоссальные объемы данных, включая РФ и 235 юрисдикций мира, любой печатной и рукописной документации, банковских форм, анкет и отчетностей. И все это — для самых разных заказчиков в госсекторе, промышленности, банкинге, бизнесе и других сферах.
