В апреле Meta* представила
с открытым исходным кодом, призванную превзойти самые мощные модели с закрытым исходным кодом от таких компаний, как OpenAI и Google.
Сегодня Meta вошла в историю, выпустив самую большую в мире языковую модель с открытым исходным кодом . Теперь мир имеет доступ к самым современным (SOTA) моделям, которые можно использовать бесплатно.
Генеральный директор Марк Цукерберг смело прогнозирует, что к концу этого года Meta AI обойдет ChatGPT и станет самым распространенным ассистентом.
Ключевые моменты:
Модели, работающие только с текстом, оптимизированы для использования в многоязычных диалогах и превосходят многие существующие модели чатов с открытым исходным кодом и закрытые модели.
Количество токенов относится только к данным предварительного обучения. Во всех моделях используется технология Grouped-Query Attention (GQA) для улучшения масштабируемости вычислений.
Если вы хотите больше узнать о технических деталях Llama 3.1, ознакомьтесь с исследовательским документом от Meta.
Ознакомьтесь с таблицей многоязычных тестов.
Хотя Llama может генерировать текст на других языках, эти результаты могут не соответствовать пороговым значениям безопасности и полезности. Meta настоятельно рекомендует разработчикам не использовать эту модель для разговоров на неподдерживаемых языках без тонкой настройки и системного контроля.
Получая ваше изображение непосредственно через камеру, а не используя фотографии из вашего профиля, Meta стремится предотвратить создание дипфейков.
Llama 3.1 также может превращать созданные вами неподвижные изображения в анимацию, а также добавлять, удалять или изменять созданные вами изображения.
Meta также провела человеческую оценку Llama 3.1 против GPT-4, GPT-4o и Claude 3.5 Sonnet. Вот результаты:
Все результаты включают 95 % доверительные интервалы и исключают ничьи.
Хотя модель с 405 миллиардами параметров в настоящее время недоступна на игровой площадке, вы можете попробовать ее в .
Новые модели доступны в Meta AI, но только для некоторых стран.
ИИ с открытым исходным кодом - это большое достижение. Открытость означает больше идей и инноваций от разработчиков со всего мира. Это разительный контраст с моделями с закрытым исходным кодом, которые ограничивают доступ и творчество.
Но бенчмарки не отражают реальной производительности.
Несмотря на то, что бенчмарки демонстрируют впечатляющие возможности Llama 3.1, мы сможем увидеть ее истинный потенциал только при реальном использовании сообществом. Если все больше людей будут использовать и совершенствовать эти модели, мы можем ожидать появления в будущем новых интересных инструментов и ИИ-приложений.
Сегодня Meta вошла в историю, выпустив самую большую в мире языковую модель с открытым исходным кодом . Теперь мир имеет доступ к самым современным (SOTA) моделям, которые можно использовать бесплатно.
Генеральный директор Марк Цукерберг смело прогнозирует, что к концу этого года Meta AI обойдет ChatGPT и станет самым распространенным ассистентом.
Ключевые моменты:
- Llama 3.1 - это семейство языковых моделей с 8, 70 и 405 миллиардами параметров.
- Модель с 405 млрд параметров была обучена на более чем 16 000 графических процессоров Nvidia H100 и имеет контекстное окно до 128 тыс. токенов.
- Модели являются многоязычными, с поддержкой французского, немецкого, хинди, итальянского, португальского, испанского и тайского языков.
- Модель с 405 миллиардами параметров в некоторых бенчмарках превосходит GPT-4, GPT-4o, Gemma 2 и Claude 3.5 Sonnet
Что такое Llama 3.1?
Llama 3.1 от Meta - это набор предварительно обученных и настроенных генеративных многоязычных языковых моделей. Она представлена в трех конфигурациях: с 8, 70 и 405 миллиардами параметров.- 8B: легкая и сверхбыстрая модель, которую можно запустить в любом месте.
- 70B: высокопроизводительная и экономичная модель, позволяющая решать различные задачи.
- 405B: флагманская базовая модель, позволяющая решать самые разнообразные задачи.
Модели, работающие только с текстом, оптимизированы для использования в многоязычных диалогах и превосходят многие существующие модели чатов с открытым исходным кодом и закрытые модели.
Архитектура модели Llama 3.1
Llama 3.1 - это авторегрессивная языковая модель, использующая оптимизированную архитектуру трансформаторов. В тонких версиях используются контролируемая тонкая настройка (SFT) и обучение с подкреплением и обратной связью (RLHF) для обеспечения соответствия модели предпочтениям человека в отношении полезности и безопасности.Количество токенов относится только к данным предварительного обучения. Во всех моделях используется технология Grouped-Query Attention (GQA) для улучшения масштабируемости вычислений.
Если вы хотите больше узнать о технических деталях Llama 3.1, ознакомьтесь с исследовательским документом от Meta.
Новые возможности Llama 3.1
В этой колоссальной языковой модели появились новые возможности, в том числе:- Более длинное контекстное окно
- Мультимодальный ввод и вывод
- Возможность интеграции со сторонними инструментами
Ознакомьтесь с таблицей многоязычных тестов.
Хотя Llama может генерировать текст на других языках, эти результаты могут не соответствовать пороговым значениям безопасности и полезности. Meta настоятельно рекомендует разработчикам не использовать эту модель для разговоров на неподдерживаемых языках без тонкой настройки и системного контроля.
Возможность генерации изображений
Meta AI представила новую функцию «Imagine Me», которая сканирует ваше лицо с помощью камеры телефона, позволяя вам вставлять свое лицо в генерируемые искусственным интеллектом изображения.Получая ваше изображение непосредственно через камеру, а не используя фотографии из вашего профиля, Meta стремится предотвратить создание дипфейков.
Llama 3.1 также может превращать созданные вами неподвижные изображения в анимацию, а также добавлять, удалять или изменять созданные вами изображения.
Контрольные показатели производительности
Согласно приведенным ниже бенчмаркам, модели Llama 3.1 от Meta превосходят GPT-4o от OpenAI и другие популярные языковые модели в различных тестах, устанавливая новый стандарт в нескольких ключевых областях ИИ-производительности.Meta также провела человеческую оценку Llama 3.1 против GPT-4, GPT-4o и Claude 3.5 Sonnet. Вот результаты:
- Слева: сравнение с GPT-4.
- Посередине: Сравнение с GPT-4o.
- Справа: Сравнение с Claude 3.5 Sonnet.
Все результаты включают 95 % доверительные интервалы и исключают ничьи.
Попробуйте сами
Llama 3.1 уже доступна в Groq .Хотя модель с 405 миллиардами параметров в настоящее время недоступна на игровой площадке, вы можете попробовать ее в .
Новые модели доступны в Meta AI, но только для некоторых стран.
Как попробовать модели
Вы можете скачать модели с этих трех сайтов:ИИ с открытым исходным кодом - это большое достижение. Открытость означает больше идей и инноваций от разработчиков со всего мира. Это разительный контраст с моделями с закрытым исходным кодом, которые ограничивают доступ и творчество.
Но бенчмарки не отражают реальной производительности.
Несмотря на то, что бенчмарки демонстрируют впечатляющие возможности Llama 3.1, мы сможем увидеть ее истинный потенциал только при реальном использовании сообществом. Если все больше людей будут использовать и совершенствовать эти модели, мы можем ожидать появления в будущем новых интересных инструментов и ИИ-приложений.
