Новости Meta представила языковую модель LLaMA

Компания Meta выпустила большую языковую модель LLaMA для исследователей искусственного интеллекта с 13 млрд и 65 млрд параметров.

Today we're publicly releasing LLaMA, a state-of-the-art foundational LLM, as part of our ongoing commitment to open science, transparency and democratized access to new research.

Learn more & request access https://t.co/8AeLVhMWkq pic.twitter.com/1BEkTngtnM

— Meta AI (@MetaAI) February 24, 2023​

По словам разработчиков, меньшая версия LaMMA-13B продемонстрировала лучшие результаты «в большинстве тестов», чем GPT-3 компании OpenAI. Большая система LLaMA-65B «конкурентоспособна с продвинутыми моделями», такими как Chinchilla70B от DeepMind и PaLM 540B от Google.

Числа в названиях систем относятся к миллиардам параметров в каждой из них. Критерий часто используют для измерения сложности модели, однако эти два качества не обязательно масштабируются синхронно.

После обучения LLaMA-13B можно запустить на одном графическом процессоре Nvidia Tesla V100. По словам разработчиков, это «демократизирует» вычисления для небольших учреждений, не имеющих мощного оборудования.

В Meta считают, что LaMMA поможет ИИ-экспертам выявить проблемы языковых моделей на предмет предвзятости, токсичности и склонности выдумывать информацию. Для этого они выпустили алгоритм под некоммерческой лицензией.

«Мы считаем, что все сообщество […] должно работать вместе для создания четких руководящих принципов в отношении ответственного ИИ в целом и ответственных моделей больших языков в частности», — заявили в компании.
​

По словам генерального директора корпорации Марка Цукерберга, языковые модели продемонстрировали многообещающие возможности в создании текста, ведении бесед и предсказании структуры белков.

«Meta привержена этой открытой модели исследований, и мы сделаем нашу новую модель доступной для исследовательского сообщества ИИ», — добавил он.
​

Ранее техгигант выпускал собственные языковые модели, однако их часто критиковали. В августе 2022 года Meta запустила общедоступную версию чат-бота Blenderbot 3 со 175 млрд параметров. Позже систему уличили в антисемитизме и недовольстве соцсетью Facebook.

Другого чат-бота под названием Galactica Meta отключила всего через три дня после запуска. Предназначенную для обобщения научных работ систему обвинили в создании фейков и дезинформации.

Напомним, в ноябре 2022 года Meta представила ИИ-алгоритм Cicero, который играет в настольную стратегию «Дипломатия» на уровне с людьми.

В том же месяце ИИ-лаборатория техгиганта рассказала о нейросети-трансформере ESM-2 с 15 млрд параметров для прогнозирования структуры белков.

Новость Meta представила языковую модель LLaMA на сайте CoinProject.info.