Яндекс выложил в опенсорс Alice AI Foundation LLM — претрейн-версию своей новой большой языковой модели, обученной полностью с нуля.

По данным «Яндекса», Alice AI Foundation LLM обгоняет более крупные открытые ИИ-модели, не требуя при этом больших вычислительных мощностей для инференса. Разработчики могут задействовать нейросеть при проведении исследований, а также в коммерческих проектах под лицензией Apache 2.0. Представленная ИИ-модель является экспериментальной и используется для тестирования архитектурных решений для будущей единой рассуждающей модели «Яндекса». Она станет основой агентных возможностей «Алисы AI », за счёт чего пользователи смогут поручать системе выполнение разных задач.

Alice AI Foundation LLM работает на архитектуре MoE (Mixture of Experts) и включает 80 миллиардов параметров, из которых в моменте активны только 3 миллиарда — это обеспечивает исключительную скорость и экономичность её работы. 

При решении олимпиадных задач по математике Alice AI Foundation LLM делит лидерство с Qwen3.5-35B-A3B-Base. А в тестах на написание кода превосходит модель компании NVIDIA Nemotron-3-Super-120B-Base — несмотря на то, что использует в четыре раза меньше активных параметров. Качество в ризонинге и программировании  — необходимый навык для эффективной работы агентов, способных выполнять действия по поручению пользователя.

Для оценки знаний, которые актуальны для русскоязычной аудитории, разработчики создали два собственных бенчмарка — WikiWebFacts и HardMultiQA. Первый состоит из пар «короткий вопрос — короткий ответ» и подходит для проверки знания дат, определений, событий и персоналий на основе данных онлайн-энциклопедий и частотных агрегированных поисковых запросов. Второй бенчмарк построен на базе анонимизированного потока запросов к «Алисе AI »и охватывает более редкие области знаний. Оба бенчмарка созданы для оценки знаний русскоязычных моделей, поскольку англоязычные аналоги не позволяют сделать это объективно.

При обучении модели разработчики Яндекса улучшили работу оптимизатора — программы, управляющей процессом обучения. Они перестроили его так, чтобы пересылка данных между видеокартами шла параллельно с вычислениями. Это позволило ускорить шаги оптимизации примерно в два раза.

Яндекс также оптимизировал подготовку качественных обучающих данных — для их отбора требовалось оценивать документы с помощью ресурсоёмкой модели. Её запуск на всём корпусе потребовал бы более 200 тысяч часов работы видеокарт. Теперь перед такой оценкой документы проходят через каскад классификаторов. На каждом этапе более сложная и вычислительно затратная модель работает с меньшим количеством документов. Это позволило в десятки раз сократить количество вычислений и при этом сохранить около 95% полезных документов. Кроме того, инженеры значительно обогатили базу знаний модели в области права, медицины и математики. 

Новая модель предоставляется под лицензией Apache 2.0, что позволяет свободно использовать её в коммерческих и исследовательских целях. Она уже прошла основной этап обучения, от которого зависят её эрудированность, способности и потенциал. Это позволяет использовать её как основу для создания собственных проектов.