Американский производитель графических процессоров Nvidia объявил о разработке новой открытой языковой модели Nemotron 4, которая будет содержать примерно один триллион параметров. Эта новость появилась на фоне активного роста рынка генеративного ИИ, где компания уже занимает лидирующие позиции благодаря своим ускорителям вычислений. Ожидается, что модель станет одной из крупнейших открытых моделей в мире, предоставив исследователям и разработчикам доступ к вычислительным мощностям уровня, ранее доступного только крупнейшим технологическим корпорациям. Анонс был сделан в контексте расширения экосистемы Nvidia, которая стремится предложить не только аппаратное обеспечение, но и программные решения для обучения и развёртывания ИИ-систем.

По предварительным данным, Nemotron 4 будет построена на архитектуре, оптимизированной для работы с кластерами графических процессоров Nvidia, что позволит эффективно использовать ресурсы при обучении и инференсе. Компания планирует открыть исходный код модели и предоставить её веса для свободного использования, что может существенно повлиять на рынок открытых ИИ-моделей. В настоящее время крупнейшей открытой моделью считается Llama 3 от Meta, которая имеет 405 миллиардов параметров, и Nemotron 4 с триллионом параметров значительно превзойдёт её по масштабу. Однако точные характеристики, такие как количество слоёв, размер контекстного окна и методы обучения, пока не раскрыты, и ожидается, что более детальная информация появится в официальном техническом отчёте.

Технические особенности Nemotron 4, вероятно, будут включать использование разреженных архитектур и методов дистилляции, что позволит снизить вычислительные затраты при сохранении высокой производительности. Nvidia также может интегрировать в модель поддержку мультимодальных данных, включая изображения и видео, что расширит её применение в таких областях, как компьютерное зрение и робототехника. Компания уже имеет опыт разработки открытых моделей, например, серию Nemotron, которая включает модели с меньшим количеством параметров, но новая модель станет значительным шагом вперёд. Важно отметить, что Nvidia не только предоставляет аппаратные ускорители для обучения больших моделей, но и активно развивает собственные ИИ-системы, что позволяет ей лучше понимать потребности клиентов и оптимизировать свои продукты.

Контекст этого анонса включает растущую конкуренцию на рынке открытых ИИ-моделей, где такие компании, как Meta, Mistral AI и Alibaba, уже выпустили свои решения с открытым кодом. Например, Meta недавно представила Llama 3.1, которая доступна в нескольких вариантах, включая модель с 405 миллиардами параметров, и активно используется сообществом. Однако Nvidia имеет уникальное преимущество: её модели могут быть тесно интегрированы с её же программной платформой CUDA и библиотеками, такими как TensorRT, что обеспечивает максимальную производительность на её оборудовании. Это может сделать Nemotron 4 особенно привлекательной для компаний, которые уже используют инфраструктуру Nvidia для своих ИИ-проектов. Кроме того, открытость модели может способствовать её широкому внедрению в академических исследованиях и стартапах, которые не имеют ресурсов для обучения собственных моделей с нуля.

Для российского рынка появление открытой модели с триллионом параметров может иметь значительные последствия, учитывая активное развитие национальных ИИ-инициатив и стремление к технологическому суверенитету. Российские компании и исследовательские институты, такие как Сбер и Яндекс, уже разрабатывают собственные языковые модели, например, GigaChat и YandexGPT, но они значительно меньше по масштабу. Открытая модель Nvidia может стать основой для создания новых продуктов и сервисов на русском языке, а также для дообучения на локальных данных. Однако использование такой модели потребует значительных вычислительных ресурсов, которые в России ограничены из-за санкционных ограничений на поставку передовых GPU. Тем не менее, открытый код и веса могут быть доступны через альтернативные каналы, что позволит российским разработчикам адаптировать модель под свои нужды, хотя это может создать юридические и этические сложности.

В сравнении с закрытыми моделями, такими как GPT-4 от OpenAI или Gemini от Google, Nemotron 4 предложит преимущества прозрачности и контроля над данными, что особенно важно для организаций, работающих с чувствительной информацией. Открытые модели также позволяют проводить независимую оценку безопасности и устойчивости к вредоносным запросам, что является актуальной проблемой в области ИИ. Однако триллион параметров требует огромных затрат на обучение и эксплуатацию, и не все организации смогут позволить себе запуск такой модели на собственной инфраструктуре. Поэтому Nvidia, вероятно, также предложит облачные сервисы для доступа к Nemotron 4, что обеспечит монетизацию и расширит клиентскую базу. Это может создать конкуренцию с облачными платформами, такими как AWS и Azure, которые уже предлагают доступ к большим языковым моделям.

Перспективы развития Nemotron 4 остаются неясными, поскольку официального релиза ещё не было, и сроки появления модели не объявлены. Ожидается, что Nvidia представит более подробную информацию на ежегодной конференции GTC, которая обычно проходит в марте, или на других отраслевых мероприятиях. Открытые вопросы включают лицензионные условия, требования к оборудованию и возможные ограничения на коммерческое использование. Также неясно, как модель будет сочетаться с существующей линейкой продуктов Nvidia, включая платформу DGX Cloud и сервисы для разработки ИИ. Тем не менее, анонс Nemotron 4 подтверждает стратегический курс Nvidia на создание собственных ИИ-моделей, что может изменить баланс сил на рынке, где доминируют специализированные ИИ-компании. В ближайшие месяцы отрасль будет внимательно следить за развитием этой истории, поскольку успех Nemotron 4 может определить будущее открытых ИИ-моделей и их роль в индустрии.