Экспериментальное исследование работы крупных языковых моделей (LLM) выявило принципиально новый уровень обработки информации — промежуточный слой абстрактных концептов, существующий до преобразования мыслей в конкретные слова или токены. Это открытие, сделанное на модели Qwen2.5-Coder-7B, подтверждает теоретические предположения о многоуровневой организации «мышления» ИИ. В отличие от предыдущих исследований, сосредоточенных на анализе выходных данных, данный эксперимент позволил заглянуть в «черный ящик» нейросети, выявив четкую иерархию обработки информации от абстрактных концептов к конкретным языковым выражениям.

Техническая сторона исследования представляет особый интерес для российских разработчиков ИИ. Использованный метод activation steering, позволяющий выявлять причинно-следственные связи между внутренними состояниями модели и её выходными данными, показал разительные отличия между моделями разного масштаба. На малых моделях (0.5B и 3B параметров) эффект не наблюдался, тогда как в 7B-версии появилась четкая ось управления поведением. Это свидетельствует о том, что способность к абстрактному концептуальному мышлению является эмерджентным свойством, возникающим только при достижении определенного масштаба модели — важный факт для российских команд, разрабатывающих собственные LLM.

Ключевым открытием стало обнаружение «до-лексического» уровня представления информации. При попытке декодировать концепт «verify» с 18-го слоя исследователь получил бессмысленный набор символов, хотя этот же слой демонстрировал причинное влияние на поведение модели. Это радикально отличается от работы последнего (27-го) слоя, где модель точно предсказывала следующие токены. Такая архитектура обработки информации — от абстрактных концептов к конкретным языковым выражениям — напоминает человеческое мышление, где идея формируется до её вербального выражения.

Открытие имеет фундаментальное значение для развития ИИ, подтверждая теорию Яна ЛеКуна о Joint Embedding Predictive Architecture (JEPA). Особенно важно, что модель самостоятельно развила слой абстрактного представления информации в процессе обучения, без явного программирования этой функции. Это ставит под вопрос традиционные подходы к проектированию ИИ, предполагая необходимость работы непосредственно в пространстве концептов. Для российского рынка ИИ эти данные особенно ценны, так как позволяют оптимизировать архитектуру языковых моделей, возможно, сократив вычислительные ресурсы за счет более эффективной организации внутренних представлений.

Перспективы исследования включают несколько направлений: от изучения всего спектра абстрактных концептов, формирующихся в моделях, до разработки методов прямого взаимодействия с этим уровнем представления информации. Особый интерес представляет вопрос о количестве и природе других абстрактных концептов — являются ли они универсальными для разных моделей или формируются индивидуально в процессе обучения. Эксперимент также поднимает важную проблему интерпретируемости внутренних состояний ИИ, что критически важно для внедрения таких систем в медицине, юриспруденции и других чувствительных областях.

Методология исследования, включая код и данные, опубликована в открытом доступе, что создает основу для международного сотрудничества в этой области. Для российских исследователей это возможность не только воспроизвести результаты, но и внести свой вклад в развитие принципиально новых подходов к проектированию ИИ. Открытие «до-лексического» уровня мышления ИИ может стать поворотным моментом в понимании того, как крупные языковые модели обрабатывают информацию, и как мы можем улучшить их архитектуру для более эффективного и прозрачного функционирования.