Почему каждому AI-ассистенту по программированию нужна память

Каждый раз, начиная новую сессию с AI-ассистентом по программированию, вы фактически начинаете с нуля. Ассистент не знает о ваших предпочтениях, таких как использование Streamlit для создания веб-приложений или о том, что вы предпочитаете иконки Material вместо эмодзи. Это приводит к необходимости повторять информацию из сессии в сессию. Инструменты мощные, но забывчивые, и до тех пор, пока не будет решена проблема памяти, вы остаётесь человеком, который вручную управляет состоянием, которое могло бы быть автоматизировано.

Большие языковые модели (LLM) не запоминают информацию о пользователе. Каждая беседа начинается с чистого листа, что обусловлено архитектурой и не случайно. Как только вы закрываете чат, все следы беседы исчезают. Это сделано для обеспечения конфиденциальности, но создает трудности для тех, кто нуждается в непрерывности. Краткосрочная память включает то, что AI запоминает в рамках одной сессии, тогда как долгосрочная память сохраняет данные между сессиями.

Без долгосрочной памяти вы становитесь слоем памяти, который копирует и вставляет контекст, собирает информацию заново и отвечает на одни и те же вопросы. Это неэффективно и не масштабируемо. Рассмотрим пример: без постоянного контекста AI не знает о ваших предпочтениях и требует несколько корректировок, прежде чем выдаст что-то приемлемое. С постоянным контекстом AI уже знает ваши предпочтения и может сразу предложить подходящее решение.

Инженерия контекста — это систематическая сборка информации, необходимой AI для выполнения задач. Это похоже на процесс введения нового члена команды в курс дела. Память помогает AI-ассистентам, позволяя им работать более эффективно и без повторений. Хотя нет единого решения для этой задачи, существует спектр подходов, начиная от простых правил проекта до более сложных систем.

Первый уровень — это файлы правил проекта, которые AI может автоматически считывать. Это простая и надежная методика, позволяющая избежать повторений. На втором уровне находятся глобальные правила, которые помогают установить универсальные конвенции, применимые ко всем вашим проектам. Эти правила должны отражать ваш стиль общения и мышления, а не технические детали.