Как устранить катастрофическое забывание через расширение MLP (GDIO)

Этот источник описывает инновационную технологию под названием GDIO, разработанную исследователями из Google и Висконсинского университета для борьбы с катастрофическим забыванием в нейросетях. В отличие от метода LoRA, который ограничен низкоранговыми адаптациями, данная методика физически расширяет размерность MLP-слоев трансформера, создавая новые полноранговые пространства для знаний. Копируя веса предобученной модели в новые блоки, система позволяет ИИ осваивать сложные когнитивные задачи, такие как высшая математика, без потери базовых навыков. Авторы предлагают две стратегии обучения, G-freeze и G-train, которые изолируют градиенты и сохраняют фактологические данные в отдельных ортогональных подпространствах. Такой подход обеспечивает идеальный баланс между сохранением старой информации и интеграцией глубоких экспертных знаний в единую архитектуру. В результате модель сохраняет функциональную независимость разных областей знаний, объединяя их только на этапе вывода.