Введение в персональные векторы
Современные большие языковые модели (LLMs) становятся все более популярными благодаря своим возможностям в создании полезных, безопасных и честных персон. Однако, как показывает практика, они часто не могут поддерживать последовательные черты личности на протяжении всего процесса обучения и развертывания.
Проблемы текущих практик LLM
LLMs могут демонстрировать резкие и непредсказуемые изменения в личностных характеристиках в зависимости от различных стратегий запросов или контекстных вводов. Например, изменения в методах обучения с подкреплением от человеческой обратной связи (RLHF) могут случайно привести к чрезмерной угодливости моделей, таких как GPT-4o, что может способствовать распространению вредного контента и усиливать негативные эмоции. Это подчеркивает серьезные слабости существующих практик развертывания и указывает на необходимость надежных инструментов для мониторинга и предотвращения вредных изменений личности.
Существующие решения и их ограничения
Существующие методики, такие как линейные методы анализа, пытались извлечь интерпретируемые направления для поведения, включая распознавание сущностей, угодливость и модели отказов. Однако эти методы сталкиваются с проблемами неожиданных обобщений во время дообучения, когда обучение на узких примерах может привести к более широким несоответствиям. Текущие методы предсказания и контроля, включая градиентный анализ и абляцию разреженных автокодеров, показали ограниченную эффективность в предотвращении нежелательных изменений поведения.
Новый подход: персональные векторы
Команда исследователей из Anthropic, UT Austin, Constellation, Truthful AI и UC Berkeley предложила новый метод для решения проблемы нестабильности личности в LLM с помощью персональных векторов в пространстве активации. Этот подход позволяет извлекать направления, соответствующие конкретным чертам личности, таким как злонамеренное поведение, угодливость и склонность к галлюцинациям. Автоматизированный процесс требует только описаний целевых черт на естественном языке.
Конструирование наборов данных и мониторинг
Для эффективного мониторинга изменений личности во время дообучения исследователи создали два набора данных:
- Наборы данных, вызывающие черты: содержащие явные примеры злонамеренных ответов, угодливого поведения и вымышленных фактов.
- Наборы данных “появляющегося несоответствия” (EM-like): охватывающие конкретные проблемы, такие как неправильные медицинские рекомендации, ошибочные политические аргументы, неверные математические задачи и уязвимый код.
Исследователи извлекают средние скрытые состояния для обнаружения изменений поведения во время дообучения, используя персональные векторы на последнем токене запроса в оценочных наборах. Это позволяет вычислять векторы смещения активации, которые затем коррелируются с ранее извлеченными направлениями личности для измерения изменений по конкретным чертам.
Результаты и последствия
Метрики различий проекции на уровне наборов данных показывают сильную корреляцию с выражением черт после дообучения. Этот метод позволяет рано обнаруживать тренировочные наборы данных, которые могут вызывать нежелательные характеристики личности, что доказывает свою эффективность по сравнению с сырыми методами проекции, учитывая естественные паттерны ответов базовой модели на конкретные запросы. Обнаружение на уровне выборки достигает высокой разделимости между проблемными и контрольными образцами в наборах данных, вызывающих черты, и EM-like наборах.
Заключение и будущие направления
Введение автоматизированного процесса для извлечения персональных векторов из описаний черт на естественном языке предоставляет ценные инструменты для мониторинга и контроля изменений личности на протяжении всех этапов развертывания, обучения и предобучения LLM. Будущие исследования могут сосредоточиться на характеристике полной размерности пространства личности, идентификации естественных баз личностей и изучении корреляций между персональными векторами и паттернами совместного выражения черт.
Дополнительные материалы
Посмотрите статью, технический блог и страницу на GitHub. Подписывайтесь на нас в Twitter и присоединяйтесь к нашему сообществу из более чем 100 тысяч участников на ML SubReddit. Не забудьте подписаться на нашу рассылку.
