Автономное открытие с помощью AutoDS
Институт искусственного интеллекта Аллена (AI2) представил AutoDS (Автономное Открытие через Сюрприз) — прототип системы для открытого автономного научного открытия. В отличие от традиционных AI-ассистентов, которые опираются на заранее определенные цели, AutoDS самостоятельно генерирует, тестирует и уточняет гипотезы, измеряя и стремясь к «байесовскому сюрпризу» — показателю подлинного открытия, выходящему за рамки заранее заданных человеческих запросов.
От целенаправленного поиска к открытым исследованиям
Традиционные подходы к автономному научному открытию часто сосредоточены на ответах на конкретные исследовательские вопросы. AutoDS выходит за рамки этого подхода, работая в открытом режиме. Он самостоятельно определяет, какие вопросы задавать, какие гипотезы развивать и как строить на основе предыдущих результатов, не имея заранее заданных целей.
Измерение байесовского сюрприза с помощью больших языковых моделей
В основе AutoDS лежит новая методология для оценки байесовского сюрприза. Для каждой сгенерированной гипотезы современные большие языковые модели (LLM), такие как GPT-4, выступают в роли вероятностных наблюдателей, выражая свои «убеждения» о гипотезе через вероятностные распределения до и после эмпирического тестирования. Эти распределения создаются с использованием бета-распределений.
Для выявления значимых открытий AutoDS вычисляет дивергенцию Кульбака-Лейблера (KL) между постериорным (после получения доказательства) и апостериорным (до получения доказательства) бета-распределениями. Только изменения убеждений, превышающие порог эмпирических изменений, рассматриваются как значительные, что позволяет системе сосредоточиться на действительно значимых открытиях.
Эффективный поиск гипотез с помощью MCTS
AutoDS использует метод Монте-Карло для поиска деревьев (MCTS) с прогрессивным расширением для эффективного исследования обширного пространства гипотез. Каждый узел в дереве поиска представляет гипотезу, а ветви соответствуют новым гипотезам на основе предыдущих находок. Такой подход обеспечивает баланс между исследованием новых направлений и поиском перспективных идей.
Модульная архитектура многоагентных LLM
AutoDS координирует работу серии специализированных агентов LLM, каждый из которых отвечает за различные аспекты научного процесса:
- Генерация гипотез
- Проектирование экспериментов
- Программирование и выполнение
- Анализ результатов и доработка
Чтобы гарантировать, что конечный результат состоит из действительно уникальных открытий, семантически схожие гипотезы удаляются с помощью иерархической кластеризации, объединяющей текстовые эмбеддинги LLM и парные проверки семантической эквивалентности.
Согласование с человеческим восприятием и интерпретируемость
Согласование с человеческой научной интуицией имеет решающее значение. В структурованной оценке, в которой участвовали эксперты с уровнями MS/PhD в STEM, 67% гипотез, признанных сюрпризными AutoDS, также были признаны таковыми человеческими экспертами. Более того, метрика байесовского сюрприза ближе к человеческому суждению по сравнению с другими метриками, такими как предсказанная «интересность» или «полезность».
Практические соображения и будущее
С более чем 98% оцененных открытий, признанных корректно реализованными человеческими рецензентами, AutoDS демонстрирует как высокую реализацию, так и экспериментальную валидность. Хотя текущая система зависит от API-управляемых LLM, сталкиваясь с ограничениями задержки, была исследована реализация «программного поиска» для более быстрых результатов, хотя и с меньшей концептуальной глубиной.
Хотя AutoDS остается исследовательским прототипом с планами на открытие исходного кода, его архитектура и эмпирический успех предлагают многообещающее направление для масштабируемого, основанного на ИИ научного исследования.
Заключение
AutoDS знаменует собой значительный шаг вперед в автономном научном рассуждении. Переходя от целенаправленного исследования к исследованию на основе любопытства и основывая свой поиск на байесовском сюрпризе, он открывает пути к будущим системам ИИ, способным улучшать, ускорять или даже независимо вести научные открытия.
