Понимание целевой аудитории Mercury
Целевая аудитория Mercury от Inception Labs включает в себя разработчиков программного обеспечения, специалистов по данным и менеджеров технологий, которые ищут эффективные решения для кодирования. Эти профессионалы сталкиваются с проблемами, связанными с ограничениями традиционных авторегрессионных моделей, такими как задержка и неэффективность в реальных условиях кодирования. Их цели заключаются в повышении скорости генерации кода, поддержании высокой точности и улучшении общей продуктивности в рабочих процессах разработки программного обеспечения. Кроме того, они заинтересованы в передовых технологиях и их применении в кодировании.
Текущая ситуация с ИИ-ассистентами для кодирования и их ограничения по скорости
Современные ИИ-ассистенты для кодирования в основном полагаются на авторегрессионные трансформерные архитектуры. Известные модели, такие как GPT-4o Mini и Claude 3.5 Haiku, показывают хорошие результаты в стандартных тестах кодирования. Однако их последовательный характер ограничивает скорость, достигая пропускной способности примерно 50-200 токенов в секунду на современных графических процессорах. Это ограничение становится все более значительным для высоконагруженных интерактивных задач кодирования.
Введение в Mercury: диффузионная языковая модель для высокопроизводительного кодирования
Inception Labs представила Mercury — диффузионную языковую модель (LLM), оптимизированную для приложений кодирования. Первая модель в этой семье, Mercury Coder, включает в себя две варианта: Mercury Coder Mini и Mercury Coder Small. Эти модели объединяют трансформерные архитектуры с параллельной генерацией токенов, что повышает вычислительную эффективность и пропускную способность. Согласно оценкам, проведенным Artificial Analysis, Mercury Coder Mini достигла пропускной способности 1,109 токенов в секунду, что значительно быстрее традиционных авторегрессионных моделей. Mercury Coder Small достигла 737 токенов в секунду, обеспечивая отличное сочетание скорости и точности.
Механизм диффузии за параллельной генерацией токенов Mercury
Модели Mercury используют диффузионные процессы, которые итеративно уточняют выходные данные из начального случайного шума в согласованные данные. В отличие от традиционных моделей, модели Mercury уточняют несколько токенов одновременно, оптимизируя использование графических процессоров. Обучение проводилось на наборах данных, состоящих из триллионов токенов, собранных с веб-сайтов, синтетических данных и собственных репозиториев. Протокол обучения диффузии включает в себя прямой процесс добавления шума к данным и обратный процесс, который постепенно удаляет шум. Mercury использует потерю диффузии, что улучшает параллелизацию и позволяет бесшовно интегрироваться в существующие рабочие процессы кодирования.
Точность бенчмарков: модели Mercury превосходят стандартные задачи кодирования
В тестах на бенчмарках Mercury Coder Small достигла 90.0% точности на тесте HumanEval и 76.2% на MultiPL-E. Mercury Coder Mini показала 88.0% на HumanEval и 74.1% на MultiPL-E. Модели отлично справились с задачами заполнения пробелов в коде, что критично для автозаполнения, при этом Mercury Coder Small достигла средней точности 84.8%, обойдя оптимизированные по скорости модели, такие как Codestral 2501. В человеческих оценках через платформу Copilot Arena Mercury Coder Mini заняла второе место по предпочтению пользователей, продемонстрировав среднюю задержку всего 25 миллисекунд.
Ключевые выводы: высокая пропускная способность, точность и совместимость с рабочими процессами
- Mercury Coder улучшает традиционные авторегрессионные модели, применяя диффузионную трансформерную архитектуру, позволяя одновременно генерировать токены.
- Независимые оценки подтверждают, что Mercury Coder Mini достигает более 1,100 токенов в секунду, что в десять раз быстрее, чем традиционные модели.
- Mercury Coder Small обеспечивает баланс с примерно 737 токенами в секунду, при этом демонстрируя высокую производительность в тестах кодирования.
- Модели Mercury превосходят в интерактивных сценариях кодирования, значительно сокращая задержку.
- Человеческие оценки показывают высокую удовлетворенность пользователей, ставя модели Mercury среди лучших ассистентов для кодирования.
- Подход Mercury обеспечивает совместимость с установленными техниками подсказок, что облегчает интеграцию в существующие рабочие процессы.
Для получения дополнительной информации ознакомьтесь с документом, API и чатом. Все заслуги за это исследование принадлежат участвующим исследователям. Также не забудьте подписаться на нас в Twitter и присоединиться к нашему сообществу из более чем 100 тысяч участников на ML SubReddit, а также подписаться на нашу рассылку.
