Unbabel представляет TOWER+: Единая платформа для высококачественного перевода и выполнения инструкций в многоязычных LLM
В современном мире, где бизнесы стремятся к глобализации, необходимость в качественном переводе становится как никогда актуальной. Unbabel, известный игрок на рынке автоматизации перевода, представляет TOWER+ — инновационную платформу, которая обещает улучшить качество перевода и выполнение инструкций в многоязычных языковых моделях (LLM). Давайте разберемся, как TOWER+ может изменить подход к переводу и какие преимущества он предлагает.
Текущие проблемы в машинном переводе
Несмотря на значительные достижения в области машинного перевода, многие компании сталкиваются с рядом проблем. Большие языковые модели, хотя и способны обрабатывать множество языков, часто не могут обеспечить необходимую точность и контекстуальную целостность. Это приводит к тому, что переводы не всегда соответствуют профессиональным стандартам. Как же решить эту задачу?
Подходы к улучшению языковых моделей
Существуют различные стратегии, направленные на повышение точности перевода. Например, дообучение предобученных моделей на параллельных корпусах позволяет улучшить адекватность и плавность переводов. Однако, как показывает практика, это не всегда дает желаемый результат. TOWER+ предлагает новый подход, который сочетает в себе специализированные модели перевода и универсальные языковые способности.
Что такое TOWER+?
TOWER+ — это набор моделей, разработанных Unbabel в сотрудничестве с академическими партнерами. Он включает в себя различные варианты с количеством параметров от 2 до 72 миллиардов. Главная цель TOWER+ — достичь оптимального баланса между высокой производительностью перевода и универсальными языковыми возможностями.
Процесс обучения TOWER+
Процесс обучения TOWER+ состоит из нескольких этапов:
- Продолжение предобучения: 66% данных — монолингвальные, 33% — параллельные, 1% — инструкции.
- Супервизированное дообучение: включает задачи перевода и различные сценарии выполнения инструкций.
- Оптимизация предпочтений: с использованием взвешенной оптимизации предпочтений и обновлений политики.
- Обучение с подкреплением: с проверяемыми наградами для обеспечения соответствия установленным стандартам.
Такой комплексный подход позволяет достичь баланса между специализированной точностью перевода и универсальной языковой компетенцией.
Результаты тестирования
Модель TOWER+ с 9 миллиардами параметров показала впечатляющие результаты: 33.47% побед на многоязычных чат-промптах и 84.38% по шкале XCOMET-XXL на 24 языковых парах. Флагманская модель с 72 миллиардами параметров достигла 54.52% на M-ArenaHard и 89.02% на IFEval, что подтверждает ее высокую эффективность.
Ключевые технические особенности TOWER+
- Модели TOWER+ варьируются от 2 до 72 миллиардов параметров, исследуя границы между специализированным переводом и универсальными возможностями.
- Процесс постобучения включает четыре этапа: продолжение предобучения, супервизированное дообучение, оптимизацию предпочтений и обучение с подкреплением.
- Продолжение предобучения охватывает 27 языков и диалектов, а также 47 языковых пар, используя более 32 миллиардов токенов.
Заключение
TOWER+ демонстрирует, что высокое качество перевода и универсальность общения могут сосуществовать в рамках одной модели. Объединяя масштабное предобучение с специализированными этапами выравнивания, TOWER+ достигает оптимального баланса между точностью перевода, выполнением инструкций и возможностями общения. Это открывает новые горизонты для разработки LLM, адаптированных под конкретные домены.
Не упустите возможность ознакомиться с полным текстом исследования и моделями. Все заслуги за эту работу принадлежат исследователям проекта. Подписывайтесь на нас в Twitter и присоединяйтесь к нашему сообществу в ML SubReddit с более чем 100 тысячами участников!
