Ландшафт больших языковых моделей в Австралии: техническая оценка
Австралия находится на пороге значительных изменений в области больших языковых моделей (LLM). В то время как международные решения, такие как GPT-4 и Claude 3.5, уже активно используются, местные инициативы, такие как Kangaroo LLM, стремятся заполнить пробелы, связанные с культурными и языковыми особенностями. Давайте рассмотрим текущее состояние, возможности и вызовы, с которыми сталкивается австралийская экосистема LLM.
Текущая ситуация с большими языковыми моделями в Австралии
На данный момент Австралия не имеет флагманской, конкурентоспособной локально разработанной LLM. Исследовательские и коммерческие сектора в основном полагаются на международные модели, которые, хотя и широко применяются, имеют ограничения в отношении австралийского английского и культурного контекста. Это создает потребность в разработке местных решений, которые учитывают уникальные особенности языка и культуры.
Kangaroo LLM: местная инициатива
Kangaroo LLM — это единственный крупный проект по разработке открытой LLM в Австралии. Он поддерживается консорциумом, включающим Katonic AI, RackCorp, NEXTDC, Hitachi Vantara и Hewlett Packard Enterprise. Цель проекта — создать модель, специально адаптированную для австралийского английского. Однако на данный момент проект находится на ранних стадиях сбора данных и соблюдения норм, и никаких опубликованных моделей или весов пока нет.
Проект стремится развивать открытые языковые модели, обученные на австралийском контенте, акцентируя внимание на суверенитете данных и культурной адаптации. В настоящее время было идентифицировано 4,2 миллиона австралийских сайтов для потенциального сбора данных, однако процесс сбора данных задерживается из-за юридических и конфиденциальных вопросов.
Международные модели и их применение
Международные модели, такие как Claude 3.5 Sonnet и GPT-4, уже активно используются в Австралии для различных приложений, включая научные исследования и обслуживание клиентов. Например, команда из Университета Сиднея использовала Claude для анализа акустических данных китов, достигнув точности 89,4% в обнаружении минке, что значительно превышает традиционные методы.
Эти примеры подчеркивают, как глобальные LLM могут быть адаптированы для местных нужд, однако они также указывают на зависимость Австралии от внешних поставщиков моделей.
Вклад в исследования и разработки
Австралийские академические учреждения активно участвуют в исследованиях LLM, сосредоточив внимание на оценке, справедливости и адаптации моделей к конкретным областям. Например, в UNSW был разработан BESSTIE Benchmark, который позволяет оценивать сентимент и сарказм в австралийском, британском и индийском английском. Результаты показывают, что международные LLM часто не справляются с австралийским английским, особенно в распознавании сарказма.
Кроме того, исследователи из Университета Маккуори адаптировали варианты BERT для медицинских вопросов, достигнув высоких результатов на международных конкурсах. Эти достижения подчеркивают потенциал Австралии в адаптации существующих моделей к специализированным областям.
Политика, инвестиции и экосистема
Австралийское правительство разработало политику в области ИИ, требующую прозрачности и ответственности для высокорисковых приложений. В 2024 году были введены новые требования к прозрачности ИИ, что повлияло на выбор и развертывание моделей.
Инвестиции венчурного капитала в австралийские стартапы в области ИИ достигли 1,3 миллиарда австралийских долларов в 2024 году, при этом ИИ составил почти 30% всех сделок. Однако большая часть этих инвестиций направлена на компании прикладного уровня, а не на разработку базовых моделей.
Заключение
Ландшафт LLM в Австралии характеризуется активными исследованиями, растущим принятием технологий в бизнесе и проактивной политикой. Тем не менее, отсутствие суверенной, крупномасштабной базовой модели остается значительным пробелом. Kangaroo LLM представляет собой важный шаг к суверенитету в области ИИ, но сталкивается с серьезными техническими и ресурсными вызовами.
В итоге, Австралия демонстрирует высокий уровень использования и адаптации LLM, но пока не зарекомендовала себя как разработчик этих моделей. Ключевые выводы: Kangaroo LLM — это значимый шаг, но не полное решение; международные модели доминируют, несмотря на местные ограничения; австраийские исследования и политика являются примером в области оценки и применения, хотя не хватает основного инновационного подхода.
