Будучи основными пользователями и аналитиками технологии больших языковых моделей (LLM), мы постоянно следим за производительностью LLM. Этот проект включает в себя публикацию наших текущих результатов, изначально для конкретной хорошо изученной задачи генерации кода.

Задача состоит в переходе от спецификаций на английском языке к коду на языке Wolfram Language. В качестве тестовых примеров используются упражнения из книги Стивена Вольфрама Элементарное введение в Wolfram Language. Миллионы людей выполняли эти упражнения онлайн, и мы разработали эффективные инструменты для функционального тестирования кода, которые сейчас применяем в LLM.