В ИТМО создали библиотеку для быстрого написания запросов для ИИ
САНКТ-ПЕТЕРБУРГ, 9 декабря. /ТАСС/. Разработчики лаборатории компьютерных технологий (CT-Lab) университета ИТМО создали библиотеку для автоматической оптимизации промптов - инструкций для больших языковых моделей. Она упрощает и ускоряет написание запросов ИИ и дает возможность специалистам без глубоких технических знаний получать конкретные результаты запросов, сообщили ТАСС в пресс-службе вуза.
"Преимущество CoolPrompt над аналогами, такими как Dspy, PromptWizard, Promptomatix, заключается в высокой эффективности подбора промптов и широком функционале. Фреймворк сам может генерировать данные для настройки и оценки запросов. Система позволяет выбирать метод оптимизации в зависимости от приоритета - скорость или качество, поддерживает широкий спектр языковых моделей, а также может генерировать понятный отчет по итогам оптимизации", - привели в пресс-службе слова руководителя RnD команды CT-Lab Никиты Кулина.
Уточняется, что сегодня генеративный ИИ используется в разных областях, но его эффективность упирается в проблему: чтобы языковая модель правильно выполнила задачу, ей необходимо дать четкую инструкцию. Если для создания простого текста достаточно задать несколько промптов, то для более глубоких задач, например, вычислений или систематизации данных в области медицины или юриспруденции, нужен промпт-инженер. Процесс составления сложных запросов требует знаний в области технологий, много времени, проб и ошибок.
По данным пресс-службы, созданный в ИТМО CoolPrompt делает генерацию и тестирование разных промптов автоматически. Библиотека самостоятельно оптимизирует запросы и выводит лучший, чтобы точно адаптировать его под конкретную задачу. Разработка отличается тем, что в ней есть последовательность шагов от начала и до конца, через которые проходит задача. Система работает по принципу естественного отбора, создавая и улучшая следующие запросы, которые сформировались из предыдущих. Кроме того, разработка позволяет за одно действие написать структурированный по смыслу промпт и может создавать учебные данные и дистиллировать промпты, то есть создавать их более эффективные и компактные варианты.
Как отметили в вузе, разницу между запросами от рядового пользователя и CoolPrompt можно объяснить так: базовый промпт "напиши эссе про осень" слишком абстрактный. Библиотека делает из него развернутую инструкцию: определяет роль ИИ ("ты - эксперт в писательском деле"), задает структуру, стиль и тон, конкретизирует, какие аспекты времени года нужно раскрыть. Разработчики контролируют параметр "температура", который отвечает за разнообразие ответов, поэтому результат не выглядит шаблонным. Работа начинается с написания исходного промпта человеком, а далее большая языковая модель LLM автоматически создает синтетический набор. При этом качество последних данных не уступает оригинальным.