Российские ученые сравнили методы повышения устойчивости языковых моделей к изменениям форматирования

Ученые Института AIRI провели первое систематическое исследование различных методов повышения устойчивости языковых моделей к изменению форматирования. Специалисты проанализировали, как меняется качество результатов при использовании популярных техник пост-обработки - например, калибрации, которая помогает смягчить склонность модели выдавать определенные ответы чаще других. А также оценили их эффективность как в лабораторных условиях, так и в приближенных к реальности. Важный вывод: ни один из существующих методов не решает проблему полностью, и даже самые передовые системы по-прежнему чувствительны к незначительной смене форматирования.

Языковые модели, подобные GPT-4, часто дают разные ответы на один и тот же вопрос, если чуть-чуть изменить форматирование. Например, пунктуацию, отступы или добавить пробелы. Это известно уже давно, и в последние годы появляются методы, которые должны повышать устойчивость модели и снижать зависимость качества ответа от столь мелких изменений. Однако до последнего времени у специалистов не было единого исследования, в котором бы в одинаковых условиях сравнивались эффективность таких подходов и их поведение в более сложных, приближенных к реальному миру сценариях.

Ученые также предложили модификацию одного из уже известных методов, которая позволила применять его для современных языковых моделей, хотя раньше это было невозможно. В результате работа не только предлагает открытый репозиторий с инструментами для оценки устойчивости к форматированию текста, но и дает исследовательскому сообществу важный фундамент для разработки новых решений.

Методы устойчивости особенно важны для программ, где цена ошибки велика. Например, в медицинских или юридических приложениях: неправильная трактовка из-за банальной опечатки может иметь критические последствия. "Глобальная ценность нашего проекта - в том, что мы впервые создали общую точку отсчета для тех, кто занимается устойчивостью языковых моделей к изменению форматирования. Мы показали ограничения современных решений и облегчили создание более надежных инструментов на благо пользователей ИИ", - отметил Михаил Селезнев, научный сотрудник группы "Прикладное NLP" Института AIRI.