MTS AI сэкономила более 1 млрд руб. инвестиций
MTS AI полностью перенесла в облако процесс обучения и инференса моделей искусственного интеллекта, а также больших языковых моделей. Это позволило компании ускорить запуск продуктов и сэкономить более 1 млрд руб. инвестиций в инфраструктуру.
В основе всех сервисов компании лежат ML-модели, которые обучаются на тысячах терабайтов данных. Для ускорения процесса обучения моделей компания использует GPU. Самостоятельная закупка оборудования требует серьезных инвестиций в инфраструктуру, поэтому MTS AI приняла решение перенести процесс обучения в облако. На виртуальной инфраструктуре MWS разворачивается ML-платформа, в которой обучаются все ключевые модели компании. После завершения обучения модели продолжают инференс в облаке, что позволяет не только вывести сервис на рынок, но и поддерживать его работу.
Для решения более сложных задач MTS AI предлагает клиентам сервисы, в основе которых развернуты большие языковые модели. Среди них LLM для работы с текстами, а также поиска и анализа информации - Cotype и её облегчённая версия - Cotype Nano. А также on-premise-сервис генерации и автодополнения кода для оптимизации процесса разработки - Kodify. Обучение LLM более трудоемкая задача, чем работа с обычными ML-моделями. На обучение и дообучение LLM на потребительских GPU может уйти значительное время. Чтобы ускорить этот процесс, MTS AI использует мощности суперкомпьютера MWS - МТС GROM. Он позволяет компании дообучать LLM в десятки раз быстрее.
Работа MTS AI с моделями в облаке делится на три этапа. На первом - происходит деплой и предобучение моделей. Это позволяет подготовить модели к интенсивному обучению и сократить затраты на него. Для этого в основном используется виртуальная инфраструктура с GPU ускорителями. На втором этапе модели проходят глубокое обучение. Оно происходит на суперкомпьютере, некоторые нейросети компания дообучаем на VI c GPU. После глубокого обучения модели готовы к работе в продуктах и сервисах компании. На третьем этапе модели переходят на инференс, который также происходит в облаке MWS.
"Для работы с моделями искусственного интеллекта требуется большое количество различного оборудования. Чем больше моделей вы внедряете, тем оно разнообразнее. Для более простых моделей нужны более слабые карты, для более мощных - более производительные, для обучения LLM - суперкомпьютер, для инференса может применяться еще один вид GPU. При работе с моделями on-prem все эти мощности пришлось бы закупать самостоятельно либо работать со всеми моделями на одном виде GPU, что привело бы к значительному увеличению инвестиционных затрат или нерациональному использованию инфраструктуры. Переезд в облако позволяет нам использовать ровно тот объем вычислительных ресурсов, который необходим и не тратить огромные суммы на закупку серверов. Лишь для того, чтобы закупить оборудование для обучения LLM, нам пришлось бы проинвестировать в инфраструктуру более 1 млрд руб. А благодаря использованию мощностей MWS мы можем перераспределить инвестиции на новые проекты. Кроме того, облачная модель потребления позволяет нам ускорять запуск новых продуктов, так как отпадает необходимость ждать поставки оборудования", - отметил директор по LLM-продуктам MTS AI Сергей Пономаренко.
