Локально или в облаке: решение, которое живёт долго
Спор «локально или в облаке» обычно ведут бенчмарками. Правильнее вести его ограничениями: насколько приватны данные, насколько предсказуема нагрузка и какую задержку вы готовы терпеть.
Тест из четырёх вопросов
- Данные могут покинуть контур? Если нет — локально, независимо от качества. Если да — идём дальше.
- Задача стабильна? Фиксированный формат и тысяча примеров в день — хороший кандидат для небольшой локальной модели. Задача, меняющаяся каждую неделю, выигрывает от передовой модели, которую не надо дообучать.
- Какой бюджет задержки? Меньше 200 мс — в пользу локального. Секунды — нормально и удалённо.
- Какой объём? При малом объёме облако почти всегда дешевле; при большом и стабильном железо окупается.
Точка окупаемости, которая удивляет
Карта на 24 ГБ и небольшой сервер стоят примерно как несколько месяцев умеренного использования API. Но карта выигрывает только если она занята. При загрузке 10% вы платите за простой кремний; при 70% то же железо стоит радикально дешевле любого API за токен.
Поэтому «локально дешевле» и «облако дешевле» верны одновременно — всё зависит от числа, которое большинство команд не измеряет: реальной загрузки.
Оставьте выбор обратимым
Дорогая ошибка — не выбрать не то, а построить так, что нельзя перенести. Спрячьте модель за маленьким интерфейсом с одним методом, держите промпты и данные оценки снаружи — и маршрутизация станет правкой конфигурации.
Тогда можно начать на API, измерить и перевести простые 80% трафика на локальное железо, когда объём это оправдает. Или наоборот, если локальная модель перестанет успевать.
Большинство команд приходит к гибриду: небольшая локальная модель для массового и приватного, передовая — за роутером для сложных случаев. Это не компромисс, а самая дешёвая конфигурация, сохраняющая качество.