TOKEN SAVER LiteLLM-прокси · экономия токенов
Админ-панель

Сколько стоит один и тот же запрос

Текст уходит в модель через TOKEN SAVER с выбранными middleware. Включите сравнение — и тот же текст одновременно уйдёт напрямую провайдеру, как baseline. Ниже — что реально ушло в модель и во сколько это обошлось.

Запрос

Уходит через сервис; при включённом сравнении — тот же текст и напрямую
не задан

Middleware

Каждый слой экономит независимо — комбинации складываются
cURL-запрос к сервису (то, что выполнит любой клиент)

        
      
Напрямую к провайдеру baseline
Через TOKEN SAVER middleware