HybridInfer

HybridInfer: тепловой запас смартфона стал сигналом для маршрутизации LLM

Препринт HybridInfer описывает роутер, который выбирает между локальной, периферийной и облачной LLM с учётом теплового состояния смартфона, сложности запроса и...