Tsinghua открыла AKV — сервер для управления KV-кэшем агентов на базе LLM
Исследователи из Университета Цинхуа и CUHK выпустили в open source систему AKV для управления KV-кэшем в агентных сценариях. Вместо сжатия истории агент выборочно удаляет и переиспользует записи кэша, что снижает среднюю стоимость на 27,7% и повышает точность на 1,7 балла.
https://aivolna.com/lenta/269
Исследователи из Университета Цинхуа и CUHK выпустили в open source систему AKV для управления KV-кэшем в агентных сценариях. Вместо сжатия истории агент выборочно удаляет и переиспользует записи кэша, что снижает среднюю стоимость на 27,7% и повышает точность на 1,7 балла.
https://aivolna.com/lenta/269