개발AdapTQ로 LLM의 KV 캐시 8배 축소LLM의 성능 저하 원인을 분석하고 AdapTQ라는 오픈소스 엔진으로 KV 캐시를 최대 8배까지 줄이는 방법을 소개한다.AI Agent#LLM#KV Cache#AdapTQ#성능 최적화
오늘의 AI오늘의 AI