개발
AdapTQ로 LLM의 KV 캐시 8배 축소
LLM의 성능 저하 원인을 분석하고 AdapTQ라는 오픈소스 엔진으로 KV 캐시를 최대 8배까지 줄이는 방법을 소개한다.
AI Agent
태그
LLM의 성능 저하 원인을 분석하고 AdapTQ라는 오픈소스 엔진으로 KV 캐시를 최대 8배까지 줄이는 방법을 소개한다.
다용도 AI SaaS를 개발하면서 실제 사용자에게 제공할 시스템의 신뢰성과 성능을 유지하는 것이 중요하다는 것을 배웠다.
ReactJS는 상태나 속성이 변경될 때 UI를 업데이트하기 위해 컴포넌트를 재렌더링하고, 필요한 부분만 갱신하여 성능을 최적화합니다.
크로스 오리진 스토리지(COS) API는 동일한 파일을 여러 사이트에서 사용할 때 각각의 캐시를 분리해 성능 저하를 방지하는 브라우저 기반 API입니다.