오늘의 AIAI 기능도 API 엔드포인트를 깨뜨리면 안 된다
LLM을 사용한 AI 기능은 API의 결정 로직과 분리하여 설계해야 하며, LLM이 다운될 경우에도 서비스가 중단되지 않도록 해야 한다.
01
사례 핵심
LLM을 사용한 AI 기능은 API의 결정 로직과 분리하여 설계해야 하며, LLM이 다운될 경우에도 서비스가 중단되지 않도록 해야 한다.
02
적용 포인트
AI 기반의 구매 결정 API를 개발할 때
03
내 업무에 적용해보기
- API 응답을 두 층으로 나눔: 하단은 점수와 결론을 계산하는 순수 Java 로직, 상단은 AI가 설명을 생성하는 부분
- LLM에 대한 요청 전에 결정이 이미 존재해야 하며, 모델은 단지 결과를 설명할 뿐 판단하지 않음
- 예시: '구매 항목, 가격, 소득 정보'를 입력하고, 결론과 점수를 기반으로 AI에게 설명을 생성하도록 요청