EZIS for LLM RAG솔루션은 RAG의 정확도 평가 작업을 통해 품질관리와 모니터링 기능을 강화하여 LLM RAG의 신뢰성과 성능을 극대화합니다.
LLM RAG 애플리케이션 평가 자동화는 답변과 질문 간의 연관성(답변 연관도), 생성 답변과 정답 간의 의미적 동일성(답변 정확도), 생성 답변과 정답 간의 유사도(답변 유사도), 추출된 문맥의 정답 연관성(문맥 연관성), 정답 내의 정보 포함 정도(문맥 포괄성), 생성 답변과 추출된 문맥 간의 연관성(문맥 활용도), 그리고 생성 답변이 추출된 문맥을 기반으로 작성된 정도(문맥 기반성)를 포괄적으로 평가합니다.
LLM RAG 평가 자동화 절차는 테스트 질의를 자동 생성하고 입력 문서를 수동적으로 결정하며, 생성된 질의를 기반으로 검색 성능을 테스트합니다. 또한, 전처리 방법에 따른 임베딩 검색 정확도(벡터 유사도/거리)를 비교하고, 인덱싱 방법에 따른 검색 정확도(벡터 유사도/거리)를 비교하며, 최종 결정된 벡터 유사도/거리는 운영 시 분석 기초 데이터로 사용됩니다. 테스트는 데이터 양에 따라 일부(5~10%)만 활용됩니다.
테스트 질의 자동 생성
입력 문서 수동적 결정
생성된 질의 기반 검색 성능 테스트
LLM RAG 평가 자동화 절차는 테스트 질의를 자동 생성하고 입력 문서를 수동적으로 결정하며, 생성된 질의를 기반으로 검색 성능을 테스트합니다. 또한, 전처리 방법에 따른 임베딩 검색 정확도(벡터 유사도/거리)를 비교하고, 인덱싱 방법에 따른 검색 정확도(벡터 유사도/거리)를 비교하며, 최종 결정된 벡터 유사도/거리는 운영 시 분석 기초 데이터로 사용됩니다. 테스트는 데이터 양에 따라 일부(5~10%)만 활용됩니다.
EZIS for LLM RAG은 다양한 DB 성능 지표를 확인할 수 있으며, 벡터 유사도 평균을 시각화하고 알람을 통해 답변 정확도와 검색 오류 가능성을 분석합니다. 또한, 문서 전처리 및 내용 추가를 통해 정확도 향상을 지원하며, 질의와 검색된 문서 ID를 로깅하여 효율적인 검색 관리를 제공합니다.