로컬 LLM의 활용
개요 진료, 법률 상담, 심리 상담, 회의… "말"로 이루어지는 일은 기록, 요약 이 늘 숙제입니다. 늘 고객과의 대화를 상담 중 직접 타이핑하는 문제입니다. 대화가 끝난뒤 대화녹음을 들으며 타이핑 하는것도 쉽지 않습니다.😩 녹음을 글로 바꿔주는 서비스(STT, Speeach To Text), 그걸 요약해 주는 AI는 이미 흔합니다. 그런데 한 가지 걸리는 점이 있죠. 😕 회의, 상담시 녹음된 파일을 글자로 변환하기 위해 내 PC에서 외부로 보내야하고, 변환된 글자를 요약하기 위해 또 외부 LLM으로 보내야 합니다. 과연 회의내용, 환자, 의뢰인의 이야기를 외부 서버로 보내도 되는 걸까? 그래서 모든 처리를 내 PC 안에서 끝내는 앱을 만들어 봤습니다. 이름은 Azimuth Scribe 입니다. 이번 글에서는 앱을 소개하면서, 이 앱의 핵심인 로컬 LLM을 클라우드 LLM과 비교해 보고, 개발 중에 만난 삽질기까지 함께 공유합니다. (일부 그림과 표는 Claude AI를 활용해 제작했습니다. 😁) Azimuth Scribe 가 하는 일 흐름은 단순합니다. 녹음 → 글 → 요약, 딱 4단계입니다. [Azimuth Scribe 사용 4단계] 프로그램 화면은 아래처럼 위에서 아래로, 왼쪽에서 오른쪽으로 따라가면 되도록 구성했습니다. [프로그램 화면 구성 (재현 도식)] 예를 들어 진료 상황을 녹음해 "진료 기록" 서식으로 요약하면 아래와 같은 결과가 나옵니다. (가상의 대화입니다.) ...
