부서원이나 조직원들이 여러 모델을 구독하지 않고도 체험할 수 있도록, LLM 라우터 기반의 On-prem LLM 포털을 1년 전부터 운영해 오고 있습니다. 이를 바탕으로 구축 가이드[1]를 작성하여 200여 개 기관에 메일링 리스트로 배포[2]하기도 했습니다.
공공기관 입장에서 달러 결제(해외 결제)는 연말 부가세 처리가 별도로 필요해 운영 부담이 큽니다. 초기에는 MSP/CSP의 서버리스 LLM API를 활용했지만, 원화 결제가 가능한 국내 LLM 라우터 서비스를 오랫동안 기다려 왔습니다.
현재 시점에서는 비즈라우터와 엘리스 LLM API가 서버리스 방식으로 원화 결제를 지원하면서 다양한 모델을 사용할 수 있는 사실상 유일한 선택지로 보입니다. 이를 반영하여 코드를 한 차례 업데이트했습니다[3].
한편, 비즈라우터(에이아이쓰리)의 경우 LLM API 엔드포인트가 https://api.bizrouter.ai/v1/chat/completions 로 단일화되어 있습니다[4].
반면 엘리스의 경우, Microsoft Azure와 유사하게 배포 엔드포인트를 별도로 생성하여 사용하는 방식입니다. 엘리스의 모델 라이브러리 https://my-company.elice.io/cloud/mlapi/model-libraries/ 에서 확인되는 엔드포인트 형식은 https://mlapi.run/11111111-2222-3333-4444-555555555555 와 같이 UUID 기반입니다. GPU에 모델을 직접 올려 서빙하는 경우라면 이 방식이 구현상 자연스럽습니다.
Azure 의 경우 하나의 배포 엔드포인트에 여러 모델을 서빙할 수 있고, 한 엔드포인트에서 파라미터로 모델을 바꾸어가며 사용할 수 있습니다. 엘리스는 모델별로 엔드포인트가 아예 다릅니다. 매번 들어가서 해시값을 확인하고 사용해야 해서 많이 불편합니다.
서버리스 LLM API를 사용하는 경우, 배포 엔드포인트라는 개념 자체가 불필요합니다. 비즈라우터처럼 단일 엔드포인트에 model 파라미터만 바꾸는 방식은 직관적이고, 다른 사람에게 소개하거나 시스템에 연동하기도 훨씬 수월합니다.
엘리스 ML API에서도 서버리스 공용 모델에 한해 단일 엔드포인트를 제공해 주시면 감사하겠습니다.
[1] 머릿말 - On-premise LLMs 포탈 구축 가이드
[2] news - [kreonet-news] [안내] KREONET Newsletter 2025년 2호 - arc
[3] GitHub - KREONET/owebui-chat-hub: Open WebUI + LiteLLM 기반 국내외 멀티 AI 모델 통합 채팅 포털 · GitHub
[4] BizRouter - 기업용 LLM 라우터