Inference Anywhere - GPU와 WebAssembly로 만든 쿠버네티스 엣지 AI 배포 사례

강상진

Speaker's bio

Akamai Technologies에서 아시아 지역의 엔터프라이즈 기업을 대상으로 클라우드 도입 및 아키텍처 컨설팅을 담당하는 Principal Technical Solutions Architect로 근무하고 있습니다. 이전에는 삼성SDS와 Microsoft에서 소프트웨어 개발, 시스템 보안, IT 거버넌스를 중심으로 엔터프라이즈 기업의 IT 프로젝트를 수행하였습니다. 현재는 클라우드 네이티브 환경을 기반으로 오픈 소스, AI/ML, 쿠버네티스 에코시스템 도입에 대한 전문 컨설팅을 담당하고 있으며, KubeCon, Kubernetes Community Days, OpenInfra 등 다양한 기술 행사에서 실제 프로젝트 경험을 바탕으로 지식을 공유하고 있습니다.

Schedule

Session detail

최근 AI 서비스의 실시간성과 개인정보 보호 요구가 강화됨에 따라, 중앙 클라우드 중심의 모델 실행 방식에서 벗어나 엣지에서의 AI 추론 및 경량 학습 수요가 증가하고 있습니다. 본 세션에서는 GPU 클라우드 인프라와 WebAssembly(WASM) 기술을 결합하여, 엣지 환경에서도 경량화된 AI 학습/추론 서비스를 제공할 수 있는 구조와 구현 사례를 공유합니다. 특히 다음 내용을 중심으로 발표합니다. 1) 엣지에서 AI 추론을 수행해야 하는 이유와 현실적인 과제 2) 클라우드 환경에서 GPU 인스턴스를 활용한 모델 학습 및 WASM 기반 추론 엔진의 경량화 전략 3) WASM을 통해 쿠버네티스, Envoy 등에서 실행 가능한 AI 추론 모듈 설계 4) 중앙 클라우드 ↔ 엣지간의 모델 배포 및 업데이트 파이프라인 구성법 5) 실제 구현 사례: 영상 인식 AI를 엣지 환경에 배포한 사례 중심으로 성능과 효율성, 비용 등을 비교 이 발표는 GPU 리소스를 활용하는 AI 개발자, 엣지 컴퓨팅에 관심 있는 인프라 엔지니어, OpenInfra 기반으로 AI 서비스를 고민 중인 개발자들에게 실질적인 인사이트를 제공하며, 엣지 클라우드와 WASM 환경에서 구현된 AI 애플리케이션 데모를 포함하여 실질적인 아키텍처 사례를 제공합니다.