Soo Story

대규모 LLM 모델의 추론(Inference) 환경에서 비용을 절약하기 위한 다양한 방법들이 시도되는데, 최근 알게된 AIBrix 에서 추론 비용을 낮추기 위한 방법을 어떻게 접근하는지 살펴보았다.

일년에 몇 차례 멘토링을 진행할 때가 있다. 주로 주니어 개발자 분들과 이야기를 나누게 되는데, 종종 요청받는 내용이 이력서에 대한 피드백이다. 그 중에서 자주 이야기 하게 되는 피드백에 대해서 정리해보았다.

흔히 ‘빨리 가려면 혼자 가고 멀리 가려면 함께 가라’는 격언이 있다. 하지만 새로운 팀을 꾸리면서 빠른 시간 안에 목표를 달성해야 하는 미션 상황에서는 어떨까? 멀리 가는 것보다, 일은 함께 해야하는데 빠르게 결과를 내는 방법에 대해 고민하게 된다.

GPU 워크로드를 위한 K8S 클러스터를 운영할 때에 GPU 파편화 문제로 리소스를 효율적으로 사용할 수 없다. 이를 해결하기 위한 고민들을 정리해보았다.

Java를 주력 언어로 사용하다가, python 을 주력 언어로 사용하면서 프레임워크 레벨에서 쓸만한 IoC 기능이 부족하다고 느꼈는데, 언어레벨에서 왜 IoC가 일반적이지 않은지 찾아보고, 대안을 고민해보았다.