https://man.hwangsehyun.com/tags/opentelemetry/ Recent content in Opentelemetry on man.hwangsehyun.com https://man.hwangsehyun.com/images/papermod-cover.png https://man.hwangsehyun.com/images/papermod-cover.png Hugo -- 0.145.0 kr Thu, 19 Sep 2024 00:00:00 +0900 https://man.hwangsehyun.com/posts/llm-ops-in-aws/ Thu, 19 Sep 2024 00:00:00 +0900 https://man.hwangsehyun.com/posts/llm-ops-in-aws/ <h2 id="background">Background</h2> <p> <img loading="lazy" src="https://upload.wikimedia.org/wikipedia/commons/8/82/Las_Vegas_slot_machines.jpg" alt="Row of digital-based slot machines inside a casino in Las Vegas" /> </p> <blockquote> <p>Row of digital-based slot machines inside a casino in Las Vegas: <a href="https://en.wikipedia.org/wiki/Slot_machine#/media/File:Las_Vegas_slot_machines.jpg" >Source</a > </p></blockquote> <p><a href="https://arxiv.org/abs/2409.05746" >LLMs Will Always Hallucinate, and We Need to Live With This</a > . 프롬프트에 수정이 필요할 때, 비관적인 관점에서는 LLM은 슬롯 머신과 같아서 <a href="https://en.wikipedia.org/wiki/Balloon_effect" >풍선 효과</a > 를 피할 수 없다. 운이 좋으면 안 되던 것이 될 수도 있겠지만, 되던 것이 안 되던 경우도 비일비재했으며, 자연어를 출력하는 LLM의 특성 상 결국 테스트셋 전체를 LLM에 넣어보고 출력을 사람이 검토하는 작업을 정기적으로 수행했다. Batch job을 수행하고 비개발자와 결과를 검토하는 과정에서 개발자들은 엑셀을 읽고 쓰는 일회용 파이썬 코드를 (무수히 많이) 혼자서만 쓰고 폐기했으며, 이 코드는 서비스에서 돌아가는 코드와 입출력이 달라 테스트 결과도 신뢰할 수 없었다. Batch testing은 통과했으나 실제 서비스에서는 체감 성능이 다른 고통스런 경험을 수도 없이 반복하며, 이 비효율을 발본색원할 수 있는 시스템을 AWS 서비스들과 <a href="https://opentelemetry.io/" ><em>OpenTelemetry</em></a > 를 이용해 구축하고 있다.</p>