Monitoring on man.hwangsehyun.com

Basic LLM Ops in AWS

Thu, 19 Sep 2024 00:00:00 +0900

Background

Row of digital-based slot machines inside a casino in Las Vegas: Source

LLMs Will Always Hallucinate, and We Need to Live With This . 프롬프트에 수정이 필요할 때, 비관적인 관점에서는 LLM은 슬롯 머신과 같아서 풍선 효과 를 피할 수 없다. 운이 좋으면 안 되던 것이 될 수도 있겠지만, 되던 것이 안 되던 경우도 비일비재했으며, 자연어를 출력하는 LLM의 특성 상 결국 테스트셋 전체를 LLM에 넣어보고 출력을 사람이 검토하는 작업을 정기적으로 수행했다. Batch job을 수행하고 비개발자와 결과를 검토하는 과정에서 개발자들은 엑셀을 읽고 쓰는 일회용 파이썬 코드를 (무수히 많이) 혼자서만 쓰고 폐기했으며, 이 코드는 서비스에서 돌아가는 코드와 입출력이 달라 테스트 결과도 신뢰할 수 없었다. Batch testing은 통과했으나 실제 서비스에서는 체감 성능이 다른 고통스런 경험을 수도 없이 반복하며, 이 비효율을 발본색원할 수 있는 시스템을 AWS 서비스들과 OpenTelemetry 를 이용해 구축하고 있다.

SSH Tunnel 기반 배포 & 운영 툴

Tue, 01 Mar 2022 00:00:00 +0900

Overview

인터넷은 가능하나 Inbound가 제한된 환경에 놓인 다수의 임베디드 또는 서버 형태의 Linux 머신들을 관리하기 위한 위한 OpenSSH server container 와 Node.js CLI
회사 특성 상 일부분만 자동화가 가능할 것이므로, 일반적인 SSH 접속과 자동화 모두 고려해 클라우드를 통한 SSH 연결을 기반으로 한 자동화를 기획했습니다.
다양한 컴퓨터 비전 솔루션 의 배포에 사용되었습니다.

Technology

접속 대상 머신에 autossh container 를 docker와 podman으로 이중화된 형태로 설치해 가용성을 높일 수 있음
명령을 수행할 장치와 수행할 명령은 json 파일로 정의되고, Node.js CLI는 이 파일들의 경로를 지정해서 실행
Redis에 stdout, stderr를 임시로 저장하고 SQLite에 영구 저장해 운영 상황을 기록

Monitoring Experiences

Mon, 01 Jan 0001 00:00:00 +0000

CloudWatch

Log & Metrics Collection

CloudWatch agent container 로 Systemd log와 Custom log를 CloudWatch로 수집합니다.
Request id, Execution id 등 AWS에서 부여한 UUID들을 기준으로 DB를 설계하고 로그에 포함시켜 Tracing을 용이하게 합니다.
Subscription filter 기능으로 서비스에서 발생한 중요 로그를 전파합니다.
EC2, RDS 등의 AWS 서비스에서 기본으로 제공하는 CloudWatch metrics 외에도 Custom metrics를 정의해 관심 대상으로 설정합니다.

Monitoring

SNS topic에 email subscription 을 추가해 서비스에서 직접 Topic에 메시지를 발송합니다.
Metric에 Anomaly condition을 정의하고 CloudWatch alarm 을 설정합니다.
AWS Chatbot Slack App 을 도입해 사내 메신저로 알림을 수신했습니다.
- CloudWatch alarm state 변경 시
- EC2 Instance state change event
  
  EC2 state change event -> EventBridge -> SNS -> AWS ChatBot