Posts on man.hwangsehyun.com

Basic LLM Ops in AWS

Thu, 19 Sep 2024 00:00:00 +0900

Background

Row of digital-based slot machines inside a casino in Las Vegas: Source

LLMs Will Always Hallucinate, and We Need to Live With This . 프롬프트에 수정이 필요할 때, 비관적인 관점에서는 LLM은 슬롯 머신과 같아서 풍선 효과 를 피할 수 없다. 운이 좋으면 안 되던 것이 될 수도 있겠지만, 되던 것이 안 되던 경우도 비일비재했으며, 자연어를 출력하는 LLM의 특성 상 결국 테스트셋 전체를 LLM에 넣어보고 출력을 사람이 검토하는 작업을 정기적으로 수행했다. Batch job을 수행하고 비개발자와 결과를 검토하는 과정에서 개발자들은 엑셀을 읽고 쓰는 일회용 파이썬 코드를 (무수히 많이) 혼자서만 쓰고 폐기했으며, 이 코드는 서비스에서 돌아가는 코드와 입출력이 달라 테스트 결과도 신뢰할 수 없었다. Batch testing은 통과했으나 실제 서비스에서는 체감 성능이 다른 고통스런 경험을 수도 없이 반복하며, 이 비효율을 발본색원할 수 있는 시스템을 AWS 서비스들과 OpenTelemetry 를 이용해 구축하고 있다.

About this site: man.hwangsehyun.com

Thu, 14 Mar 2024 00:00:00 +0900

6년 간의 개발 경험과 개발자 황세현에 대해 공개적으로 소개할 수 있었으면 해서 품이 들어도 직접 사이트를 만들기로 결정했습니다.
사이트 구현에서는 기능에 대한 욕심 부리지 않고 HTML 표준에 충실하는 데 집중하고 있습니다.
꾸준히 새로운 컨텐츠를 올리고 유지보수 하기에는 통상 Jam stack을 사용하듯 git에 글을 직접 커밋하기는 너무 번거로울 것이라고 판단하고, DB와 연동되는 온라인 마크다운 편집 서비스 StackEdit 에 글을 쓰고 사이트 형태로 빌드하기로 아키텍처를 기획했습니다.
~~이 사이트에는 비밀스러운 언어 설정이 있습니다:~~ 문화어

stateDiagram-v2
  direction LR
  
  [*] --> StackEdit
  StackEdit --> CouchDB
  CouchDB --> Markdowns : Node.js
  Markdowns --> HTML : Hugo build
  HTML --> [*]

Written with StackEdit .

Welcome to StackEdit!

Wed, 14 Feb 2024 00:00:00 +0900

Welcome to StackEdit!

Hi! I’m your first Markdown file in StackEdit. If you want to learn about StackEdit, you can read me. If you want to play with Markdown, you can edit me. Once you have finished with me, you can create new files by opening the file explorer on the left corner of the navigation bar.

Files

StackEdit stores your files in your browser, which means all your files are automatically saved locally and are accessible offline!

SSH Tunnel 기반 배포 & 운영 툴

Tue, 01 Mar 2022 00:00:00 +0900

Overview

인터넷은 가능하나 Inbound가 제한된 환경에 놓인 다수의 임베디드 또는 서버 형태의 Linux 머신들을 관리하기 위한 위한 OpenSSH server container 와 Node.js CLI
회사 특성 상 일부분만 자동화가 가능할 것이므로, 일반적인 SSH 접속과 자동화 모두 고려해 클라우드를 통한 SSH 연결을 기반으로 한 자동화를 기획했습니다.
다양한 컴퓨터 비전 솔루션 의 배포에 사용되었습니다.

Technology

접속 대상 머신에 autossh container 를 docker와 podman으로 이중화된 형태로 설치해 가용성을 높일 수 있음
명령을 수행할 장치와 수행할 명령은 json 파일로 정의되고, Node.js CLI는 이 파일들의 경로를 지정해서 실행
Redis에 stdout, stderr를 임시로 저장하고 SQLite에 영구 저장해 운영 상황을 기록