[Code 개선] #19. [Async] 무거운 작업을 백그라운드 스레드로 위임하는 비동기 래퍼 구현 #27

New Issue

Kyeongmin · 2026-03-05T11:56:38+09:00

Kyeongmin commented

2026-03-05 11:56:38 +09:00

1. 목표

LLM 호출 등 시간이 오래 걸리는 작업을 백그라운드 스레드에서 실행하고, 사용자의 HTTP 요청에는 즉시 응답을 반환하는 비동기 처리 구조를 구현합니다.

2. 상세 원인 및 배경

현재 /generate API는 LLM 응답이 올 때까지 수십 초간 브라우저를 잡아둡니다. 이는 동시 접속자가 많을 때 서버 리소스를 고갈시키고 타임아웃 장애를 유발합니다.

Original: Kyeongmin/test#49

### 1. 목표 LLM 호출 등 시간이 오래 걸리는 작업을 백그라운드 스레드에서 실행하고, 사용자의 HTTP 요청에는 즉시 응답을 반환하는 비동기 처리 구조를 구현합니다. ### 2. 상세 원인 및 배경 - 현재 `/generate` API는 LLM 응답이 올 때까지 수십 초간 브라우저를 잡아둡니다. 이는 동시 접속자가 많을 때 서버 리소스를 고갈시키고 타임아웃 장애를 유발합니다. --- *Original: Kyeongmin/test#49*

Kyeongmin added this to the [Code 개선] 필요 시 나중에 진행 milestone 2026-03-05 12:30:00 +09:00

Kyeongmin added this to the [Code 개선] 필요 시 나중에 진행 project 2026-03-05 12:34:16 +09:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: Kyeongmin/_Geulbeot#27