shm_size #1

New Issue

lectom · 2025-01-17T13:36:54+09:00

lectom commented

2025-01-17 13:36:54 +09:00

@kyy docker-compose.yml 에서

shm_size: “1000gb” 로 한게 이유가 있나요? 일반적인 목적이라기에는 좀 과하게 크게 설정된 것 같은데

@kyy docker-compose.yml 에서 shm_size: "1000gb" 로 한게 이유가 있나요? 일반적인 목적이라기에는 좀 과하게 크게 설정된 것 같은데

kyy was assigned by lectom

2025-01-17 13:36:54 +09:00

kyy commented

2025-02-03 09:02:33 +09:00

shm_size: “1000gb“로 설정한 이유는 병렬 연산 과정이 원할하게 이루어지도록 메모리를 최대로 확보하려는 목적 때문이었습니다. 다만, 말씀하신 것과 같이 1000GB는 상당히 큰 값이라 생각이 들어 실제 사용량을 고려하여 조정하도록 하겠습니다.

shm_size: "1000gb"로 설정한 이유는 병렬 연산 과정이 원할하게 이루어지도록 메모리를 최대로 확보하려는 목적 때문이었습니다. 다만, 말씀하신 것과 같이 1000GB는 상당히 큰 값이라 생각이 들어 실제 사용량을 고려하여 조정하도록 하겠습니다.

lectom commented

2025-02-13 09:08:02 +09:00

deployment 키워드에 reserve랑 limit 키워드를 확인하고 대신 사용할 수 있을지 체크해 보세요~

kyy commented

2025-02-13 14:22:32 +09:00

코멘트 감사합니다😊 말씀대로 deployment 키워드에 reserve랑 limit 키워드를 확인해보았으며, docker-compose.yml 파일을 다음과 같이 수정하려고 합니다:

변경 사항:

shm_size: "1000gb"를 deploy.resources.reservations.memory와 deploy.resources.limits.memory로 변경했습니다.
- reservations.memory: 최소 메모리를 16GB 설정
- limits.memory: 최대 메모리 제한을 64GB 설정

추론 중에는 모델이 CPU 메모리에서 로드되며, phi-4(14.7B 모델 기준)는 약 16GB에서 48GB 이상의 메모리를 소모합니다. phi-4 모델 로드 과정의 안정성과 추후 더 큰 모델이 추가될 경우를 고려하여, 메모리는 최대 64GB까지 메모리 제한하려고 합니다.

코멘트 감사합니다😊 말씀대로 deployment 키워드에 reserve랑 limit 키워드를 확인해보았으며, `docker-compose.yml` 파일을 다음과 같이 수정하려고 합니다: ### 변경 사항: 1. `shm_size: "1000gb"`를 `deploy.resources.reservations.memory`와 `deploy.resources.limits.memory`로 변경했습니다. - `reservations.memory`: 최소 메모리를 16GB 설정 - `limits.memory`: 최대 메모리 제한을 64GB 설정 추론 중에는 모델이 CPU 메모리에서 로드되며, phi-4(14.7B 모델 기준)는 약 16GB에서 48GB 이상의 메모리를 소모합니다. phi-4 모델 로드 과정의 안정성과 추후 더 큰 모델이 추가될 경우를 고려하여, 메모리는 최대 64GB까지 메모리 제한하려고 합니다.

kyy closed this issue

2025-04-25 11:12:24 +09:00

Sign in to join this conversation.

2 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: kyy/llm_asycio#1