SUM Parts 해설

한 줄로

SUM Parts는 데이터셋이다. 모델이 아니다. 새 신경망을 만든 논문이 아니라, 기존 모델들을 채점할 새 시험지를 만든 논문이다. CVPR 2025, TU Delft.

먼저 알아야 할 용어

메시 (mesh)

삼각형 면을 이어 붙여 만든 3D 표면. 드론 사진측량 결과물이 보통 이 형태다. 각 면에 사진 텍스처가 입혀진다.

포인트 클라우드

면 없이 점만 있는 3D 데이터. 신경망 대부분이 이걸 입력으로 받는다. 메시를 쓰려면 표면에서 점을 뽑아 변환한다.

시맨틱
세그멘테이션

모든 점(또는 픽셀)에 "이건 건물, 이건 나무" 하고 이름을 붙이는 일. 물체 하나를 통째로 찾는 객체 검출과 다르다.

part-level

SUM Parts의 핵심. 건물을 통으로 "건물"이라 하지 않고 외벽·지붕·굴뚝·발코니로 쪼갠다. 이전 SUM(2021)은 객체 단위였다.

IoU

정답과 예측이 겹치는 정도. 겹친 것 ÷ 합친 것. 클래스별로 구하고 평균 낸 것이 mIoU다.

무엇을 제공하나

트랙이 두 개다

라벨을 어디에 붙였느냐로 갈린다. 데이터도 클래스 수도 다르다.

face 트랙 13클래스

점 하나에 뭐가 들어 있나

포인트 클라우드의 속성은 두 층으로 나눠 봐야 한다. 파일에 실제로 저장돼 있는 것과, 거기서 계산해 만들어내는 것이다.

1층 · 센서가 주는 원본 속성

점 하나 = 숫자 몇 개짜리 행. 뭐가 들어 있는지는 어떤 센서로 찍었나에 달렸다.

2층 · 계산해서 만드는 기하 특징

"이 점은 모서리 같다", "평평한 면 위에 있다" 같은 판단이 여기서 나온다. 센서가 알려주는 게 아니라 주변 이웃점을 보고 직접 계산한다.

계산 방법

이웃점 K개를 모아 공분산 행렬을 만들고 고유값 3개를 뽑는다 (λ₁ ≥ λ₂ ≥ λ₃). 고유값 = "주변 점들이 어느 방향으로 얼마나 퍼져 있나".

그 외 자주 쓰는 것

그래서 신경망이 하는 일

위 특징들을 누가 고르느냐가 옛 방식과 딥러닝의 갈림길이다.

출력 64개에는 이름표가 없다. 3번 채널이 planarity고 17번이 curvature다 — 그런 대응은 없다. 학습 중에 "이 조합이 벽 구분에 유용하더라"를 네트워크가 찾아낸 결과일 뿐이다. 뜯어보면 앞쪽 층이 planarity·linearity 비슷한 걸 학습하는 경향은 있지만 보장된 건 아니다.

채점된 모델들 — 계보

포인트 클라우드는 순서도 격자도 없는 점 덩어리다. 이걸 신경망에 어떻게 먹이느냐가 이 계보의 역사다.

수치는 논문 Table 3, face 트랙 12클래스 mIoU.

MLP는 머신러닝이 아니다

신경망 중 가장 단순한 형태다. Linear → 활성화(ReLU) → Linear 를 쌓은 것. 하는 일은 딱 하나 — 숫자 묶음 하나를 받아서 다른 숫자 묶음으로 바꾼다. PointNet 계열에서는 보통 1×1 convolution, 즉 점마다 독립으로 도는 작은 MLP다.

로컬 집계가 방향을 못 본다

PointNet++이 지역 특징을 만드는 절차는 이렇다.

4번이 문제다. 채널별 최댓값만 남기면 누가 그 값을 냈는지가 사라진다 — 위쪽 이웃인지 왼쪽 이웃인지 구분이 안 된다. 이게 등방적(isotropic), 즉 어느 방향이든 똑같이 취급한다는 뜻이다.

대조군은 일반 이미지 CNN이다. 3×3 필터는 칸마다 다른 가중치를 쓴다.

방향마다 다르게 반응한다 — 이게 비등방(anisotropic)이다. MLP + max 방식은 이웃마다 다른 가중치를 줄 방법이 구조상 없다. 이웃의 상대 좌표(p_j − p_i)를 입력에 같이 넣어 힌트는 주지만, 그건 방향을 재료로 알려주는 것이지 방향별로 다르게 처리하는 게 아니다.

기존 해결책이 비싼 이유

점구름은 점이 수만~수십만 개라 이 비용이 그대로 곱해진다. 자율주행이나 로봇 같은 실시간 처리에서는 감당이 안 된다. "싸면서도 방향을 구분하는 법" — PointVector가 벡터 집계로 노리는 지점이 여기다.

PointVector의 답 — 특징을 벡터로 만든다

앞 탭의 문제는 이것이었다. 방향을 구분하려면 attention이나 dynamic conv가 필요한데 둘 다 비싸다. PointVector는 기계를 추가하지 않고 방향을 얻는다.

스칼라를 벡터로 — 두 단계

회전각 α, β는 MLP가 예측한다. 입력은 이웃과의 상대 위치(p_j − p_i)와 상대 특징(f_j − f_i)이다. 즉 "이 이웃이 어디에 어떻게 놓여 있느냐"가 벡터 방향을 결정한다.

VPSA 모듈 — 세 동작

마지막에 다시 스칼라로 되돌리는 이유는, 다음 층이 일반 특징을 받아야 하기 때문이다. 벡터는 집계하는 순간에만 쓰인다.

그래서 싸다

이것이 PointNeXt 파라미터의 58%로 더 높은 정확도가 나온 이유다 (S3DIS Area 5에서 72.3% mIoU). 무거운 기계를 붙이는 대신, 이미 있는 것을 방향 있는 형태로 바꿨을 뿐이다.

우리 과제와 어떻게 닿나

우리 측정치가 이 얘기를 뒷받침한다. 비지면이 지면으로 샌 26,217 포인트 중 49.90%가 facade_surface였다 — 벽 하단, 지면과 만나는 경계다. 수평 이웃과 수직 이웃이 섞이는 바로 그 구간이다.

Bare Earth — 문제를 다시 세우면

최종 목표가 구조물을 걷어낸 지형이라면, 13클래스도 4클래스도 필요 없다. 지면 / 비지면 둘이면 된다.

그러면 어려운 곳은 전부 "지면과 X가 만나는 경계"로 정리된다. 그런데 그 경계들이 성질이 서로 다르다 — 이게 핵심이다.

고전 기법이 이미 있다

Bare earth 추출은 LiDAR 분야에서 20년 넘은 문제다. 학습이 필요 없는 기하 기법들이 있다.

CSF가 비탈면에 강하다. 천이 경사를 따라 늘어지므로 경사면을 지면으로 유지한다. 하지만 고전 기법은 무엇인지를 모른다 — 나무 밑동·차량·옹벽을 형상만으로 판단하니 애매하면 틀린다.

그래서 조합

신경망이 무엇인지를 알려주고, CSF가 어디까지가 지면인지를 결정한다. 서로의 약점을 메운다.

검증 가능한 가설 — 이진 학습

클래스를 합칠수록 수치가 올랐다. 지금은 추론 후 합치기만 한 결과다.

학습부터 2클래스로 하면 모델이 dormer vs balcony 구분에 용량을 쓰지 않고 전부 지면/비지면 경계에 쓴다. 구현은 데이터로더에서 라벨을 remap하는 정도다.

우리가 실제로 확인한 것

RTX 3060 12GB에서 직접 학습·평가한 결과다.

PointNet이 논문값을 넘긴 것이 중요하다. 파이프라인이 맞다는 증거다. PointVector가 못 미친 건 voxel_max를 64000 → 24000으로 낮춰서다. 논문 설정은 16.5 GB가 필요한데 카드가 12 GB다.

우리 과제 기준으로 다시 보면

13클래스를 우리가 필요한 4개로 합치면 수치가 달라진다. dormer·balcony 같은 세부 클래스의 실패가 전부 "건물" 안으로 흡수되기 때문이다.

세부 13클래스로는 51.83%지만, 4클래스로는 72.14%다. 목표가 bare earth라면 지면 precision 95.24%가 핵심 숫자다 — 지면이라 부른 것의 95%가 실제 지면이라는 뜻이다.

한계 — 반드시 알아야 할 것

닫힌 집합 분류기다

모델은 13개 점수를 내고 그중 최고를 고른다. "모르겠음"이 없다. 학습에서 본 적 없는 것을 만나도 반드시 13개 중 하나를 답한다 — 특징 공간에서 가장 가까운 것으로.

학습 데이터의 세계가 곧 한계다

SUM Parts는 헬싱키 도시다. 한국 도로 현장에 그대로 쓰면 도메인 갭이 생긴다. 더 좋은 모델로 더 오래 학습해도 이건 안 줄어든다. 해결하려면 한국 데이터에 라벨을 붙여 파인튜닝해야 한다.

라이선스

NC 데이터로 학습한 가중치도 NC로 취급하는 게 안전하다. 상업 이용은 저자 허락이 필요하다.

전체 흐름

왼쪽 두 개는 한 번만 하면 되는 자산 구축이고, 아래쪽은 타일마다 반복하는 적용이다.