Point Transformer V3 하향식 해부

3D 데이터와 CNN의 한계

CNN이 이미지에서 강력한 이유를 세 가지 성질로 쪼개 보면, 포인트 클라우드에서 무엇이 깨지는지가 보입니다.

초기 시도들은 이 셋 중 하나를 억지로 복원했습니다. 복셀화 + 3D CNN(VoxNet, 2015)은 격자를 복원하지만 밀집 텐서 때문에 해상도가 32³ 정도에 묶였습니다. 다시점 투영(MVCNN, 2015)은 2D CNN을 재활용하지만 가림과 기하 정보 손실이 큽니다. 그래서 두 갈래가 살아남았습니다.

• 점 기반(point-based): 격자를 포기하고 집합 위에서 직접 연산. PointNet → PointNet++ → KPConv, PointConv → Point Transformer v1/v2. “이웃”을 kNN이나 반경 탐색으로 매번 계산.
• 복셀 기반(voxel-based)이되 희소(sparse): 격자를 유지하되 점이 있는 셀만 저장·연산. SSCN → MinkowskiNet → SpConv. 합성곱을 거의 그대로 씀.

PTv3는 흥미롭게도 두 갈래를 모두 씁니다. 데이터는 복셀화(GridSample)되어 정수 grid_coord를 갖고, 위치 인코딩과 stem은 희소 합성곱이며, 주 연산은 점 기반 어텐션입니다. 다만 kNN은 쓰지 않고, 정수 격자 좌표가 있다는 사실을 이용해 정렬 한 번으로 이웃을 정의합니다.

PointNet과 PointNet++: 집합 위의 신경망

논문

Qi et al., PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation, CVPR 2017 (arXiv 1612.00593) · Qi et al., PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space, NeurIPS 2017 (arXiv 1706.02413)

PTv3에 남은 것

패킹 배치 관행, 계층적(단계별) 다운샘플링이라는 골격, “점별 MLP + 집계”라는 연산 단위

PointNet: 순열 불변을 만드는 가장 단순한 방법

점 집합 {x₁, …, x_n}에 대한 함수가 순서에 무관하려면, 각 점을 독립적으로 변환한 뒤 대칭 함수로 합치면 됩니다.

h는 모든 점에 같은 가중치를 공유하는 MLP(코드로는 1×1 합성곱), MAX는 채널별 최댓값, γ는 다시 MLP입니다. CNN 사용자에게: 1×1 conv만 있고 3×3 conv가 없는 네트워크라고 보면 됩니다. 이웃 정보를 전혀 섞지 않으므로 지역 구조(모서리, 곡면)를 배우지 못하는 것이 근본 한계였습니다.

PointNet++: “이웃”과 “계층”을 도입

CNN의 3×3 conv + 풀링 계층을 흉내 내기 위해 Set Abstraction이라는 층을 만들었습니다. 한 층은 세 단계입니다.

1. 샘플링: Farthest Point Sampling(FPS)으로 N개 중 N'개의 중심점을 고릅니다. 매번 “지금까지 뽑힌 점들에서 가장 먼 점”을 뽑아 공간을 고르게 덮습니다. 비용 O(N·N').
2. 그룹화: 각 중심점 주변 반경 r 안(ball query) 또는 kNN으로 이웃을 모읍니다. 이것이 “커널이 덮는 영역”에 해당합니다.
3. PointNet: 각 그룹 안에서 상대 좌표 x_j − x_i를 특징에 붙여 mini-PointNet(MLP + MAX)을 적용해 중심점 하나의 특징으로 요약합니다.

분할을 위해서는 반대 방향의 Feature Propagation 층이 있습니다. 거친 단계의 특징을 원래 점으로 되돌릴 때 거리 역수 가중 보간(가장 가까운 3점)을 쓰고, 같은 해상도의 인코더 특징을 이어 붙입니다(스킵 연결). 즉 PointNet++는 이미 포인트 클라우드용 U-Net이었고, 이후 모든 점 기반 백본(PTv1, v2, v3 포함)이 이 인코더-디코더 골격을 물려받았습니다.

희소 합성곱: 빈 공간을 건너뛰는 3D CNN

논문

Graham & van der Maaten, Submanifold Sparse Convolutional Networks, 2017 (arXiv 1706.01307); Graham et al., 3D Semantic Segmentation with Submanifold Sparse Convolutional Networks, CVPR 2018 · Choy et al., 4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks, CVPR 2019 (arXiv 1904.08755) · 구현: spconv

PTv3에 남은 것

stem(SubMConv3d, k=5), 모든 블록의 xCPE(SubMConv3d, k=3), Point.sparsify()

문제

2 cm 복셀로 방 하나를 밀집 3D 텐서로 만들면 셀의 99% 이상이 비어 있고, 밀집 3D conv는 이 빈 셀에도 연산을 합니다. 더 나쁜 것은 빈 공간의 “번짐”입니다. 일반 conv는 빈 셀이라도 이웃에 값이 있으면 출력을 만들어내므로, 층을 거칠수록 표면이 두꺼워지고 희소성이 사라집니다.

핵심 아이디어: 활성 셀의 집합만 저장하고, 두 종류의 합성곱을 구분

입력을 (좌표 리스트, 특징 리스트)의 쌍으로 저장합니다. (N, 4) 정수 좌표(배치 인덱스 + xyz)와 (N, C) 특징 — 바로 PTv3의 Point 구조입니다. 합성곱은 두 가지로 나뉩니다.

• Submanifold sparse convolution (SubMConv): 출력 좌표 집합 = 입력 좌표 집합. 각 활성 셀에서만 출력을 계산하고, 커널 창 안의 활성 이웃만 곱해 더합니다. 희소성이 층을 거쳐도 그대로 유지됩니다. 3×3 conv with padding=same의 희소 판.
• Regular sparse convolution (SparseConv): 커널이 닿는 모든 셀에 출력을 만듭니다(팽창). stride 2와 함께 다운샘플링용으로 씁니다.

계산은 rulebook으로 합니다. 커널 오프셋 k ∈ {−1,0,1}³(27개)마다 “입력 인덱스 i의 좌표 + k가 활성 셀 j인 쌍 (i, j)”의 목록을 해시 테이블로 만듭니다. 그 뒤 오프셋별로 W_k ∈ ℝ^C_in×C_out을 gather된 특징에 곱해 scatter-add합니다.

수학적으로는 밀집 3D conv와 동일하고(빈 셀 = 0), 단지 0끼리의 곱을 건너뛸 뿐입니다. spconv의 indice_key는 같은 좌표 집합을 쓰는 여러 층이 rulebook을 한 번만 만들고 공유하게 하는 캐시 키입니다.

Transformer와 셀프 어텐션: 입력이 스스로 가중치를 만드는 층

논문

Vaswani et al., Attention Is All You Need, NeurIPS 2017 (arXiv 1706.03762) · Ba et al., Layer Normalization, 2016 (arXiv 1607.06450) · Xiong et al., On Layer Normalization in the Transformer Architecture, ICML 2020 (pre-norm)

PTv3에 남은 것

SerializedAttention의 QKV 투영, scaled dot-product, 멀티헤드, MLP, pre-norm 잔차 블록

합성곱을 다시 쓰기

1D 신호에서 3-tap 합성곱은 출력 y_i = w₋₁x_i−1 + w₀x_i + w₁x_i+1입니다. 일반화하면 “이웃 집합 𝒩(i)에 대해 y_i = Σ_j∈𝒩(i) w_ij · v(x_j)”이고, 합성곱은 가중치 w_ij가 상대 위치 j − i만의 함수이고 학습 후 고정이라는 선택입니다. 셀프 어텐션은 같은 틀에서 두 가지를 바꿉니다.

• 가중치 w_ij를 입력 쌍 (x_i, x_j)의 유사도에서 계산합니다. 학습되는 것은 “유사도를 재는 방법”(투영 행렬)이지 가중치 자체가 아닙니다.
• 이웃 집합 𝒩(i)를 격자 창이 아니라 임의의 토큰 집합(문장 전체, 패치 전체)으로 둡니다.

수식

토큰 행렬 X ∈ ℝ^n×C에서 세 개의 선형 투영으로 질의(query), 키(key), 값(value)을 만듭니다.

풀어 쓰면 y_i = Σ_j a_ij v_j, a_ij = exp(q_i·k_j/√d) / Σ_j' exp(q_i·k_j'/√d). 즉 각 토큰이 다른 모든 토큰과의 내적으로 “얼마나 참고할지”를 정하고, 그 비율로 값을 평균합니다. √d로 나누는 이유는 내적의 분산이 d에 비례해 커져 softmax가 포화(거의 one-hot)되는 것을 막기 위해서입니다. 코드의 self.scale = (C // H) ** -0.5가 이것입니다.

멀티헤드: 채널 C를 H개의 헤드로 나눠(d = C/H) 각각 독립적으로 어텐션을 계산한 뒤 이어 붙이고 출력 투영 W_O를 곱합니다. 헤드마다 다른 “유사도의 기준”을 배울 수 있게 하는 장치로, 합성곱의 여러 출력 채널이 여러 필터를 배우는 것과 비슷합니다. PTv3는 헤드당 16채널(C/H = 16)을 모든 단계에서 유지합니다.

비용: QK^⊤는 n×n 행렬입니다. 시간·메모리 모두 O(n²). 10만 점 장면 전체에 그냥 적용하면 10¹⁰ 원소 — 불가능합니다. 이것이 이후 모든 “창(window)”, “패치”, “이웃 제한” 설계의 출발점이며, PTv3의 “패치 1024”도 n을 1024로 제한하는 선택입니다(그래도 1024² ≈ 10⁶을 N/1024번 — FlashAttention 없이는 여전히 무겁습니다. 2.10 참조).

블록의 나머지: FFN, 잔차, LayerNorm

어텐션은 토큰을 섞는 층이고 채널별 비선형 변환은 하지 않으므로, 뒤에 위치별 MLP(FFN)가 옵니다: Linear(C→4C) → GELU → Linear(4C→C). 코드의 MLP와 mlp_ratio=4입니다. 둘 다 잔차로 감싸며, 정규화는 LayerNorm(각 토큰의 채널 방향 평균·분산으로 정규화)을 씁니다. BatchNorm과 달리 배치 통계가 필요 없어 “장면마다 점 수가 다르고 배치가 작은” 상황에 안정적입니다. 원논문은 잔차를 더한 뒤에 norm을 두는 post-norm이었지만, 깊은 모델의 학습 안정성 때문에 지금은 pre-norm(x + f(LN(x)))이 표준이고 PTv3도 pre_norm=True입니다.

왜 위치 정보가 따로 필요한가

어텐션 수식 어디에도 “j가 i의 왼쪽인지 오른쪽인지”가 없습니다. 토큰을 섞어 넣어도 출력이 같이 섞일 뿐 값은 변하지 않습니다(순열 등변). 이것은 집합 처리에 좋은 성질이지만, 기하를 배워야 하는 3D에서는 치명적입니다: 두 점이 1 cm 떨어졌는지 1 m 떨어졌는지 모델이 알 수 없습니다. 그래서 위치 인코딩이 반드시 필요하고, 그 방법이 2.9의 주제입니다.

ViT와 Swin Transformer: 어텐션을 “창”에 가두기

논문

Dosovitskiy et al., An Image is Worth 16×16 Words, ICLR 2021 (arXiv 2010.11929) · Liu et al., Swin Transformer: Hierarchical Vision Transformer using Shifted Windows, ICCV 2021 (arXiv 2103.14030)

PTv3에 남은 것

계층 구조(단계마다 해상도 ½, 채널 2배, 세 번째 단계 최심), 창 어텐션이라는 발상, 창 사이 정보 교환이 필요하다는 문제 인식, stochastic depth·AdamW 학습 레시피

ViT: 이미지를 토큰 열로

ViT는 이미지를 16×16 픽셀 패치로 잘라 각 패치를 선형 투영해 토큰으로 만들고(224² 이미지 → 196 토큰), 학습 가능한 절대 위치 임베딩을 더한 뒤 표준 Transformer 인코더에 넣습니다. 합성곱의 귀납 편향(지역성, 이동 등변성)을 버리는 대신 대규모 데이터에서 더 잘 스케일된다는 것을 보였습니다. PTv3 논문이 인용하는 “규모가 설계를 이긴다”는 명제의 원형입니다. 하지만 토큰 수가 196개인 분류에서는 괜찮아도, 분할처럼 고해상도가 필요한 과제에서 O(n²)은 곧바로 문제가 됩니다.

Swin: 창 어텐션 + 이동 창 + 계층

Swin은 세 가지를 도입해 Transformer를 CNN 백본처럼 쓸 수 있게 했습니다.

1. 창 어텐션(W-MSA): 특징 맵을 M×M(=7×7) 창으로 나누고 창 안에서만 어텐션. 비용이 O(n·M²)으로 선형이 됩니다. 창 안의 상대 위치 (Δx, Δy) ∈ [−M+1, M−1]²마다 학습 가능한 스칼라 편향 B를 두어 softmax(QK^⊤/√d + B)V로 계산합니다 — 상대 위치 편향(relative position bias, RPE).
2. 이동 창(SW-MSA): 창 안에서만 섞으면 창 경계를 넘는 정보가 없으므로, 다음 블록에서 창 격자를 (M/2, M/2)만큼 밀어서 다른 분할을 씁니다. 두 블록을 거치면 모든 이웃이 연결됩니다. 구현은 cyclic shift + 마스크.
3. 패치 병합(patch merging): 단계가 바뀔 때 2×2 이웃 토큰을 이어 붙여(4C) 선형층으로 2C로 줄입니다. 해상도 ½, 채널 2배 — ResNet의 stage와 같은 피라미드. 깊이 배분 (2, 2, 6, 2)도 Swin-T의 것입니다.

3D로의 직역 시도: Stratified Transformer(2022)와 Swin3D(2023)는 Swin의 창을 3D 복셀 창으로 옮겼습니다. 하지만 3D에서는 창 안의 점 수가 들쭉날쭉해서(빈 창, 넘치는 창) 패딩과 마스킹 비용이 크고, 상대 위치 편향 테이블도 3D라 훨씬 큽니다. PTv3는 이 문제를 “창을 공간이 아니라 순서로 정의해 항상 정확히 K개가 들어가게” 만드는 방식으로 우회합니다.

Point Transformer v1 / v2: 포인트 클라우드용 어텐션의 직계 조상

논문

Zhao et al., Point Transformer, ICCV 2021 (arXiv 2012.09164) · Wu et al., Point Transformer V2: Grouped Vector Attention and Partition-based Pooling, NeurIPS 2022 (arXiv 2210.05666)

PTv3에 남은 것

U-Net 골격, 격자 기반 풀링의 발상(→ 직렬화 풀링), Pointcept 코드베이스. 반대로 버린 것: kNN, 벡터 어텐션, 명시적 상대 위치 인코딩

PTv1: 벡터 어텐션과 kNN 이웃

PTv1은 PointNet++의 Set Abstraction 자리에 어텐션을 넣었습니다. 각 점 i에 대해 kNN(k = 16) 이웃 𝒩(i)를 구하고, 다음을 계산합니다.

2.4의 표준 어텐션과 세 가지가 다릅니다.

• 뺄셈 관계: q·k 내적 대신 q − k.
• 벡터 어텐션: 가중치가 스칼라 a_ij가 아니라 채널 차원의 벡터입니다. γ(MLP)가 C차원 가중치를 만들고 ρ(softmax)를 이웃 축으로 취한 뒤 값과 원소별 곱(⊙). 채널마다 다른 이웃을 볼 수 있어 표현력이 높습니다.
• 위치 인코딩 δ_ij: 상대 좌표 p_i − p_j를 MLP θ에 통과시켜 가중치 계산과 값 양쪽에 더합니다. 3D 기하를 직접 넣는 가장 자연스러운 방법입니다.

다운샘플링(TransitionDown)은 FPS + kNN 풀링, 업샘플링은 보간으로 PointNet++와 같습니다. 문제는 비용입니다. kNN은 매 단계 O(N·N')(또는 공간 자료구조로도 무시 못 할 상수), 벡터 어텐션은 이웃마다 C차원 MLP를 돌리므로 메모리가 N·k·C, 그리고 이런 맞춤 연산은 표준 GEMM/FlashAttention 커널로 가속되지 않습니다.

PTv2: 그룹 벡터 어텐션과 격자 풀링

PTv2는 두 가지를 손봤습니다.

• Grouped Vector Attention (GVA): 벡터 가중치를 C채널 전부 만들지 않고 g개 그룹(예: 8)마다 하나씩만 만들어 그룹 안에서 공유. 멀티헤드 스칼라 어텐션(g = H, 그룹 안 공유)과 완전 벡터 어텐션(g = C) 사이의 절충으로, 파라미터와 과적합을 줄였습니다. 여기에 position encoding multiplier — 위치 인코딩을 더하기만 하지 않고 곱하기(δ_mul ⊙ ψ(x_j) + δ_bias)로도 넣어 기하 정보를 강화했습니다.
• Partition-based (grid) pooling: FPS + kNN 대신 공간을 균일 격자로 나누고 같은 셀의 점들을 max로 병합. 셀 중심이 새 점이 됩니다. FPS의 순차적 비용이 사라지고, 병합 소속이 명시적이라 언풀링은 단순 복사(unpooling by index)로 됩니다.

PTv2는 ScanNet 75.4 mIoU로 당시 SOTA였지만, 논문의 표현을 빌리면 “정교하지만 느린” 모델이었습니다. 추론 한 장면에 PTv3의 3.3배 시간, 10배 메모리.

공간 채움 곡선: 3D 격자를 한 줄로 세우는 법

출처

Morton, A computer oriented geodetic data base and a new technique in file sequencing, IBM 1966 (Z-order) · Hilbert, Über die stetige Abbildung einer Linie auf ein Flächenstück, 1891 · Skilling, Programming the Hilbert curve, 2004 (Pointcept의 hilbert.py가 따르는 알고리즘)

PTv3에 남은 것

Point.serialization(), serialization/z_order.py, serialization/hilbert.py, 네 가지 order

문제

“한 점의 이웃”을 정렬 한 번으로 얻고 싶습니다. 1D라면 좌표로 정렬하면 이웃이 인접합니다. 3D 정수 격자 (x, y, z) ∈ [0, 2^D)³를 하나의 정수로 바꾸되, 3D에서 가까운 셀이 1D에서도 가깝도록(지역성 보존) 하는 사상이 필요합니다. 그런 사상을 공간 채움 곡선이라 부릅니다.

Z-order (Morton) 곡선: 비트 끼워넣기

좌표의 비트를 번갈아 끼워 넣습니다. x = x_D−1…x₁x₀, y, z도 같은 식으로 쓰면

예: x = 5 = 101₂, y = 3 = 011₂, z = 0 → 1 0 0 · 0 1 0 · 1 1 0 = 100010110₂ = 278. 왜 지역성이 보존되는가: 상위 비트가 먼저 오므로, 상위 3m비트가 같다는 것은 두 셀이 같은 크기 2^D−m의 정육면체(옥트리 노드)에 속한다는 뜻입니다. 정렬하면 같은 옥트리 노드의 셀들이 연속 구간에 모입니다. 이름의 Z는 2D에서 곡선이 그리는 “Z” 모양에서 왔고, 이 재귀적 Z 패턴이 옥트리의 깊이 우선 순회와 정확히 일치합니다.

# z_order.py — xyz2key 핵심 (OCNN에서 가져옴)
key = 0
for i in range(depth):
    mask = 1 << i
    key |= ((x & mask) << (2*i + 2)) | ((y & mask) << (2*i + 1)) | ((z & mask) << (2*i + 0))
# i번째 비트를 3i+2, 3i+1, 3i 자리로 보낸다. 실제 코드는 8비트 LUT로 가속.

약점: 곡선이 “점프”합니다. 2D에서 셀 (1,0) 다음은 (0,1)이 아니라 — Z의 대각선 — 그리고 사분면이 바뀔 때는 멀리 뜁니다. 그래서 1D에서 인접한 두 셀이 3D에서는 멀 수 있습니다(반대 방향, 즉 3D에서 가까운데 1D에서 먼 경우도 경계에서 발생).

Hilbert 곡선: 점프 없는 채움

Hilbert 곡선은 연속한 두 코드가 항상 3D에서 인접한 셀이 되도록 재귀 패턴을 회전·반사해 이어 붙인 곡선입니다. 지역성이 Z-order보다 좋다는 것이 정량적으로 알려져 있고(예: 곡선상 거리 대비 공간 거리의 상한이 더 작음), 대신 계산이 복잡합니다. Pointcept의 hilbert.py는 Skilling(2004)의 Gray-code 기반 정수 알고리즘을 텐서 연산으로 옮긴 것으로, 좌표 비트를 위에서부터 훑으며 각 단계의 사분면(3D는 팔분면) 진입 방향에 따라 하위 비트를 뒤집거나 교환합니다.

“-trans” 변형과 배치 인코딩

z-trans, hilbert-trans는 grid_coord[:, [1, 0, 2]] — x와 y를 바꿔 넣은 것입니다. 곡선의 진행 방향이 바뀌므로 같은 곡선이라도 패치 경계가 달라집니다. 네 순서(z, z-trans, hilbert, hilbert-trans)를 한꺼번에 계산해 (4, N) 코드 텐서를 만듭니다. 배치는 코드의 상위 비트에 넣습니다: code = batch << (depth*3) | code. 그러면 한 번의 argsort로 “장면별로 묶인 뒤 장면 안에서 곡선 순서”가 되고, 어텐션 패치가 장면 경계를 넘지 않게 됩니다(offset과 패딩 로직이 이를 보장). depth는 grid_coord.max()+1의 비트 길이로 자동 결정되며 최대 16(48비트 + 배치 비트 ≤ 63비트).

OctFormer와 FlatFormer: “직렬화 후 창 어텐션”의 선례

논문

Wang, OctFormer: Octree-based Transformers for 3D Point Clouds, SIGGRAPH 2023 (arXiv 2305.03045) · Liu et al., FlatFormer: Flattened Window Attention for Efficient Point Cloud Transformer, CVPR 2023 (arXiv 2301.08739)

PTv3에 남은 것

“정렬해서 고정 크기로 자른다”는 핵심 발상, Z-order LUT 코드(OCNN), CPE의 채택

PTv3는 직렬화 어텐션을 처음 제안한 논문이 아닙니다. 논문 스스로 두 선행 연구를 “point cloud serialization”의 대표로 꼽고, 자신의 기여를 그 발상을 일반화·단순화하고 규모를 키운 것으로 위치시킵니다.

OctFormer (2023)

점을 옥트리에 넣고(OCNN 라이브러리), 옥트리 리프의 Z-order(= 옥트리 셔플 키) 순서로 정렬한 뒤, 연속 K개(논문 기본 26 → 확장 실험에서 더 크게)를 한 창으로 삼아 어텐션합니다. 창 경계를 넘는 정보 교환을 위해 “팽창(dilated) 옥트리 어텐션” — 정렬된 열에서 d칸 간격으로 뽑아 창을 만드는 방식 — 을 씁니다. 위치 인코딩은 옥트리 합성곱을 이용한 CPE(2.9). 옥트리는 다운샘플링(부모 노드로 병합)을 자연스럽게 제공하지만, 옥트리 자료구조 구축 자체가 비용이고 Z-order 하나에 묶여 있습니다.

FlatFormer (2023)

실외 LiDAR 검출을 위해 “창 어텐션의 창을 동일한 점 수로 만들자”고 제안했습니다. 점을 창 좌표로 정렬한 뒤 순서대로 동일 크기 그룹으로 자릅니다(flattened window). 공간 창은 크기가 제각각이라 패딩이 필요하지만, 이렇게 하면 모든 그룹이 같은 길이라 GPU 배치 처리에 완벽히 맞고 패딩이 없습니다. 교대 블록에서는 정렬 축(x-major/y-major)을 바꿔 그룹 경계를 달리 합니다 — PTv3의 “trans” 순서 교대와 같은 발상입니다.

위치 인코딩: 절대 PE, RPE, CPE, 그리고 xCPE

논문

Vaswani et al. 2017 (sinusoidal 절대 PE) · Shaw et al., Self-Attention with Relative Position Representations, NAACL 2018 · Liu et al. 2021 (Swin의 relative position bias) · Chu et al., Conditional Positional Encodings for Vision Transformers, 2021/ICLR 2023 (arXiv 2102.10882) · Wang 2023 (OctFormer의 3D CPE)

PTv3에 남은 것

Block.cpe(xCPE), 선택적 RPE 클래스

2.4에서 본 대로 어텐션은 위치를 모릅니다. 위치를 넣는 방법은 크게 셋이고, 3D에서는 각각의 비용이 크게 다릅니다.

절대 위치 인코딩 (APE)

각 토큰의 절대 좌표를 벡터로 바꿔 입력 특징에 더합니다. 원 Transformer는 사인·코사인 함수(PE(pos, 2i) = sin(pos / 10000^2i/d)), ViT는 학습 테이블. 3D 점의 절대 좌표는 장면마다 원점이 다르고 회전 증강까지 하므로 절대 좌표 자체는 거의 의미가 없습니다. 다만 (x,y,z)를 입력 특징의 일부로 넣는 것(PTv3의 in_channels 6 = 색상 3 + 법선 3, 좌표는 별도로 다룸)은 흔한 관행입니다.

상대 위치 인코딩 (RPE)

어텐션 로짓에 두 토큰의 상대 위치에 의존하는 항을 더합니다: a_ij ∝ exp(q_i·k_j/√d + b(p_i − p_j)). Swin은 b를 (2M−1)² 크기의 테이블로 두고, PTv1/v2는 θ(p_i − p_j)를 MLP로 계산해 값에도 더합니다. 이동 등변성을 정확히 갖는 장점이 있지만, 토큰 쌍 수 N·K에 비례하는 추가 계산과 메모리가 들고, N×K×K 편향 행렬을 로짓에 더해야 하므로 FlashAttention의 “로짓 행렬을 절대 메모리에 쓰지 않는다”는 전제와 충돌합니다. PTv3 코드의 RPE 클래스는 Swin 방식의 3D 판(축별 테이블 3개를 더함, pos_bnd로 클램프)이고, enable_flash=True일 때는 assert로 금지됩니다.

조건부 위치 인코딩 (CPE)

CPVT(Chu et al.)의 관찰: 제로 패딩이 있는 합성곱은 이미 절대 위치를 알고 있다(경계에서 패딩을 보는 정도로 위치를 추정할 수 있음)는 사실과, 합성곱이 이동 등변이라는 사실을 합치면 — 토큰 특징 맵에 depthwise 3×3 conv 한 층을 잔차로 끼워 넣는 것만으로 위치 정보가 충분히 주입됩니다. 이를 Positional Encoding Generator(PEG)라 부르며, ① 입력 길이에 무관하고(테이블 크기 제한 없음) ② 위치 정보가 “주변 특징에 조건부”이며 ③ 비용이 O(N)입니다. CNN 사용자에게는 당연해 보일 수 있습니다 — 합성곱은 원래 위치를 안다 — 하지만 “Transformer에 conv 한 층만 넣어 PE를 대신한다”는 것이 이 논문의 기여입니다. OctFormer가 이를 옥트리 합성곱으로 3D에 옮겼습니다.

xCPE: 희소 합성곱 + 스킵

PTv3는 CPE를 3×3×3 submanifold sparse conv로 구현하되, 뒤에 Linear + LayerNorm을 붙이고 잔차 연결로 감싼 것을 xCPE(enhanced CPE)라 부릅니다. 논문 ablation에서 순수 CPE보다 근소하게 높고 RPE와 대등하거나 나은 정확도를 훨씬 적은 비용으로 얻습니다. 잔차 덕분에 이 층은 “위치 정보를 더하는” 층이 되어 어텐션이 원래 특징과 위치가 섞인 특징을 모두 볼 수 있습니다.

self.cpe = PointSequential(
    spconv.SubMConv3d(C, C, kernel_size=3, bias=True, indice_key=cpe_indice_key),
    nn.Linear(C, C),
    norm_layer(C),      # LayerNorm
)
# forward: point.feat = point.feat + cpe(point).feat

FlashAttention: 패치 1024를 가능하게 한 시스템 논문

논문

Dao et al., FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness, NeurIPS 2022 (arXiv 2205.14135) · Dao, FlashAttention-2, 2023 (arXiv 2307.08691)

PTv3에 남은 것

flash_attn.flash_attn_varlen_qkvpacked_func 호출과 그 입력을 만드는 get_padding_and_inverse

문제

표준 어텐션 구현은 S = QK^⊤(n×n)를 GPU의 큰 메모리(HBM)에 쓰고, softmax를 위해 다시 읽고, P = softmax(S)를 쓰고, PV를 위해 다시 읽습니다. n = 1024, 헤드 32, 패치 100개면 P 하나가 100·32·1024² · 2바이트 ≈ 6.7 GB(fp16), 역전파를 위해 저장까지 해야 합니다. 병목은 연산이 아니라 메모리 읽기·쓰기입니다.

핵심 아이디어: 타일링 + 온라인 softmax + 재계산

1. 타일링: Q, K, V를 SRAM(GPU의 작은 고속 메모리)에 들어가는 블록으로 나누고, 블록 쌍마다 S의 조각을 계산해 곧바로 소비합니다. S나 P 전체를 HBM에 쓰는 일이 없습니다.
2. 온라인 softmax: softmax는 행 전체의 최댓값과 합이 필요하지만, 블록을 순서대로 처리하며 “지금까지의 최댓값 m과 합 ℓ”을 유지하고 새 블록이 오면 이전 누적값을 e^{m_old − m_new}로 보정합니다. 결과는 정확히(근사 없이) 같습니다.
3. 역전파 재계산: P를 저장하지 않고 역전파 때 Q, K와 저장해 둔 (m, ℓ)로 다시 계산합니다. 연산은 늘지만 메모리 왕복이 줄어 전체는 더 빠릅니다.

결과: 메모리 O(n²) → O(n), 속도 2~4배. FlashAttention-2는 병렬화 축과 워프 분배를 손봐 A100에서 이론 FLOPs의 70% 수준까지 끌어올렸습니다.

varlen 인터페이스와 PTv3의 패딩 로직

PTv3가 쓰는 flash_attn_varlen_qkvpacked_func(qkv, cu_seqlens, max_seqlen, …)는 여러 시퀀스를 한 줄로 이어 붙인 텐서와 각 시퀀스의 시작 오프셋 배열 cu_seqlens를 받습니다. 시퀀스 = 어텐션 패치이므로 PTv3는 cu_seqlens = [0, 1024, 2048, …]를 넘기면 됩니다. 문제는 장면의 점 수가 1024의 배수가 아니라는 점이고, get_padding_and_inverse가 이를 처리합니다.

• 장면의 점 수 n_b가 패치 크기 K보다 크면 ⌈n_b/K⌉·K로 올림한 길이의 pad 인덱스 배열을 만듭니다. 마지막 불완전 패치의 빈 자리는 직전 패치의 같은 위치 점들을 복사해 채웁니다(0 벡터가 아니라 실제 점을 재사용 — 마스크가 필요 없고 softmax 분포가 왜곡되지 않음).
• n_b ≤ K이면 패딩 없이 그 장면 전체를 길이 n_b의 시퀀스 하나로 넘깁니다(varlen이 가변 길이를 허용하므로).
• unpad는 원래 점 인덱스 → 패딩된 위치의 사상으로, 어텐션 출력에서 원래 점만 골라 inverse로 되돌릴 때 씁니다. 복사된 점의 출력은 버려집니다.

Flash 경로는 bf16(지원 시) 또는 fp16으로 계산하고 결과를 원래 dtype으로 되돌립니다. 이것이 enable_flash=True일 때 upcast_attention/softmax를 끄도록 assert하는 이유입니다.

정규화·정칙화·손실: 블록 주변의 작은 부품들

논문

Hendrycks & Gimpel, Gaussian Error Linear Units, 2016 (arXiv 1606.08415) · Huang et al., Deep Networks with Stochastic Depth, ECCV 2016 (arXiv 1603.09382) · Loshchilov & Hutter, Decoupled Weight Decay Regularization, ICLR 2019 (arXiv 1711.05101) · Smith & Topin, Super-Convergence (OneCycle), 2017 · Berman et al., The Lovász-Softmax Loss, CVPR 2018 (arXiv 1705.08790)

데이터 증강도 “레시피”의 일부입니다. z축 무작위 회전, 스케일 0.9~1.1, 축 뒤집기, 좌표 지터, 색상 대비·이동·지터·색조 변화(chromatic auto contrast / translation / jitter / hue-saturation), 그리고 학습 시 최대 102,400점을 구(sphere)로 잘라 내는 SphereCrop. 이런 증강이 PPT의 “규모”와 함께 PTv3의 성능을 실제로 떠받칩니다.

Point Prompt Training과 스케일링 원리

논문

Wu et al., Towards Large-scale 3D Representation Learning with Multi-dataset Point Prompt Training, CVPR 2024 (arXiv 2308.09718) · 후속: Wu et al., Sonata: Self-Supervised Learning of Reliable Point Representations, CVPR 2025 (arXiv 2503.16429)

PTv3에 남은 것

pdnorm_* 옵션, PDNorm 클래스, “+PPT” 결과 열, 그리고 논문의 동기 자체

왜 이 논문이 PTv3보다 먼저 와야 하는가

PTv3의 서론은 “PPT에서 관찰한 스케일링 원리에서 출발했다”고 씁니다. PPT의 관찰: 3D 데이터셋은 개별로는 작지만(ScanNet 1,513 장면), 여러 데이터셋을 함께 학습시키면 — 그냥 섞으면 도메인 차이(센서, 실내/실외, 라벨 체계) 때문에 오히려 나빠지는 negative transfer가 일어나지만 — 도메인을 조건으로 알려 주면 각 데이터셋 단독 학습보다 모두에서 좋아집니다. 즉 3D에서도 데이터 규모가 성능을 밀어 올리며, 병목은 그 규모를 감당할 백본의 효율입니다. PTv3는 그 병목을 풀기 위해 설계된 백본입니다.

PDNorm: 데이터셋 조건부 정규화

가장 단순하고 효과적이었던 장치는 정규화 층의 affine 파라미터를 데이터셋마다 따로 두는 것입니다. 코드의 PDNorm은 conditions=("ScanNet","S3DIS","Structured3D")마다 별도의 BatchNorm1d/LayerNorm을 만들고 point.condition에 따라 골라 씁니다(decouple=True). 선택적으로 adaptive=True면 텍스트 임베딩 등 문맥 벡터에서 scale/shift를 예측해 곱·더합니다(AdaLN 방식). 파라미터 증가는 미미하고, 백본의 나머지 가중치는 모든 데이터셋이 공유합니다.

언어 유도 카테고리 정렬

데이터셋마다 클래스 이름과 개수가 다르므로 분류 헤드를 공유할 수 없습니다. PPT는 클래스 이름을 CLIP 텍스트 인코더로 임베딩하고, 점 특징을 그 임베딩과의 코사인 유사도로 분류합니다. 그러면 “chair”(ScanNet)와 “chair”(S3DIS)가 같은 출력 뉴런을 공유하고, 비슷한 개념끼리 자연스럽게 가까워집니다.