FuriosaAI의 하드웨어(RNGD)와 SDK를 사용하여, LLM의 핵심 모듈을 직접 NPU 커널로 바꿔가며 성능 차이를 비교하는 튜토리얼

FuriosaAI의 하드웨어(RNGD)와 SDK를 사용하여, Qwen3-0.6B 모델의 핵심 모듈을 직접 NPU 커널로 바꿔가며 성능 차이를 비교하는 튜토리얼입니다. 컴파일러가 알아서 처리해 주던 부분을 개발자가 TCL(Tensor Contraction Language)과 vISA(Virtual Instruction Set Architecture)로 직접 작성해 보면서, AI 가속기에서 모델이 어떻게 컴파일되고 실행되는지를 손으로 익히는 것이 목표입니다.
실습 환경은 참가자 1인당 RNGD 1장을 SSH로 제공합니다.

대상

Python과 PyTorch로 모델 코드를 읽어 본 경험이 있는 개발자. Transformer 구조(attention, MLP)를 대략 알고 있으면 좋습니다.

준비물

노트북. (NPU 장비와 실행 환경은 현장에서 제공합니다.)

진행 방식

미리 작성된 예제 코드의 구조를 함께 읽으며 따라 타이핑하고 직접 컴파일해보는 형태로 진행합니다. Qwen3-0.6B 모델의 모듈을 하나씩 직접 작성한 커널로 바꿔가며 재컴파일하고 비교합니다.

• RNGD와 Furiosa 소프트웨어 스택 소개 (15분): NPU에서 모델이 컴파일되고 실행되는 전체 흐름, TCL과 vISA가 스택의 어디에 위치하는지 살펴봅니다.
• TCL 세션 (45분): 일부 모듈을 TCL 커널로 다시 작성합니다. TCL 커널 단위 프로파일링까지 함께 다룹니다.
• 휴식 (10분)
• vISA 세션 (45분): 특정 모듈을 vISA로 작성하며 하드웨어에 더 가까운 수준에서 연산을 기술해 봅니다. 데이터 이동, 엔진, 스케줄처럼 TCL에서는 컴파일러가 정하던 것을 vISA에서는 어떻게 직접 쓰는지 확인합니다.
• 정리 및 질의응답 (5~10분)

Python과 PyTorch로 모델 코드를 읽어 본 경험이 있는 개발자. Transformer 구조(attention, MLP)를 대략 알고 있으면 좋습니다.