[이상덕의 AI&칩 워] 가짜도로 인식하고 스스로 STOP 자율주행 진화이끈 추론칩 HW4

기사입력 2025-06-08 17:39

◆ 매경 포커스 ◆

2차선 도로 앞에 플라스틱 벽이 놓여 있습니다.

벽에는 진짜 도로를 빼닮은 그림이 그려져 있습니다.

운전자 시선에서는 마치 도로가 계속 이어져 있는 것처럼 보입니다.

유튜버 카일 폴이 실시한 '자율주행차 가짜 벽 인식 테스트'를 위한 장치인데요. 실험 차량은 두 대입니다.

한 대는 테슬라의 2022년형 모델 Y, 또 다른 한 대는 2024년 출시한 사이버트럭입니다.

실험 결과는 확연히 달랐습니다.

모델 Y는 벽을 인식하지 못하고 질주했고 결국 운전자가 브레이크를 밟아야 했습니다.

반면 사이버트럭은 벽을 완벽히 인식하고 스스로 멈췄습니다.

같은 테슬라 차량인데, 자율주행 성능은 왜 이렇게 달랐을까요.
반도체는 자율주행의 힘
정답은 추론형 반도체에 있습니다.

2022년형 모델 Y에는 구형 칩셋인 '하드웨어3(HW3)'가 탑재돼 있는 데 반해, 2024년형 사이버트럭에는 신형 칩셋인 '하드웨어4(HW4)'가 장착돼 있습니다.

일론 머스크 테슬라 최고경영자(CEO)는 앞서 "무인 승차공유 서비스인 '로보택시'를 미국 텍사스에서 선보이겠다"고 선언했습니다.

그 자신감은 자체 설계한 칩셋인 HW4에 대한 믿음에서 나옵니다.

잠시 달력을 2013년으로 돌려보겠습니다.

당시 머스크는 친구인 래리 페이지가 이끄는 구글과 손잡고 자율주행 차량을 개발하려고 하고 있었습니다.

2008년 첫 전기차인 1세대 로드스터를 내놓은 지 5년 만입니다.

구글은 이미 구글카 프로젝트를 통해 자율주행 기술을 일정 부분 확보한 상태였고, 페이지 역시 머스크의 제안에 흔쾌히 응했습니다.

하지만 이들은 구글의 딥마인드 인수를 놓고 큰 갈등을 겪습니다.

머스크는 구글이 인공지능(AI)을 독점해서는 안 된다고 주장하면서 샘 올트먼과 오픈AI를 공동 창업해 맞섭니다.

또 구글의 AI 엔지니어인 일리야 수츠케버까지 영입합니다.

협업은 중단됐습니다.

머스크는 직접 자율주행을 개발하기로 결심합니다.

자율주행의 3대 핵심축은 소프트웨어인 AI, 하드웨어인 칩셋, 그리고 카메라 레이더 라이다와 같은 센싱 부품 및 기술입니다.

테슬라는 2014년 처음으로 HW1을 탑재했습니다.

당시만 하더라도 모빌아이가 개발한 아이큐(EyeQ)3라는 반도체를 핵심 부품으로 사용했습니다.

HW1은 카메라 영상을 분석해 앞차와 간격을 자동으로 조절해주는 '크루즈 컨트롤'과 차선을 유지해주는 '차선 유지 보조'를 지원했습니다.

운전대를 잡은 인공지능
하지만 그해 5월 운전자 보조시스템인 '오토파일럿'을 활성화한 상태로 주행하던 테슬라 차량이 대형 트레일러와 충돌해 운전자가 사망하는 사건이 발생합니다.

자율주행 역사상 첫 사망 기록이었습니다.

이 사건을 계기로 핵심 부품을 모빌아이에서 엔비디아의 '드라이브 PX2'로 전격 교체합니다.

또 애플 AMD 인텔 등에서 활약한 실리콘밸리의 반도체 구루로 불리는 짐 켈러와 인텔과 애플에서 활동한 피트 배넌을 영입합니다.

테슬라가 반도체 직접 설계에 대한 야심을 드러낸 순간입니다.

테슬라는 2019년 HW3를 출시했는데요. HW3는 직접 설계한 첫 칩셋이었습니다.

연산성능은 21배 향상됐고 이에 힘입어 초당 약 2300프레임의 이미지 데이터를 즉석에서 처리했습니다.

또 칩셋 하나가 고장 나더라도 나머지 칩셋이 즉시 기능을 이어받는 이른바 '듀얼 리던던시 설계'를 채택했습니다.

안전을 위해 칩셋을 두 개나 단 것입니다.

도심 내 교차로와 신호등을 인식하고 주행 경로를 결정할 뿐 아니라 다차선 회전 교차로에서도 안전하게 진입하며, 실제 교통규칙을 인지하고 따르고, 주차된 차가 혼자서 운전자 위치로 이동하게 된 것도 바로 이때부터입니다.

이와 함께 2020년에는 'FSD(풀 셀프 드라이빙) 베타 프로그램'을 공개했습니다.

완전 자율 주행시대를 열겠다는 신호탄이었습니다.

이후 테슬라는 반도체 설계를 한층 업데이트한 HW4를 2023년 내놓습니다.

HW3가 14㎚(나노미터) 공정 기반이라면, HW4는 5㎚ 공정을 토대로 했습니다.

집적도를 크게 높여 연산 능력을 극대화한 것입니다.

또 12개의 고해상도 카메라를 달았고 전파로 주변 사물을 식별하는 레이더도 다시 붙였습니다.

눈처럼 시야 확보가 어려운 조건에서도 차량이 주변 환경을 보다 정밀하게 파악해야 한다고 판단한 것입니다.

AI 소프트웨어인 FSD 버전 13이 작년 4월 출시하면서 성능은 더 향상됐습니다.

수십억 마일의 주행 데이터를 학습한 AI가 차량을 운전하기 시작한 순간입니다.

그렇다면 HW4는 어떤 칩셋일까요. 먼저 HW4는 차량 전면 트렁크인 프렁크 내부, 전면 유리창 하단 중앙에 있습니다.

각종 카메라와 센서의 거리를 계산해 보면, 이 위치가 정중앙이기 때문입니다.

그만큼 신호를 빨리 파악할 수 있는 자리입니다.

CPU·GPU·NPU 총집합
HW4는 크기가 대략 가로 25~30㎝, 세로 15~20㎝, 두께 4~6㎝ 정도로 A4용지와 비슷합니다.

시스템온칩(SoC)이라고 해서 여러 연산 장치들을 묶어 놓은 패키지 칩셋입니다.

HW4는 크게 △일반 연산과 제어를 담당하는 CPU(중앙처리장치) △대규모 딥러닝 연산을 위한 전용 하드웨어 가속기인 NPU(신경망처리장치) △영상 후처리 및 보조 연산을 담당하는 GPU(그래픽처리장치) △실시간으로 대용량 데이터 버퍼링과 신경망 연산을 지원하는 메모리 △카메라에서 들어오는 영상을 전처리하는 ISP(이미지 신호 프로세서) 세트로 이뤄져 있습니다.

이 때문에 비용도 고가입니다.

부품 업계와 증권 업계에 따르면 HW 원가만 800달러(약 110만원) 정도로 추산됩니다.

여기에다 8개 카메라(400달러)와 초음파 및 레이더(300~500달러) 등을 합할 경우 2000달러 안팎에 달할 것으로 보고 있습니다
자동차에 이렇게 비싼 컴퓨터를 다는 이유는 단순히 기능을 추가하기 위해서가 아닙니다.

자율주행 성능은 AI에 달려 있고, AI의 힘은 연산능력에 달려 있기 때문입니다.

HW3의 총성능은 약 144TOPS(초당 144조번 연산)인 데 반해 HW4는 300~500TOPS(초당 300조~500조번 연산) 능력을 갖고 있는 것으로 추정됩니다.

컴퓨팅 파워는 곧장 자율주행 성능에 직결됩니다.

예를 들어 자율주행차가 좌회전 우회전을 한다고 해보겠습니다.

회전 한 번을 위해 자동차는 △카메라와 레이더로 주변 차량·보행자·신호등·도로 표시 감지 △회전 각도와 속도 계산 △주변 차량과 충돌하지 않도록 경로 예측 △날씨나 노면 상태 반영 △돌발 상황 대비한 시뮬레이션 등 수십억 번의 연산이 필요합니다.

엔드투엔드 주행이 온다
테슬라는 이에 그치지 않고 이르면 내년 2000~2500TOPS 성능을 갖춘 'AI5'를 준비하고 있는 것으로 알려졌습니다(테슬라에서는 HW4부터 HW4와 AI4로 혼용해 부르고 있습니다). 이를 위해 테슬라는 AI5 위탁 생산 기업으로 삼성전자와 TSMC를 선택한 것으로 전해졌습니다.

내년부터 양산이 유력합니다.

테슬라가 갈수록 반도체 설계에 집중하는 이유는 사고 예방 때문입니다.

미래의 차는 핸들도 브레이크도 액셀도 필요 없을 텐데요. 사고 방지를 위해 당연히 엄청난 안전성, 곧 연산 능력이 필요합니다.

이뿐만이 아닙니다.

AI 학습을 위한 칩셋 역시 필요합니다.

테슬라는 추론형 칩으로 HW4를 개발한 것을 넘어 학습용 AI데이터센터인 코르텍스를 구축했습니다.

머스크가 이끄는 테슬라와 AI 기업 xAI는 지난 한 해만 100억달러(13조7000억원) 이상을 AI에 투자했습니다.

이들 기업은 초창기에만 5만개의 엔비디아 H100 GPU를 코르텍스에 설치했는데요. 앞으로 35만개까지 추가 확보할 계획입니다.

자율주행 시대가 서서히 다가오고 있습니다.

특히 주차장에서 목적지까지 운전대 조작 없이 이동할 수 있는 이른바 엔드투엔드(end-to-end·E2E) 자율주행 기술을 선보인 곳은 테슬라뿐만이 아닙니다.

구글 계열의 웨이모와 중국의 바이두·샤오펑·지커·리오토 역시 주행에 성공했거나 진행 중입니다.

이들 주요 테크 기업은 반도체 활용에 진심입니다.