[스터디노트] 엔비디아(NVIDA), GPU, AI반도체 기초

엔비디아(NVIDA)에 대해 스터디 하고 있는 것들을 스크랩 하고 있습니다.

(마지막 업데이트 일자: 2024. 03. 01)

 

CPU와 GPU의 차이

CPU와 GPU는 모두 메모리로부터 데이터를 받아서 연산하고 결과물을 내놓는 건 장치이다.
다만 CPU는 복잡한 연산을 하는데 특화되어 있고, GPU는 단순한 연산을 병렬 방식을 통해 빠르게 처리하는데 특화되어 있다.
AI를 학습하는 딥러닝에는 방대한 연산을 빠르게 처리하는 것이 필요하여 GPU가 활용되고 있다.

 

 

무엇이 AI반도체인가?

출처: YouTube '압권 Apkwon'

그동안은 연산을 빠르게 하기 위한 GPU성능을 향상 시키는데 주력하였다.
그런데 인공지능의 시대에서는 처리해야할 데이터의 양이 무지막지하게 많아졌다.
그에 따라 연산 자체를 빠르게 하는 것 만큼이나 연산 장치(GPU)에 방대한 양의 데이터를 빠르게 전송하는 기술 역시 중요해졌다.
GPU가 아무리 빨라도 처리해야할 데이터가 느리게 오면 최종 결과물의 생성도 느리니까.

 

 

 

출처: YouTube '압권 Apkwon'

메모리에 있는 데이터를 연산 장치(GPU)로 빠르게 보낼 수 있는 기술들이 개발 되고 있다.
영상의 좌측 이미지 처럼,
- 메모리를 연산 장치에 가깝게 위치 시킬수록 빠르게 전달 할 수 있다.
- 메모리와 연산 장치를 연결하는 선이 많을 수록 빠르게 전달 할 수 있다.
(그래서 좌측 이미지에서는 메모리 하나당 하나씩 연산장치와 연결하는 선을 붙였다.)

그러나 좌측 이미지 처럼 구성하는 것으로도 부족하다.
- 연산 장치와 가깝게 메모리를 4면을 둘러 싸고 나면 공간이 부족해서 메모리를 많이 배치할 수가 없다.
- 메모리와 연산장치를 연결하는 선이 메모리 하나당 1라인 뿐이다.

 

 

출처: YouTube '압권 Apkwon'

그래서 메모리를 연산장치 주변에 층층이 쌓아올리는 HBM이 각광받고 있다.
뿐만 아니라 수직 방향을 활용하여 메모리와 연산장치를 연결하는 라인을 굉장히 여러개 만들 수 있다.
이렇게해서 방대한 양의 데이터를 빠르게 전송하고 빠르게 처리할 수 있게 만든 것이 AI반도체 이다.

 

 

엔비디아(NVDIA)의 경쟁력

SK하이닉스로부터 공급 받은 HBM과 본인들의 연산장치를 합쳐 AI반도체를 만든다.
이때 엔비디아의 경쟁력은 연산장치의 성능도 있지만,
메모리에서 연산장치로 데이터를 전송할 때 그 속도를 제어하는 기술과 노하우가 큰 경쟁력이라고 한다.
구글도 이 제어 기술이 없어서 브로드컴의 기술을 사용하고 있다고 한다.

뿐만 아니라 기존에는 CPU 체계안에서 CPU를 중심으로 GPU를 동작시켰다면
이 영역에서는 GPU가 핵심 역할을 하게 되면서 GPU 기반의 체계가 필요하게 됐다.
이러한 상황에서 엔비디아는 'CUDA' 라는 소프트웨어 생태계를 구축하여 시장을 장악했다.
이에 많은 프로그램들이 'CUDA' 기반으로 만들어지다보니 이 생태계를 벗어나서 새로운 프로그램을 만들기 어려운 상황을 만든 것이다.

즉, 인공지능 시장에서 경쟁력 있는 하드웨어 기술과 소프트웨어 생태계 장악으로 시장을 거의 독점하고 있는 상황이다.

 

 

나아가야할 길

출처: YouTube '압권 Apkwon'

 AI반도체의 성능을 개선할 수록 전력 사용량이 증가한다.
전력사용량이 증가하면 발열도 더 많이 발생하는데, 발열은 성능저하, 오작동, 고장 등의 원인이 된다.
따라서 냉각을 통해 온도를 낮춰줘야 한다.
낮는 전력사용량에서는 공기냉각방식으로 커버할 수 있다.
그러나 전력사용량이 높아질 수록 공기냉각방식으로 커버가 어려워지며 수냉식을 사용해야 한다.
공기냉각방식은 팬(fan)을 칩 주변에 적절히 설치해서 팬을 돌려 온도를 낮추는 방식이다.
따라서 칩은 바꾸려고 하면 칩만 떼다가 다른 걸로 교체할 수 있다.
수냉식은 물(냉매)이 칩 주변을 지나가게 해서 온도를 낮추는 방식이다.
즉, 물이 지나가는 길을 만들어야하기 때문에 맞춤형으로 만들어야한다.
칩을 교체하게 될 경우 통째로 교체해야할 수 있다.
결론적으로 수냉식이 공기냉각방식 보다 비싸다.
안그래도 비싼데 냉각장치를 다는 것도 비싸다.
(마이크로소프트에서는 차라리 액체 안에다가 반도체 칩을 담구는 방식도 제안했다고 한다)

전력사용량도 많고, 냉각도 비싸고.
-> 현재의 AI반도체는 비싸다. 더 효율화가 필요하다.

 

새로운 기회

 위에서처럼 현재의 AI반도체는 비싸고 더 효율화가 필요하다.
인공지능을 개발하고 활용하는 것을 크게 두 단계로 나눠볼 수 있다.
(1)학습단계, (2)추론단계.
(1)학습단계에서는 전세계에 있는 방대한 양의 데이터를 통해 학습한다.
(2)추론단계에서는 (1)에서 학습한 것을 바탕으로 어떤 요구사항에 대해 답을 도출(추론)해 낸다.

이때 이러한 시장의 움직임이 있다.
'(1)의 단계에서는 어쩔 수 없다. 엔비디아 칩을 사용하자.
그리고 (1)의 학습단계는 대규모 언어 모델을 운용하는 빅테크(마이크로소프트, 구글 등) 정도가 하면 되지 않겠느냐,
(2)추론단계에서는 학습된 모델에서 특정 서비스에 필요한 것들만 따로 떼어내 압축한 알고리즘과 그정도 알고리즘만 잘 소화할 수 있는 반도체칩 정도로 해결할 수 있지 않겠느냐. 엔비디아의 아주 고성능 칩이 아니더라도.
그리고 (2)의 단계가 소비자들과 직접적으로 서비스로 닿는 부분이라 사용자마다, 기기마다 반도체칩이 필요할 것이고 그 시장이 훨씬 더 클 것이다'
라는 시장의 움직임.

그렇다면 (2)추론단계에 활용할 반도체를 만드는 기업, 기기를 만드는 기업, 서비스를 만드는 기업은 어떤 곳들이 있으며 무엇을 하려고하는지 알아보면 좋지 않을까?

 

 

엔비디아(NVIDA)의 역사 요약

 엔비디아의 창업자 젠슨황은 AMD, LSILOGIC에서 일하면서 개인용 컴퓨터가 발달하면서 향후 게임이나 멀티미디어가 함께 성장할 것이라고 생각했다. 그래서 같은 업종에 종사하던 친구들(크리스 말라초스키, 커티스 프리엠)과 함께 엔비디아를 창업한다. 그들은 CPU가 아닌 All-in-one 멀티미디어 솔루션 개발을 목표로 하고 그 타겟 시장을 게임 시장으로 정했다. 우여곡절 끝에 GPU라는 것을 개발하고 게임 그래픽 시장의 선두 주자가 된다.
 젠슨은 게임 그래픽 시장 이후 미래 먹거리를 고민하던 중 '딥러닝'에 주목하게 된다. 딥러닝에는 상당한 양의 행렬 곱셈이 필요했는데 여기에 엔비디아의 GPU가 효율적인 퍼포먼스를 보여주게 된다. 그래서 GPU를 AI를 위한 필수 도구로 포지셔닝하는 것을 새로운 목표로 설정하고 하드웨어와 소프트웨어를 아우르는 생태계를 만들고 있다.

참고영상: YouTube '세상의모든지식'

 

 

YouTube '압권 Apkwon' 영상 보러가기

https://youtu.be/WT_r6DCHE_g?si=pVMNAPg0ZP9FYxJ8

 

 

YouTube '세상의모든지식' 영상 보러가기

https://youtu.be/aFIY7R_eVF4?si=IlPplfpnq3Y1Lxyr