D램에 연산 맡겼더니…SK하이닉스, AI 추론 3.2배↑

MICRO 2026서 ‘C³’ 기술 발표검색 처리량·에너지 효율 개선AI 추론 확대에 기술 개발 속도

[뉴스토마토 이명신 기자] SK하이닉스(000660)가 별도의 연산회로를 추가하지 않고 범용 D램을 인공지능(AI) 연산에 활용하는 기술을 개발했습니다. AI 산업의 무게중심이 학습에서 추론으로 이동하면서 데이터 이동의 중요성이 커지는 가운데, SK하이닉스도 메모리가 데이터 저장을 넘어 연산에 참여하는 기술개발을 확대하고 있습니다.

 

지난해 10월 서울 코엑스에서 열린 ‘SEDEX 2025’에서 SK하이닉스가 전시한 PIM(프로세싱인메모리) 솔루션. (사진=이명신 기자)

 

15일 업계에 따르면 SK하이닉스 아메리카와 미국 코넬대 연구진은 다음 달 31일부터 11월4일까지 그리스 아테네에서 열리는 국제 컴퓨터 구조 학회 ‘MICRO 2026’에서 범용 D램을 AI 연산에 활용하는 ‘C³’ 기술 연구 결과를 발표할 예정입니다. MICRO는 컴퓨터 시스템 구조 분야의 주요 국제학술대회입니다. SK하이닉스는 지난해에도 MICRO에서 HBM(고대역폭메모리)·CXL(컴퓨트익스프레스링크)·PIM(프로세싱인메모리) 등 차세대 메모리 기술을 소개하는 별도 튜토리얼을 진행했습니다.

 

C³는 D램 자체를 연산에 활용하는 PuD(프로세싱 유징 D램) 기술을 적용한 아키텍처(설계 구조)입니다. 기존 컴퓨터에서는 D램에 저장된 데이터를 중앙처리장치(CPU)나 그래픽처리장치(GPU)로 가져와 연산한 뒤 다시 메모리로 보내야 합니다. C³는 별도의 D램 하드웨어 변경 없이 기존 범용 D램을 일부 연산에 활용해 프로세서와 메모리 사이의 데이터 이동을 줄이는 방식입니다.

 

SK하이닉스 아메리카에 따르면 연구진은 C³를 적용해 양자화 대규모언어모델(LLM) 추론 처리량을 최대 3.2배 높였습니다. 방대한 데이터에서 질문과 의미상 연관성이 높은 정보를 찾아내는 ‘밀집 검색(Dense Retrieval)’ 처리량은 최대 2.4배, 에너지 효율은 최대 6.2배 개선됐습니다. SK하이닉스 아메리카는 C³가 별도의 하드웨어 변경 없이 범용 D램에서 신뢰성 있는 인메모리 연산을 구현한 첫 사례라고 설명했습니다.

 

PuD는 메모리가 연산에 참여해 데이터 이동을 줄이는 PIM의 한 접근법입니다. PIM이 메모리에 별도의 연산 기능을 추가해 데이터를 처리한다면, PuD는 D램 자체가 가진 동작 특성을 연산에 활용한다는 차이가 있습니다.

 

SK하이닉스는 메모리에서 연산을 처리해 데이터 이동을 줄이는 다양한 기술을 개발하고 있습니다. 올해 CES 2026에서는 PIM 기반 AI 가속 솔루션 ‘AiMX’와 D램 셀(Cell)에서 간단한 연산을 직접 처리하는 ‘CuD(컴퓨트 유징 D램)’를 차세대 AI 메모리 기술로 제시했습니다. 여기에 SK하이닉스 아메리카 연구진이 범용 D램을 활용한 PuD 연구를 진행하면서, 메모리가 연산에 참여하는 방식도 다양해지고 있습니다.

 

김천성 SK하이닉스 솔루션개발 부문장이 지난달 ‘FMS 2026’에서 기조연설을 하고 있다. (사진=SK하이닉스)

 

이 같은 개발 방향은 AI의 중심이 대규모 모델을 만드는 학습에서 학습된 모델을 실제 서비스에 사용하는 추론으로 이동하는 움직임과 맞물립니다. AI가 사용자와 긴 대화를 이어가거나 복잡한 작업을 수행하려면 앞서 처리한 정보를 기억하고 계속 활용해야 합니다.

 

이를 위해 이전에 처리한 정보의 일부를 ‘KV 캐시’ 형태로 메모리에 저장하는데, 대화와 작업이 길어질수록 저장해야 할 정보가 늘어나 메모리 용량뿐 아니라 데이터를 주고받는 데 드는 부담도 커집니다.

 

김천성 SK하이닉스 솔루션개발부문장은 지난달 ‘FMS 2026’에서 “AI가 학습 중심에서 대규모 추론, 나아가 에이전틱 AI로 확장되면서 인프라 경쟁력은 개별 메모리 제품의 성능만으로 결정되지 않는다”며 “각 메모리 계층을 어떤 위치에 배치하고 연결해 데이터 이동을 최소화하느냐가 전체 효율을 좌우하게 될 것”이라고 말했습니다.

 

PIM과 PuD, CuD 등 다양한 방식의 연구가 이어지면서 메모리의 역할도 단순한 데이터 저장·전달에서 AI 연산의 일부를 담당하는 방향으로 확대되고 있습니다. 다만 아직 연구·개발 단계에 있는 기술이 많은 만큼 실제 상용화까지는 시간이 더 필요하다는 게 업계의 시각입니다.

 

업계 관계자는 “AI가 처리해야 할 데이터가 워낙 많아지다 보니, 데이터 이동과 전력 소모를 낮추는 등 효율을 높이기 위한 기술 연구가 활발히 진행되고 있다”면서 “다만 이런 기술이 AI 서버 단위에서 쓰이기 위해선 패키징 구조, 연산량 등 점검해야 할 부분들이 있다”고 했습니다.

 

이명신 기자 [e-mail]

이 기사는 뉴스토마토 보도준칙 및 윤리강령에 따라 오승훈 산업1부장이 최종 확인·수정했습니다.