Jalapeño가 드러낸 LLM 추론칩 설계 전환

2026년 6월 공개된 OpenAI·Broadcom의 Jalapeño는 AI 가속기를 단순 연산 장치가 아니라, 모델 커널·메모리 이동·네트워크·서빙 스케줄러를 함께 맞추는 추론 시스템으로 바라본다. 아직 최종 성능 수치는 공개되지 않았지만, 이 발표가 서비스 팀에 남긴 설계 질문은 분명하다. 더 빠른 모델을 기다리기 전에 우리 워크로드의 병목이 계산·메모리·네트워크 중 어디에 있는지를 측정해야 한다.