인공지능 분야에 국내 에지 AI칩 안착
엣지 AI 칩
최근 사물인터넷의 부상으로 인한 데이터 충격으로 인해 중요한 IoT 센서 데이터의 처리가 데이터의 원래 위치에 점점 더 가까워지고 있으며, 엣지 컴퓨팅 기반의 머신러닝 기술에 대한 요구가 높아지고 있다. . 지난 2년 동안 인공 지능 개발의 주제는 매우 명확했습니다. 즉, 상륙 응용 프로그램입니다. 많은 AI 기술 중 상위 알고리즘 응용 프로그램이든 제품이든 궁극적으로 기본 컴퓨팅 성능, 즉 AI 칩의 보장에 달려 있습니다.
엣지 AI 시장 랜딩 트렌드
지난해부터 엣지 AI 시장은 폭발적인 시기에 진입했고 AIoT 단말의 수도 스마트폰을 넘어섰다. AI 착륙 시나리오의 관점에서 AI 칩의 두 가지 주요 워크로드는 주로 데이터 교육 및 추론 계산입니다. 그 중 추론 컴퓨팅 시장 점유율의 성장률이 데이터 교육 시장을 따라잡고 있습니다.
이제 알고리즘 모델은 2KB만 달성할 수 있지만 성능은 4MB 신경망 알고리즘 이상입니다. 딥 러닝 알고리즘의 소형화는 GPT-3으로 대표되는 초대형 모델이 엔터프라이즈 시장에 적합하지 않음을 보여줍니다.
새로운 IoT 프레임워크에서 데이터는 디바이스에서 로컬로 처리될 수 있습니다. 이를 위해서는 컴퓨팅 성능, 전력 소비 및 실리콘 영역 할당을 포함하여 기본 칩 설계의 다양한 시나리오에서 알고리즘 모델의 제한된 배포 조건을 고려해야 합니다. 단위 컴퓨팅 파워의 비용 효용의 관점에서 추론 계산은 엔터프라이즈 수준의 시장에서 요구하는 착륙 방향을 더 잘 나타낼 수 있습니다.
엣지 AI 칩 랜딩 챌린지
첫 번째는 엣지 AI의 시나리오가 다양하고 시나리오마다 칩의 전력 소비 및 성능에 대한 요구 사항이 다르다는 것입니다. 한편, 단편화된 시나리오의 시장 용량은 불확실하며, 엔지니어링 비용과 칩 연구 개발의 이점 사이의 균형을 맞추는 것이 필요하며 이는 모든 칩 제조업체가 직면해야 하는 테스트입니다.
고품질 데이터를 획득하는 것, 즉 빅 데이터에서 신뢰할 수 있는 데이터를 필터링하는 방법도 큰 어려움입니다. 빅 데이터는 고품질 데이터를 의미하지 않으며 AI 칩에서 딥 러닝 작업을 수행하려면 하드웨어 센서의 지속적인 최적화가 필요합니다.
또한 기존 고객의 경우 스마트 제품의 조달 비용 외에 사용 비용도 발생합니다. 칩의 전력 소비와 제품의 배포 용이성 여부는 모두 AI의 구현 및 촉진에 영향을 미칩니다. 칩 제조업체가 다양한 시나리오에 따라 다양한 컴퓨팅 성능으로 칩을 맞춤화하는 방법도 랜딩 링크의 골칫거리입니다.
현재 엣지 AI 칩은 고가용성 개발 플랫폼이 부족하고 소프트웨어 컴파일 도구의 설계가 복잡하며 사용자의 개발 및 사용 임계값이 높지만 예상할 수 있는 것은 착륙 과정에서 계속 개선되고 반복될 것입니다.
상업용 엣지 AI 칩
햇살 시리즈
AIoT를 위해 Horizon은 Rising Sun 시리즈 에지 AI 칩을 출시했습니다. IC 설계와 소프트웨어의 공동 노력을 통해 성능, 전력 소비, 유연성 및 비용 간의 균형이 달성되었습니다. Rising Sun 2 edge AI 칩은 BPU Bernoulli 1.0 아키텍처를 채택하여 4TOPS에 해당하는 컴퓨팅 성능을 제공하고 여러 유형의 대상에 대한 실시간 탐지 및 정확한 인식을 수행할 수 있습니다. Rising Sun 2는 다양한 주류 AI 작업을 효율적으로 지원할 수 있는 Dual-Cortex A53을 통합합니다. 또한 EMCC 및 SPI 플래시를 지원합니다.
Rising Sun 3는 저전력 소비 및 고성능을 갖춘 차세대 AIoT 에지 AI 칩에 중점을 두고 Horizon에서 출시되었습니다. 5TOPS와 동등한 컴퓨팅 성능을 제공할 수 있는 Horizon의 가장 진보된 Bernoulli 2.0 아키텍처 AI 엔진(BPU)을 통합합니다.
새로운 BPU 아키텍처는 고급 CNN 네트워크 아키텍처에 대한 지원을 크게 개선하고 AI 작업으로 DDR 대역폭의 점유율을 크게 줄입니다. Horizon Tiangong Kaiwu AI 개발 플랫폼으로 보완되어 알고리즘 개발 및 배포 프로세스를 크게 단순화하고 AI 제품의 랜딩 비용을 줄입니다.
Bernoulli 2.0 BPU 구조에서는 DDR Utilization이 5배 증가합니다. 고급 ISP 처리 알고리즘을 통해 광역 동적 및 저조도 장면에서 1200w 픽셀 고품질 이미지를 얻을 수 있습니다. Rising Sun 3는 4~8개의 서로 다른 해상도의 카메라 센서 입력을 동시에 처리할 수 있으며 다양한 이미지 후처리를 지원하며 4K@60fps의 성능으로 H.264/H.265 인코딩 및 디코딩도 지원합니다.
1
(일출 3)
간지 K210 /K510
1세대 칩 Kanzhi K210은 머신 비전 작업을 위해 특별히 설계되었으며 부동 소수점 컴퓨팅 성능은 임베디드 분야의 주류 개발 옵션에 필적하는 1.28TFLOPS에 도달할 수 있습니다. 동시에 전력 소비는 0.3W에 불과하고 일반적인 작업 시나리오의 전력 소비는 1W 미만이며 컴퓨팅 전력 단위당 전력 소비가 낮아 매우 경제적인 선택입니다. 2세대 Kanzhi K510은 실제 착륙 상황과 고객 피드백에 따라 업그레이드되었습니다. 이 IP 코어는 신경망의 다양한 수준에서 컴퓨팅 리소스, 스토리지 및 대역폭에 대한 요구 사항을 실현하고 데이터 재사용률을 높이고 칩의 전력 소비를 줄이기 위해 재설계되었습니다.
둘째, 데이터 수집의 속도와 품질을 위해 Kanzhi K510에는 완전히 새로운 비전 모듈이 장착되어 있습니다. 1세대 칩에 비해 K510은 프레임 레이트와 주변기기 면에서 크게 최적화됐다. 테라바이트당 프레임 속도는 업계 최고의 수준에 도달했습니다. 또한 K510은 모델 양자화에 적합하지 않은 시나리오에서 유사한 제품에 비해 이점이 있는 부동 소수점 BF16 계산도 지원합니다.
2
(비디오 하위 시스템의 개략도)
요약
장기적으로 엣지 AI 칩은 엔터프라이즈 IoT 애플리케이션을 완전히 새로운 수준으로 끌어올릴 것입니다. AI 칩으로 구동되는 스마트 기기는 제조, 건설, 물류, 농업, 에너지 등 다양한 산업의 가치 분배 방식을 변화시키면서 기존 시장을 확장하는 데 도움이 될 것입니다.