소개
Groq는 자체 개발한 LPU(Language Processing Unit) 칩으로 LLM 추론을 초고속으로 처리하는 플랫폼입니다. Llama, Mixtral 등 오픈소스 모델을 매우 낮은 지연시간으로 제공하며, 개발자 API도 지원합니다.
주요 기능
초고속 LLM 추론
LPU 칩
오픈소스 모델
낮은 지연시간
API
업데이트 히스토리
NVIDIA 비독점 추론 기술 라이선스 계약 체결
- •NVIDIA와 비독점 추론 기술 라이선스 계약 체결
- •글로벌 규모의 AI 추론 가속화를 위한 전략적 파트너십
미국 에너지부 파트너십 체결
- •미국 에너지부(DOE)와 AI 추론 및 차세대 컴퓨팅 인프라 발전을 위한 파트너십 체결
- •11월: 시드니 데이터센터 오픈으로 아시아태평양 지역 확장
MCP 커넥터 베타 출시
- •Model Context Protocol(MCP) 커넥터 지원
- •외부 도구 및 데이터 소스 연결 가능
- •에이전트 워크플로우 구축 간소화
가격
무료 (제한) / API 사용량 기반
지원 플랫폼
webapi
