FuriosaAI 사용법
FuriosaAI는 데이터 센터에서 LLM 및 다중 모드 배포를 위해 특별히 설계된 고성능, 에너지 효율적인 AI 가속기를 개발하는 반도체 회사입니다.
더 보기FuriosaAI 사용 방법
조기 접근 프로그램 등록: [email protected]에 연락하여 조기 접근 프로그램(EAP)에 등록하고 최종 사용자 라이선스 계약(EULA)에 동의합니다.
인증 설정: 등록 후 FuriosaAI IAM에 로그인하고 FuriosaAI 서비스에 접근하는 데 필요한 새로운 API 키를 생성합니다.
APT 저장소 구성: 공식 서명 키를 등록하고 API 키 인증을 구성하여 Ubuntu/Debian에서 FuriosaAI APT 저장소를 설정합니다.
필요한 패키지 설치: 구성된 저장소를 사용하여 APT 패키지 관리자를 통해 커널 드라이버, 펌웨어 및 런타임 라이브러리를 설치합니다.
SDK 설치: 컴파일러, 프로파일러 및 기타 개발 도구를 포함하는 Furiosa SDK를 pip를 사용하여 설치합니다.
모델 동물원 설치: FuriosaAI NPU에 최적화된 사전 훈련 및 사전 양자화된 모델에 접근하기 위해 furiosa-models 패키지를 설치합니다.
개발: Python/C SDK, 런타임 라이브러리 및 명령줄 도구를 사용하여 FuriosaAI NPU 하드웨어를 활용한 AI 애플리케이션을 개발합니다.
모델 배포: furiosa-serving 패키지를 사용하여 모델을 배포하고 FuriosaAI 하드웨어에서 추론을 위한 제공된 API를 활용합니다.
FuriosaAI 자주 묻는 질문
FuriosaAI는 2017년에 설립된 AI 칩 스타트업 회사로, AI 배포를 위한 차세대 NPU(신경 처리 장치) 제품을 제작하며, 최신 제품은 Furiosa RNGD 데이터 센터 가속기입니다.
더 보기