Moonshot AI가 2.7조 개의 파라미터를 가진 오픈 가중치 AI 모델 Kimi K3를 공개했습니다. 이는 공개된 모델 중 가장 큰 규모입니다.
오픈 가중치의 의미
오픈 가중치 모델은 훈련된 파라미터를 누구나 다운로드하여 사용할 수 있도록 공개하는 방식입니다. 이는 파라미터를 비공개로 유지하고 API를 통해서만 접근을 허용하는 폐쇄형 모델과 다릅니다. 연구자와 개발자는 Kimi K3를 자체 서버에서 실행하고, 특정 작업에 맞게 미세 조정하거나 내부 동작 방식을 연구할 수 있습니다.
모델 규모
2.7조 개의 파라미터는 매우 큰 규모입니다. 이는 더 복잡한 작업을 처리할 수 있지만, 실행에 상당한 컴퓨팅 리소스가 필요함을 의미합니다. 이 모델은 대규모 GPU 클러스터에 접근할 수 있는 조직에서 주로 사용될 것으로 보입니다.
Moonshot AI는 Kimi K3의 벤치마크 결과나 훈련 데이터에 대한 세부 정보를 공유하지 않았습니다. 발표는 모델의 크기와 오픈 가중치 성격에 초점을 맞췄습니다. 이 모델은 회사 웹사이트에서 다운로드할 수 있으며, 연구자들은 지금부터 접근하여 기능을 실험할 수 있습니다.
