최원혁, 2024년 3월 28일 12:00 작성
xAI의 공식 블로그 (출처 : https://x.ai/blog/grok)
일론 머스크가 예고했던대로, 3월 17일(현지 시간 기준) Grok-1이 공개되었습니다. 하루가 멀다하고 새로운 거대 모델들이 쏟아지고 있는 지금, 어째서 Grok-1의 등장이 중요한지 소식을 전해드릴게요.
일론 머스크의 인공지능 기업인 xAI에서 Grok-1 대규모 언어 모델을 발표했습니다. Grok-1은 Autoregressive Transformer 기반 모델로 314B 개의 파라미터를 가지고 있는 모델입니다. 현재 github, huggingface등의 중요 사이트에 아키텍처와 가중치가 오픈 소스로 공개가 되었습니다. Grok-1은 자체 데이터를 활용하여 학습된 MoE 모델입니다. MoE란, Mixture of Experts의 줄임말로 다양한 전문가들이 모여 하나의 목표를 달성하는 것을 말하는데요. 인공지능 네트워크에서도 마찬가지로 다양한 분야에 특화된 전문가 네트워크를 여러 개 결합하여 사용합니다.
Switching FFN Layer의 시각적 표현 (출처 : https://paperswithcode.com/method/switch-ffn)
위 그림은 MoE 구조를 시각적으로 표현한 것입니다. 현대 거대 LLM 모델들의 근간이 되는 Transformer 구조와 흡사한데요. 자세히 보시면 기존 FFN Layer를 대체한 Switching FFN Layer가 있으며, 여러 ‘게이트’ 시스템을 이용해 다양한 전문가 네트워크를 이용하는 모습을 나타내고 있습니다.
그동안, 그리고 현재까지도 여러 벤치마크에서 SOTA(State-of-the-Art, 특정 분야에서 가장 높은 정확도를 기록함)를 달성하고 있던 GPT-4는 오픈 소스가 아니었습니다. 그렇기에 오픈 소스 인공지능 연구 진영에서는 다양한 오픈 모델을 이용하여 연구와 개발을 이어가고 있었는데요, 이번 Grok-1의 아키텍처와 가중치가 완전히 오픈 소스로 공개됨에 따라 모든 개발자들의 니즈에 따라 자유롭게 변경할 수 있는 거대 모델이 새롭게 나타났습니다. 앞으로 Grok-1에 생겨날 다양한 변화들이 기대되네요. 다만, 314B의 엄청난 양의 매개변수를 가지고 있기에 모델의 용량 자체가 사용자들에게는 진입 장벽으로 느껴질 것입니다. 상당한 성능을 가진 GPU들을 가지고 있지 않다면, 더 경량화된 모델을 사용할 수 밖에 없겠네요.
대부분의 벤치마크에서 GPT-3.5보다 약간 높은 점수를 받았는데요. 그럼에도 불구하고 OpenAI의 GPT-4가 아직 월등히 높습니다.
xAI가 공개한 여러 지표에서의 Grok-1의 성능 (출처 : https://x.ai/blog/grok)
각 벤치마크에 대한 설명 (각 수치에 나와있는 #-shot은, 모델이 해당 작업을 수행하기 이전에 얼마 많은 개수의 예제를 학습했는지를 의미합니다):
인터넷에 이미 Grok AI를 사용한 베타테스터들의 질의 응답 내용이 올라오고 있는데요, 이를 바탕으로 Grok-1만의 재미있는 특징들에 대해 알아보겠습니다!
xAI 팀의 설명에 의하면, Grok은 ‘은하수를 여행하는 히치하이커의 안내서’를 모델로 한 인공지능이라는데요. 그래서인지 재치있고, 반항적이고 유머러스한 답변을 생성한다고 합니다. 더불어 ChatGPT는 답변하지 않는 질문에도 아래와 같이 재치있게 답변하는 모습을 보여주고 있네요.
코카인 제조방법을 Grok에 물어본 결과 (출처 : Elon Mask X)
글쓴이가 ChatGPT에 질문한 결과