독일의 연구 컨소시엄이 Soofi S를 공개했다. 300억 파라미터의 오픈 언어 모델로, 완전히 오픈된 경쟁 모델들 가운데 영어와 독일어를 합친 벤치마크에서 선두를 달리면서도 훨씬 작은 시스템 수준의 추론 비용으로 동작한다고 팀은 주장한다. 이번 출시는 단순히 또 하나의 모델 발표 이상의 의미가 있다. 미국 하이퍼스케일러의 API에 의존하지 않고도 성능 경쟁이 가능한, 유럽에서 만든 독일어 중심의 파운데이션 모델에 대한 직접적인 주장이기 때문이다.

이번 공개에는 이례적인 단서도 붙었다. The Decoder의 보도와 거기서 인용된 컨소시엄의 업데이트된 기술 보고서에 따르면, 과학 벤치마크 GPQA의 테스트 질문이 데이터셋 분할 실수로 인해 실수로 학습 데이터에 들어갔다는 사실이 밝혀졌다. 커뮤니티가 문제를 확인한 뒤 컨소시엄은 GPQA를 평가에서 제외하고 비교한 모든 모델의 결과를 다시 계산했으며, 순위는 바뀌지 않았다고 밝혔다. 이처럼 야심찬 벤치마크 주장과 공개적인 오염 수정이 결합되면서, Soofi S는 기술 설계 측면뿐 아니라 이제 맞닥뜨린 투명성 검증 측면에서도 주목받게 됐다.

Soofi S가 다르게 하려는 것

The Decoder에 따르면 Soofi S 30B-A3B는 총 316억 파라미터, 토큰당 활성 파라미터는 약 32억인 Mixture-of-Experts 시스템이다. 컨소시엄은 표준적인 밀집형 Transformer를 전면적으로 쓰는 대신, Nvidia의 Nemotron 3 Nano 하이브리드 설계를 채택해 Mamba-2 레이어와 전통적인 어텐션 레이어를 결합한 것으로 보인다.

이 아키텍처 선택은 프로젝트의 핵심이다. 일반적인 Transformer 모델에서는 긴 프롬프트가 어텐션에 쓰이는 KV 캐시에 부담을 더해, 컨텍스트 윈도우가 늘어나거나 더 많은 요청을 병렬 처리할수록 처리량이 떨어질 수 있다. Soofi S의 설계는 이 캐시를 유지하는 레이어가 소수에 불과해 그 영향을 제한하는 것으로 알려졌다. The Decoder는 컨소시엄이 4,000토큰에서 256,000토큰까지 거의 평탄한 처리량을 측정했으며, 40,000토큰과 32개의 병렬 요청 조건에서 Soofi S가 14B~24B대의 밀집형 모델보다 GPU당 초당 토큰 수를 약 8배 더 많이 생성했다고 전했다.

이 수치는 독립적인 제3자 벤치마크가 아니라 컨소시엄 자료에서 나온 측정값이다. 그래도 실제 배포에서 그대로 재현된다면, 문서가 많은 애플리케이션, 장문 컨텍스트 코파일럿, 그리고 원시 벤치마크 점수만큼이나 지연 시간과 GPU 활용률이 중요한 기업 시스템을 만드는 팀들에게 의미가 있다.

The Decoder에 따르면 이 모델은 Deutsche Telekom 인프라, 구체적으로 뮌헨의 Industrial AI Cloud에서 완전히 학습됐다. 이는 또 다른 이유에서 중요하다. 유럽의 소버린 AI 프로젝트는 신뢰할 만한 컴퓨팅 접근성과 신뢰할 만한 기술 결과를 모두 보여주는 데 자주 어려움을 겪어왔다. Soofi S는 지역에서 학습되고 공개된 모델이 로컬 인프라를 사용하면서도 주류 평가에서 경쟁할 수 있다는 증거로 명확히 포지셔닝된다.

영어를 포기하지 않는 독일 우선 데이터 전략

컨소시엄의 가장 큰 전략적 베팅은 아키텍처보다 데이터 믹스에 있는 것으로 보인다. The Decoder는 독일어 비중이 첫 번째 학습 단계에서 7.2%, 두 번째 단계에서 15.3%였다고 보도했다. 이는 Nvidia의 Nemotron 기준 레시피에서 영어가 아닌 모든 언어를 합친 약 5%와 비교된다.

보도에 따르면 학습은 약 27조 토큰에 걸쳐 세 단계로 진행됐다. 웹, 코드, 수학, 도메인 텍스트를 폭넓게 훑는 첫 단계, 더 고품질 자료를 다루는 두 번째 단계, 그리고 최대 100만 토큰 길이의 문서를 포함한 더 짧은 장문 컨텍스트 단계였다. 독일어 비중은 HPLT, German Commons, FinePDFs, FineWiki, 그리고 상업적으로 라이선스된 독일 뉴스 콘텐츠 아카이브 Genios 등에서 나왔다. 팀은 기계 번역 및 합성 독일어 텍스트도 사용했다.

이 데이터 가중치는 컨소시엄 자체 평가에서 효과를 낸 것으로 보인다. The Decoder에 따르면 Soofi S는 OLMo 3 32B와 Apertus 70B를 포함한 16개의 오픈 경쟁 모델과의 비교에서 영어와 독일어 종합 점수로 완전 오픈 모델 중 선두를 차지했다. 독일 특화 지식에서는 INCLUDE-DE에서 Qwen3.5 35B-A3B와 동률이었다고 한다. 프로그래밍 테스트에서는 HumanEval 73.8, MBPP 70.2, 독일어 MBPP 84.2라는 보고 점수가 컨소시엄 벤치마크 세트에서 오픈소스 경쟁 모델들을 앞서게 했다.

유럽 AI 팀들에게 이것이 진짜 상업적 매력이다. 영어 능력을 희생하지 않으면서 이중 언어 기업 워크플로, 코드 생성, 지역의 사실·규제 맥락을 처리할 수 있는 모델은 국내 작업에서만 잘하는 좁은 국가 모델보다 훨씬 정당화하기 쉽다. Soofi S가 실무에서 견고함을 입증한다면, 내부 어시스턴트, 검색 및 요약 도구, 코딩 어시스턴트 제품, 독일어권 지식 노동자를 위한 산업별 시스템에 매력적일 수 있다.

벤치마크 문제가 공개 출시 평가 방식을 바꾼다

벤치마크 이야기를 신중히 봐야 하는 가장 강한 이유는 오염 문제가 가설이 아니었기 때문이다. The Decoder는 GPQA와 GPQA Diamond의 재작성된 테스트 질문이 학습에 사용된 QA-base 데이터셋에 들어갔고, 영어 버전과 기계 번역된 독일어 버전도 포함됐다고 보도한다.

보도에 따르면 원인은 Hugging Face의 라벨링 특이성에 있었다. GPQA에는 별도의 학습 분할이 없었고, 테스트 내용이 기본 라벨인 "train" 아래에 놓여 있었다. 파이프라인이 분할 이름으로 자료를 선택했기 때문에 벤치마크가 학습 코퍼스로 유출된 것이다. 이후 감사에서는 동일한 패턴을 가진 추가 벤치마크 세 개—TruthfulQA, BLiMP, Inverse Scaling—도 발견된 것으로 전해졌지만, The Decoder는 이들은 Soofi S 평가에는 포함되지 않았다고 밝혔다.

The Decoder의 설명에 따르면 컨소시엄의 대응은 GPQA를 평가에서 완전히 제거하고 16개 모델의 비교 순위를 다시 계산하는 것이었다. 팀은 또한 이제 분할 라벨에 의존하지 않고 학습 데이터를 벤치마크 질문과 직접 대조한다고 밝혔다. The Decoder가 인용한 컨소시엄 참가자들은 데이터 공개가 커뮤니티의 발견을 가능하게 했으므로 오픈 접근법이 검증됐다고 주장했다.

그럴듯한 주장일 수는 있지만, 사건 자체를 없애지는 못한다. 모델 구매자와 개발자에게 이 사건은 더 큰 교훈을 상기시킨다. 벤치마크 선두는 유용하지만, 데이터 파이프라인과 평가 과정이 외부의 검증을 견딜 수 있어야만 의미가 있다. 약 152,000개의 개별 결과가 공개됐다는 보고와, 파트너 Ellamind가 보류된 내부 데이터로 별도 평가를 했다는 점은 컨소시엄의 입장을 돕지만, 여전히 중립적인 외부 연구소보다는 프로젝트 참여자와 더 가깝다.

Soofi S가 강해 보이는 부분과 그렇지 않은 부분

The Decoder의 설명에 따르면 Soofi S는 범용적 우월성보다는 분명한 강점 프로필을 가진다. 모델은 특히 독일어와 영어 종합 테스트, 코드 벤치마크에서 잘 수행하며, 장문 컨텍스트 서빙의 효율성도 누리는 것으로 알려졌다. 이런 특성은 일회성 소비자용 챗봇 시연보다 실제 기업 워크로드에 더 잘 맞는다.

하지만 같은 보고서는 약점도 지적한다. 독일 경쟁수학에서 Soofi S는 Minerva MATH-DE에서 56점을 받았고 Qwen3.5 35B-A3B와 Gemma 3 27B보다 뒤처졌다고 한다. NaturalQuestions에서도 뒤졌는데, 저자들은 토큰당 약 32억의 활성 파라미터만 갖고 있어 사실 저장 능력이 낮기 때문이라고 연결했다.

RULER 장문 컨텍스트 테스트에서도 눈에 띄는 실패 패턴이 있었다. The Decoder에 따르면 긴 텍스트에서 자주 등장하는 단어를 추출하라는 과제에서 Soofi S의 적중률은 32,000토큰을 넘기면 약 3%까지 떨어졌지만, 비교 대상 Nemotron 모델은 60~64%를 유지했다. 저자들은 이 약점을 긴 문서가 포함된 장문 컨텍스트 학습 데이터에는 합성 추출형 과제가 충분하지 않았기 때문이라고 설명했다.

이 구분은 AI 빌더에게 중요하다. “장문 컨텍스트”는 하나의 능력이 아니다. 모델은 긴 입력을 효율적으로 처리하면서도 그 안에서 특정 검색이나 추출 행동에는 약할 수 있다. Soofi S를 엔터프라이즈 AI에 고려하는 제품 팀은 법률 검토, 고객 지원 요약, 코딩 어시스턴트 사용, 리서치 코파일럿, 다국어 지식 검색 등 정확한 워크플로 형태를 테스트해야 한다.

증거, 주장, 그리고 독립적으로 검증된 것

이 기사에 담긴 성능, 효율, 학습 세부사항의 대부분은 컨소시엄의 기술 자료를 다룬 The Decoder의 보도에서 나온 것이다. 즉 핵심 벤치마크 및 처리량 주장은 여전히 컨소시엄이 보고한 내용이며 독립적으로 재현된 것은 아니다.

현재 확보된 증거 중 가장 강하게 뒷받침되는 것은 공개 자체의 존재, Nvidia Nemotron 기반의 아키텍처 선택, Deutsche Telekom 인프라 사용, 독일어 중심의 학습 혼합, 그리고 GPQA 테스트 콘텐츠가 학습 데이터로 유출되었다가 나중에 평가에서 제외되었다는 컨소시엄의 공개다.

현재 소스만으로 더 확인하기 어려운 것은 OLMo 3 32B, Apertus 70B, Qwen3.5 35B-A3B 대비 정확한 비교 우위 폭과 실제 생산 환경에서의 서빙 이점이다. 이런 주장들이 방향성으로는 맞을 수 있지만, 출시 당일의 차트보다 외부 재현이 더 중요할 것이다.

라이선스 일정도 주목할 만하다. The Decoder는 instruct와 reasoning 변형이 베타 단계이며 향후 몇 주 안에 관대한 라이선스로 나올 예정이라고 전했다. 더 큰 Soofi L 모델도 이미 학습 중이다. 이 변형들이 출시되고 개발자들이 직접 시험해볼 수 있을 때까지, 이 모델군의 상업적 유용성은 아직 부분적으로만 보인다.

앞으로 무엇을 볼 것인가

첫째, 독립 평가자들이 Soofi S가 독일어와 영어에서 완전 오픈 모델을 선도한다는 헤드라인을 재현하는지 지켜봐야 한다. GPQA 문제가 공개된 만큼 HumanEval, MBPP, RULER, 독일어 벤치마크에 대한 제3자 테스트의 비중이 더 커질 것이다.

둘째, 정적 모델 카드보다 배포 벤치마크를 봐야 한다. Soofi S가 밀집형 경쟁 모델보다 장문 컨텍스트 전체에서 처리량을 더 잘 유지한다면, 이는 기업 AI 예산과 제한된 GPU 용량으로 많은 동시 사용자를 상대하려는 팀에 중요할 수 있다.

셋째, 독일어권 산업에서의 도입 신호를 주시해야 한다. Deutsche Telekom 인프라에서 학습되고 독일어에 최적화된 모델은 데이터 거주성, 조달, 소버린 AI 요구가 있는 고객에게 매력적일 수 있지만, 그런 구매자들은 신뢰성, 안전성, 지원에 대한 증거도 원할 것이다.

마지막으로 Soofi L과 앞으로 나올 instruct 모델이 같은 투명성 기준을 유지하는지 봐야 한다. 컨소시엄의 오픈 주장도 향후 공개에서 데이터셋, 방법, 출시 후 수정 사항을 계속 외부 검증에 노출할 때만 더 강해진다.

Creati.ai 관점

Soofi S가 흥미로운 이유는 유럽이 또 하나의 오픈 모델을 냈기 때문이 아니라, 더 실용적인 틈새를 겨냥하기 때문이다. 즉 로컬 인프라에서의 이중 언어 엔터프라이즈 성능과 장문 컨텍스트 효율성이다. 이것은 추상적인 주권성만 내세우는 것보다 훨씬 실용적인 가치 제안이다. 처리량 주장이 재현을 통해 살아남는다면, Soofi S는 일반적으로 밀집형 최첨단 모델과 함께 따라오는 서빙 비용을 지불하지 않고도 대규모 컨텍스트 시스템이 필요한 빌더들에게 매력적일 수 있다.

다만 오염 공개는 각주가 아니라 이야기의 일부다. 오늘날 모델 시장에서 투명성은 그 자체로 경쟁력이 되고 있다. Soofi S는 실수를 공개적으로 바로잡은 덕분에 결국 이익을 볼 수 있겠지만, 여전히 독립 검증이 필요하다. 창업자와 엔터프라이즈 팀에게 올바른 결론은 “모델을 무시하자”도 “벤치마크를 믿자”도 아니라, “자신의 워크로드에 오픈 가중치를 시험해보자”다. Soofi S가 진짜 지역 플랫폼 후보가 될지, 아니면 인상적인 기술 보고서로 남을지는 거기서 판가름 난다.