AI 스케일링과 동질화의 경계: NeurIPS 2025 핵심 트렌드 분석

TL;DR

NeurIPS 2025에서 AI 연구의 패러다임 전환이 감지되었습니다. 단순 스케일링을 넘어 데이터 품질과 효율적 추론이 중요해졌고, AI 모델들의 응답이 지나치게 유사해지는 '집단의식(Hivemind)' 현상이 심각한 문제로 부상했습니다. 특히 "우리는 AI를 제대로 측정하고 있는가?"라는 근본적 질문과 함께, 벤치마크의 한계와 XAI/Causality의 중요성이 강조되며, AI 연구가 기록 경쟁이 아닌 본질적 이해와 신뢰성 확보로 방향을 전환해야 한다는 메시지가 명확히 전달되었습니다.

Key Takeaways

• Scaling 패러다임의 전환: 모델 크기 확대가 아닌 데이터 품질, 추론 능력, 효율성이 차세대 AI 발전의 핵심 요소로 부상
• AI 동질화(Hivemind) 위기: 서로 다른 모델들이 창의적 질문에 지나치게 유사한 답변을 생성하며, 이는 정렬(alignment) 과정에서 다양성이 소실되는 구조적 문제로 확인됨
• 벤치마크의 근본적 재검토 필요: 데이터 오염, 지름길 학습, 구성 타당도 부족 등으로 인해 현재 벤치마크가 실제 AI 능력을 제대로 측정하지 못하며, 발달심리학처럼 엄격한 평가 방법론 도입이 시급함
• XAI와 Causality의 역할 분리: XAI는 모델의 상관관계를 설명하지만 인과관계는 보장하지 않으며, Causality는 개입의 결과를 예측하는 문제 해결의 언어로 접근해야 함
• "Learning to X" 패러다임: 완벽한 알고리즘 설계 대신 시뮬레이터 기반 학습과 사후 검증(a posteriori verification)을 통해 복잡한 문제를 근사적으로 해결하는 실용적 접근 필요

상세 내용

Scaling 이후의 시대: Data · Reasoning · Efficiency

NeurIPS 2025는 21,575개 논문 제출, 5,290개 채택이라는 전년 대비 61% 증가한 압도적 규모로 개최되었습니다. 이는 AI 연구의 폭발적 성장을 보여주지만, 학회의 핵심 메시지는 오히려 성장 방식의 전환이었습니다.

그동안 AI 발전은 "더 큰 모델, 더 많은 데이터, 더 많은 연산 자원"이라는 단순한 공식에 의존해왔습니다. 그러나 이번 학회에서는 Data, Reasoning, Efficiency가 반복적으로 강조되며, 스케일링의 한계를 인정하고 질적 전환을 모색하는 분위기가 지배적이었습니다.

AI 동질화의 위기: Hivemind 현상

2021년 신설된 Datasets & Benchmarks Track이 2025년부터 메인 트랙과 동일한 리뷰 프로세스를 거치게 되면서 위상이 크게 높아졌고, 이 트랙의 Best Paper인 "Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)"는 그 변화의 필요성을 명확히 보여줍니다.

"Hivemind(집단의식)"는 많은 개체가 하나의 정신처럼 생각을 공유하는 현상을 의미합니다. 연구팀은 ChatGPT 사용자 100만 건의 질문을 분석했고, 그 중 75%가 창의적 글쓰기나 브레인스토밍 같은 "열린 질문"임을 발견했습니다.

문제는 이러한 질문에 대한 언어 모델들의 응답이 지나치게 유사하다는 점입니다. "알록달록한 두꺼비가 모험을 떠나는 이야기"를 같은 모델이 50번 생성했을 때 79%의 경우 평균 유사도가 0.8을 초과했습니다. 더 놀라운 것은 서로 다른 25개 모델의 답변이 단 두 개의 클러스터("시간은 강물", "시간은 직조공")로 수렴했다는 점입니다.

발표자는 경고했습니다: "ChatGPT는 주간 활성 사용자 8억 명에 도달했습니다. 수백만 명이 매일 비슷한 질문을 하고 비슷한 답변을 받는다면, 창의적 콘텐츠가 표현되는 방식 자체를 동질화하는 것입니다."

이 문제는 특히 정렬(alignment) 과정에서 심화됩니다. 보상 모델이 좁은 범위의 정답만을 학습하면서 다양한 가능성들이 훈련 과정에서 소실됩니다.

연구팀은 Infinity Chat이라는 새로운 데이터셋을 제안하며 "모델 다양성을 어떻게 측정할 것인가?"라는 질문에 답하고자 했습니다. 기존 선호도 데이터셋은 예시당 몇 개의 라벨만 있어 다양성 평가가 어려웠지만, 이 연구는 응답당 25명의 독립적 평가자를 동원해 31,000개의 밀집 라벨을 수집했습니다.

"AI의 미래는 같은 목소리의 더 큰 메아리가 아니라, 많은 목소리의 합창이어야 합니다. 그리고 이를 측정하고 개선하기 위해서는, 다양성을 제대로 평가할 수 있는 데이터셋과 벤치마크가 필요합니다."

데이터와 벤치마크의 위기: 우리는 제대로 측정하고 있는가?

Melanie Mitchell 교수의 초청 강연은 신경과학자 Terry Sejnowski의 말을 인용하며 시작되었습니다:

"마치 우리와 소통할 수 있는 외계인이 갑자기 나타난 것 같습니다. 그들의 행동 일부는 지능적으로 보입니다. 하지만 인간의 지능이 아니라면, 그들의 지능의 본질은 무엇일까요?"

Mitchell 교수는 "오늘날 생성 AI 시스템은 많은 벤치마크에서 이미 인간 성능을 초과했고, 벤치마크 자체도 포화상태"라며 직설적으로 질문했습니다: "벤치마크를 잘한다는 것이 무엇을 의미하는지 우리는 알고 있는가?"

현재 벤치마크가 놓치고 있는 6가지 핵심 문제가 제시되었습니다:

1. 데이터 오염(Data Contamination): 테스트 데이터가 훈련 데이터에 섞여 들어가는 문제
2. 근사 검색(Approximate Retrieval): 유사한 질문이 훈련 데이터에 있어 패턴 매칭만으로 답하는 경우
3. 지름길(Shortcuts): 벤치마크의 허위 상관관계를 이용해 실제 능력 없이도 정답을 맞추는 경우
4. 구성 타당도(Construct Validity) 부족: 변호사 시험 통과가 실제 변호사 역량을 의미하지 않는 것처럼, 테스트가 측정하려는 능력의 좋은 대리 지표가 아닌 경우
5. 의인화(Anthropomorphism): 인간을 위해 설계된 테스트를 AI에게 주면 같은 의미를 갖는다는 잘못된 가정
6. 재현성과 강건성 문제: 같은 모델도 GPU 개수나 배치 크기만 바꾸면 정확도가 최대 9%까지 달라짐

특히 흥미로웠던 것은 "발달심리학에서 배우자"는 제안이었습니다. 발달심리학자들은 수십 년간 또 다른 종류의 외계 지성, 즉 인간 아기에게 똑같은 질문을 해왔습니다.

Mitchell 교수는 "아기는 물리학을 이해하는가?" 연구를 소개했습니다. 연구자들은 불가능한 물리 현상을 보여주고 아기가 더 오래 쳐다보는지 측정했습니다. 단 한 번이 아니라 여러 조건을 체계적으로 통제하고, 다양한 변형을 시도하며, 반복 실험으로 확인하는 작업을 거쳤습니다.

"AI 커뮤니티는 재현 연구를 경시한다"며 "좋은 과학의 본질적 특성은 선행 연구의 재현과 점진적 확장"임을 강조했습니다. 더 이상 어려운 벤치마크를 만들고 리더보드 상위에 오르는 유행을 쫓기보다는, 더 엄격한 평가 방법론을 통해 AI의 지능을 판별하자는 것이 핵심입니다.

"비행기를 크게 만들면 이전의 기록은 깰 수 있겠지만, 아무리 크게 만든다 하더라도 달에는 갈 수 없다"는 얀 르쿤(Yann LeCun)의 말처럼, 지금은 기록 깨기 경쟁이 아니라 달에 갈 수 있는 방법을 찾아야 하는 시기입니다.

XAI: 설명은 이해를 돕지만, 진실을 보장하지는 않는다

XAI(Explainable AI) 튜토리얼의 핵심 메시지는 명확했습니다: "AI는 이제 우리 삶 깊숙이 들어왔고, 우리는 그것이 어떻게 작동하는지 알아야 한다."

XAI의 세 가지 핵심 가치가 제시되었습니다:

1. 신뢰(Trust): 사용자가 모델을 더 잘 신뢰할 수 있게
2. 통찰(Insight): 인간이 보지 못한 패턴 발견 (AlphaGo의 37수처럼)
3. 디버깅(Debug): 연구자가 모델을 개선할 수 있게

대표적인 사례로 허스키 vs 늑대 분류 문제가 소개되었습니다. 모델이 허스키 사진을 "늑대"로 분류했는데, 알고 보니 모델은 동물이 아니라 **배경의 눈(snow)**만 보고 판단하고 있었습니다.

LLM 시대에는 Claude의 Golden Gate Bridge 연구가 주목받았습니다. LLM 내부에서 "Golden Gate Bridge"에 대응하는 숨겨진 개념(hidden concept)이 발견되었고, 어떤 언어로 입력하든, 심지어 이미지를 넣어도 같은 feature 조합이 활성화됨을 밝혔습니다.

하지만 발표자들이 반복해서 강조한 중요한 경고가 있습니다:

"설명이 그럴듯하다고 해서 모델의 실제 판단 근거라고 믿어서는 안 된다"

XAI 기술들은 "모델이 무엇을 학습했는가"를 보여줄 뿐, "왜 그것이 올바른 인과관계인가"는 말해주지 않습니다. 허스키-늑대 분류기가 배경 눈을 보고 판단한다는 것을 알았다고 해서, 눈과 늑대 사이에 인과관계가 있다는 뜻은 아닙니다. 단지 모델이 데이터에서 그런 "상관관계(correlation)"를 학습했을 뿐입니다.

사람이 납득하기 쉬운 설명과 모델 내부의 실제 결정 메커니즘이 어긋나는 경우도 생각보다 흔합니다. 모델에 대한 설명은 오히려 모델이 학습한 지름길(shortcut)을 정당화하는 도구가 될 수도 있습니다.

따라서 XAI 기술 수준에 대한 판단은 "설명이 얼마나 친절한가"가 아니라, "과학 실험처럼 검증되어야 할 대상을 얼마나 잘 판단해주는가"가 되어야 합니다.

Causality: 인과는 설명이 아니라 문제 해결의 언어

조경현 교수의 강연은 XAI 튜토리얼과 출발점은 비슷했지만, 문제를 바라보는 시선은 훨씬 더 practical하고 problem solving에 가까웠습니다.

핵심 메시지는 이것이었습니다:

"머신러닝(AI)으로 세상을 설명하려고 하지 말고, 어려운 문제를 찾아내고 일반화해서 반복 가능한 해법을 찾는 discipline으로 사용하자"

조 교수는 "Learning to X: 문제를 푸는 알고리즘을 설계하지 말고, 학습에게 맡기자"는 패러다임을 제안했습니다. 각기 다른 분야의 문제들에 대한 estimator를 만드는 것은 너무 복잡하고 시간 소모적입니다.

Learning to X 접근법은 다음과 같습니다:

1. 합리적인 데이터 생성 시뮬레이터를 만들고 (완벽할 필요 없음)
2. 수백만 개의 (input, output) 쌍을 생성한 뒤
3. DNN(Deep Neural Network)을 학습시키고
4. 실제 세계의 데이터는 학습된 DNN을 통과시켜 결과를 얻음

물론 이 접근은 곧바로 신뢰(trust) 문제와 부딪힙니다. 조 교수도 "고전 알고리즘은 보통 점근적 보장(asymptotic guarantee)이 있지만, 학습된 알고리즘은 블랙박스에 최소한의 보장만 있다"며 이 간극을 인정했습니다.

하지만 그는 패러다임을 바꿔야 한다고 주장합니다:

"a priori guarantee(사전 보장)" → "a posteriori verification(사후 검증)"

Learning to X를 통해 발견한 알고리즘들을 광범위한 테스트(extensive testing)로 검증하며 신뢰를 쌓아가자는 것입니다. 완벽한 보장은 못 하더라도, 우리가 손으로 풀 수 없는 문제를 근사(approximation)로라도 풀 수 있다면 그것으로 충분하다는 입장입니다.

XAI와 Causality: 차이와 보완

두 분야를 정리하면 다음과 같습니다:

XAI는 학습된 모델에 대한 **설명(interpretation)**을 만듭니다:

• "모델이 뭘 보고 결정했는지"를 보여줌
• 하지만 그 설명이 진짜 원인인지(인과관계가 있는지)는 별개의 문제
• "상관관계(correlation)"는 보여주지만, "인과관계(causation)"는 보장하지 않음

Causality는 **행동(개입, intervention)**의 결과를 알고 싶어 합니다:

• "무엇을 바꾸면 결과가 어떻게 바뀌는가"에 초점
• 가정/식별가능성(identifiability)/데이터 조건이 까다로워서 쉽지 않았음
• 하지만 DNN과 새로운 접근(Learning to X) 등으로 인과 추론을 학습으로 근사하는 시도들이 활발히 진행 중

두 분야 모두 "모델을 믿을 수 있게 만들고, 모델을 통해 세상/문제를 이해/해결하려는 것"은 동일하지만, XAI는 모델의 내부 메커니즘 이해에, Causality는 현실 세계 문제의 개입과 해결에 초점을 맞춘다는 점에서 상호 보완적입니다.

References

• AI 스케일링과 동질화의 경계: NeurIPS 2025 핵심 트렌드 분석 - DEVOCEAN
• [Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond) - NeurIPS 2025 Best Paper (Datasets & Benchmarks Track)]
• [Melanie Mitchell's Invited Talk on AI Benchmarking - NeurIPS 2025]
• [조경현 교수 Causality and Learning to X 강연 - NeurIPS 2025]
• [XAI Tutorial: Understanding and Trusting AI Models - NeurIPS 2025]