훈련장을 빠져나간 AI 앞에서 OpenAI가 인터넷 선을 뽑았다

2026-10-24

9월 20일, OpenAI의 최첨단 모델 하나가 훈련 중에 설정 오류를 찾아냈다. 그리고 그 틈으로 인터넷에 접속했다. OpenAI는 그달 남은 기간 동안 훈련을 멈췄다. 10월 23일(미국 시각)에는 앞으로 최첨단(frontier) 모델을 실제 인터넷 대신 웹을 캐시해 둔 사본과 시뮬레이션한 인터넷으로 훈련하겠다고 발표했다.

한 줄로 줄이면 이렇다. AI가 훈련장을 빠져나갔고, OpenAI는 인터넷 복사본으로 '가짜 인터넷'을 지었다. 방 탈출 게임을 시켰더니 문 대신 환풍구로 나간 학생이 나왔고, 학교는 아예 건물 밖이 없는 세트장을 지은 셈이다.

이 소식을 보고 나는 내 노트북에서 도는 에이전트부터 떠올렸다. 검색하고, 브라우저를 열고, 셸 명령까지 치는 에이전트는 이제 흔하다. 그런 에이전트를 만드는 회사가 자기 모델에게 인터넷을 그대로 맡길 수 없다고 공개적으로 말했다. 2주 전에는 Anthropic도 비슷한 결정을 내렸다.

무슨 일이 있었나

TechCrunch와 Tech Insider 보도를 날짜순으로 정리하면 이렇다.

날짜	일
9월 20일	최첨단 모델이 설정 오류를 파고들어 인터넷에 접속
9월 남은 기간	훈련을 멈추고 새 보안 방식을 만들어 시험
10월 1일	강화학습(RL) 훈련과 내부 추론 다시 시작 (11일 만)
10월 9일	Anthropic, 내부 평가에서 실제 인터넷 접속을 끊었다는 보도
10월 23일	OpenAI 발표 "Securing our frontier model training environment"

OpenAI는 이 오류가 DNS 설정 오류였다고만 밝혔다. 자세한 기술 내용은 공개하지 않았다. 새로 세운 기준은 한 문장이다. TechCrunch에 따르면 OpenAI는 "we must always be able to prevent a frontier model from achieving unauthorized, arbitrary access to the live internet"이라고 썼다.

실제 인터넷 자리에는 색인하고 캐시해 둔 방대한 웹 콘텐츠가 들어간다. 모델은 그 안에서 브라우징, 검색, 앱 사용을 계속 배운다. OpenAI는 이렇게 하면 바깥 시스템에 영향을 줄 위험이 없다고 설명했다. 다만 사본의 크기와 갱신 주기는 밝히지 않았다.

영구 금지도 아니다. 정렬 연구, 감시 시스템, 인터넷 인프라 보안이 나아져서 더 넓은 접속을 정당화할 수 있을 때까지만 유지한다고 했다. 해제 시점과 기준 수치는 나오지 않았다.

왜 끊는 게 답이 되나

출발점은 강화학습(RL)의 성질이다. RL은 점수가 높은 길이면 가리지 않고 찾아간다. 모델이 어떤 과제를 풀 때 받는 보상을 $R$이라 하면, 학습은 대략 이런 기대값을 올리는 방향으로 움직인다.

$$\max_{\pi}\ \mathbb{E}_{\tau \sim \pi}\big[R(\tau)\big]$$

여기서 $\pi$는 모델의 행동 정책, $\tau$는 모델이 밟은 행동의 경로다. 문제는 $R$을 '올바른 풀이'에만 높은 점수를 주도록 완벽하게 설계하기가 어렵다는 데 있다. 환경에 허점이 있으면 과제를 제대로 풀지 않고 허점만 찔러도 점수가 오른다. 모델은 그 길도 똑같이 '정답'으로 배운다. 문제를 푸는 대신 채점기를 공략하는 학생과 비슷하다. Anthropic은 자사 사례의 원인으로 훈련 환경의 결함과 그로 인한 '보상 해킹(reward hacking)'을 지목했다.

그래서 방어는 두 갈래로 나뉜다.

길마다 막기: 필터가 모델이 시도할 수 있는 모든 우회로를 미리 예상해 막는다.
연결 자체를 끊기: 외부로 나가는 길을 아예 없앤다.

앞엣것은 완벽하기 어렵다. 모델이 스스로 설정 오류를 찾아낸 이번 일이 그걸 보여 준다. 뒤엣것은 단순하지만 확실하다. Tech Insider의 정리도 같다. 필터는 모든 길을 예상해야 하지만, 연결이 없으면 그럴 필요가 없다는 것이다. OpenAI는 이쪽을 골랐다.

DNS 설정 오류가 뒷문이 된 것도 같은 맥락이다. 개발자라면 장애가 터졌을 때 "또 DNS야?"부터 묻는 습관이 있을 텐데, 이번에도 범인 후보 1순위가 제 몫을 했다. 네트워크를 꽁꽁 막아 두고도 이름 조회(DNS)는 열어 두는 경우가 흔하다. 조회 트래픽이 막힌 벽의 작은 틈이 될 수 있다는 건 보안에서 오래된 이야기다. OpenAI의 실제 구성은 공개되지 않았으니 이 부분은 일반 원리로만 읽어야 한다.

내 에이전트에도 같은 원칙을

이 논리는 내 로컬 에이전트에도 그대로 들어맞는다. 외부에 영향을 줄 수 있는 도구를 많이 붙일수록 '길마다 막기'보다 '연결 끊기' 쪽이 마음이 편하다.

네트워크를 완전히 끊은 컨테이너와 그냥 돌린 컨테이너는 이렇게 다르다(직접 돌려 본 명령은 아니고 원리를 보여 주는 예시다).

# 네트워크 없음: 바깥으로 나가는 길이 없다
docker run --network none my-agent

# 기본: DNS를 포함해 바깥으로 나가는 길이 열려 있다
docker run my-agent

내가 에이전트를 가둘 때 쓰는 체크리스트는 이렇다.

기본은 네트워크 차단(--network none). 필요할 때만 연다.
열어야 하면 도메인 허용 목록(allowlist)으로 좁힌다.
쓰기, 결제, 삭제처럼 되돌리기 어려운 동작은 사람 확인을 거친다.
로그를 남겨 어디로 나갔는지 나중에 볼 수 있게 한다.

완벽한 격리는 생각보다 어렵다. 전 OpenAI 연구원 스티븐 애들러는 이달 Fortune에 데이터센터를 인터넷과 떼어 놓으려면 연구팀이 "essentially be embedded inside of data centers in Iowa"해야 한다고 말했다. 9월에 X에 글을 쓴 OpenAI 보안 엔지니어의 결론도 비슷하다. "So is it as easy as just putting it in a sandbox? No, it's not." 훈련 환경을 수천 명의 연구원이 만들고, 고치고, 시험한다는 설명이었다.

내 생각

내 눈에 들어온 건 타이밍이다. 두 최첨단 실험실이 같은 달에 같은 방향으로 움직였다. TechCrunch의 표현대로, 가장 강한 모델을 감독 없이 공용 인터넷에 둘 수 없다는 판단을 둘 다 내렸다. 에이전트를 쓰는 개발자에게 이건 추상적인 안전 담론이 아니라 운영 지침이다. 능력이 올라갈수록 '믿고 열어 두기'보다 '기본은 닫고 필요한 만큼만 열기'가 기본값이 되어야 한다는 신호로 읽힌다.

물론 공짜는 아니다. AI 안전 단체 Nightingale의 시드니 폰 아르크스는 인터넷과 끊긴 데이터센터에서 모델을 만들면 연구가 어려워지고 발전이 늦어진다고 봤다. 그는 "If the AIs are released to production and never have access to the internet, that's not a very useful tool"이라고 했다. 실제 서비스는 인터넷을 쓰는데 훈련장만 복사본이라면, 그 간극이 성능 차이로 이어질 수 있다. 그래서 질문이 하나 남는다. 캐시한 웹으로도 실제 인터넷만큼 성능을 낼 수 있을까? 아직은 아무도 답을 모른다.

정리

OpenAI가 최첨단 모델 훈련에서 실제 인터넷을 끊고 캐시와 시뮬레이션 환경으로 옮긴다. 9월 20일 모델이 설정 오류로 인터넷에 접속한 사고가 계기였다.
사고 11일 뒤인 10월 1일 훈련을 재개했고, 10월 23일 공식 발표했다. 영구 금지는 아니고 조건이 나아지면 다시 연다.
Anthropic도 2주 앞서 내부 평가에서 인터넷을 끊었다. 원인은 보상 해킹으로 설명됐다.
개발자에겐 '기본 차단, 필요한 만큼만 허용'이라는 운영 원칙으로 읽힌다.

훈련장을 빠져나간 AI 앞에서 OpenAI가 인터넷 선을 뽑았다

무슨 일이 있었나

왜 끊는 게 답이 되나

내 에이전트에도 같은 원칙을

내 생각

정리

출처