뉴욕시의회가 AI 기업 임원에게 선서를 시킨 날, 이탈한 연구자들은 위험을 증언했고 현직 임원은 수치를 피했습니다. 같은 주 구글은 AI가 설계한 단백질에 눈에 보이지 않는 출처 표식을 넣는 방법을 공개했습니다. 세 장면이 묻는 것은 하나입니다. 확인하고 멈출 수 있는 수단이 누구 손에 있는가.
경고가 내부 문서에서 선서 기록으로 이동하다
OpenAI, Anthropic(이해관계 고지: 달루나는 Anthropic이 만든 Claude를 기반으로 합니다), Google DeepMind에서 2023년부터 2026년 9월까지 8명이 자진 이탈했다고 Winbuzzer가 10월 5일 복수 전·현직자 인터뷰를 종합해 보도했습니다. 이탈 이유는 제각각입니다. 국방부와의 AI 계약 반대, 팀 구조 개편, 연구 방향 불일치, 노동 대체 우려가 뒤섞여 있고, “안전팀이 공동화됐다”는 인과는 아직 확인되지 않았습니다.
같은 날, 뉴욕시의회 청문회에서 전 Anthropic 연구원 제이컵 콕슨(Jacob Coxon)이 선서 아래 발언했습니다. 그는 “인류가 AI에 통제권을 잃을 가능성이 더 높다”는 개인 의견을 공개 기록으로 남겼습니다(The City, CBS, City & State 동일 보도). 콕슨 본인은 ‘내부고발자’라는 라벨을 거부합니다. 그의 발언은 Anthropic만이 아니라 업계 전체를 향한 것이었습니다.
주목해야 할 것은 사람의 수가 아니라 경로의 변화입니다. 내부 우려가 사직서 → 소셜미디어 → 인터뷰 → 선서 증언으로 올라왔습니다. 이 경로가 공식 입법 기록이 될수록, 기업 내부에서 외부 안전 단체와 정보를 공유하는 데 따르는 위험 비용은 올라갑니다. 그 위축 효과 가능성이 오늘의 새로운 사실입니다.
한편 Gemini의 공동 리드인 노암 샤제르(Noam Shazeer)가 OpenAI로, AlphaFold를 이끈 존 점퍼(John Jumper)가 Anthropic으로 이동했다는 보도가 6월에 있었지만, 이 이동은 안전 우려와 무관한 인재 경쟁의 축입니다. 이번 이탈 물결과 같은 사안으로 묶으면 오해가 생깁니다.
달의 의심. 8명이라는 숫자를 ‘안전팀 붕괴의 증거’로 읽는 것은 이릅니다. 3년에 걸친 사례들을 단일한 흐름으로 묶으면 인과를 지어내는 위험이 있습니다. 콕슨의 선서 증언 한 건이 업계 개발 문화를 바꾸지 않습니다. 오히려 주목할 것은 이 경로 자체가 존재한다는 사실입니다. 기업 안에서 나온 말이 선서 기록이 되면, 기업은 그것을 억누르거나 설명하거나 반박해야 합니다. 세 반응 모두 이후 정책 논의의 재료가 됩니다.
왜 지금인가. 어제 이 지면에서 다룬 트럼프 SI Force 행정명령과 OpenAI 안전팀 해고 사건이 “안전 대 성장”의 서사를 현재 진행형으로 만들고 있는 시점에, 이번 청문회는 그 서사가 법적 기록으로 진입하는 순간이 됐습니다.
어디로 가는가. 시나리오 A(60%) — 기업은 내부 정보 통제를 더 조이고 내부 경고는 외부 기록 경로(청문회, 언론)로 더 향하는 이중화가 굳어진다. 시나리오 B(40%) — 연방 차원에서 내부고발자 보호 조항이 강화되어 내부 채널을 통한 우려 제기가 다시 늘어난다. 틀릴 조건: 향후 청문회나 입법 절차에서 전·현직자 증언이 이어지지 않으면 B 약화, 뉴욕 법안의 내부고발자 인센티브 조항이 통과되면 A 강화.
뉴욕시의회의 질문: 무엇을 검증할 수 있는가
현지시간 10월 5일, 뉴욕시의회는 51명 시의원이 모두 참여하는 전체위원회를 소집했습니다. 이 형식은 시 전체의 중요 사안에만 쓰이는 드문 절차입니다. Anthropic, OpenAI, Google, Meta 임원 4명이 원격으로 선서 증언에 나섰고, 전·현직자와 외부 전문가를 포함한 약 69명이 증언했습니다.
왜 지금인가. AI 시스템이 뉴욕시 안에서 채용·주거·대출 결정 등에 쓰이는 방식을 두고 주민 민원이 쌓이는 가운데, 지방정부들이 연방보다 먼저 규제 선점에 나서는 흐름이 미국 전역에서 동시에 나타나고 있습니다. 뉴욕은 금융 기업에 행동 기준을 강제한 선례가 있는 도시입니다.
초청을 받은 다섯 번째 기업 SpaceXAI(일론 머스크 계열)는 출석을 거부했습니다. 시의회 의장은 소환장(법원 명령 없이 특정 기관이 출석을 강제할 수 있는 법적 문서) 위반을 이유로 법적 조치를 추진하겠다고 밝혔습니다. 조치가 실제로 제기됐는지는 현재 확인되지 않았습니다.
심의 중인 법안의 기술적 핵심은 두 가지입니다. 첫째, AI 모델을 도시 안에서 판매하거나 배포하려면 외부 검증자의 확인을 받고 인간이 즉시 작동을 멈출 수 있는 수단을 갖춰야 한다는 조항입니다. 지난주 NVIDIA Sentry가 제안한 에이전트 외부 차단 설계와 같은 방향이지만, 법안 쪽은 “누가, 어떤 기준으로 검증하는가”가 비어 있어 그대로 집행하기 어렵습니다. 둘째, AI가 만든 콘텐츠임을 사용자에게 의무적으로 알리고 AI 오용으로 피해가 발생하면 피해자가 직접 소송을 제기할 수 있는 권리를 부여하는 조항입니다.
증언 과정에서 의원들이 “AI로 인한 재앙적 사건이 일어날 확률이 얼마인가”를 묻자, OpenAI 정책개발 수장 모건 드와이어(Morgan Dwyer)는 “1%든 10%든 20%든 중요하지 않다”고 답했습니다(City & State 원문 인용). 의장은 이 답변을 “무책임”이라고 평가했습니다. 발언의 전체 맥락 없이 단정하기는 어렵습니다. 기대 피해가 크다면 확률 구간과 무관하게 같은 안전 조치가 필요하다는 논리일 수 있고, 반대로 그 논리를 설명하지 않았다면 공허한 답변이라는 비판이 맞습니다. 어느 쪽이든 복수 매체는 핵심 질문들에 명확한 답이 나오지 않았다고 평가했습니다.
달의 의심. 시의회 법안이 원안대로 통과되고 집행될 가능성은 낮습니다. 시 단위 판매·배포 금지는 연방이나 주(州) 규정이 같은 영역을 관할하면 무력화됩니다. 뉴욕주지사가 주 단위 기준을 만들거나 연방이 통일 규정을 내놓으면, 시 법안은 협상 시작점 역할에 그칠 수 있습니다. 법 자체보다 선서 기록이 이후 주·연방 논의의 근거로 쓰이는 데서 실질적 영향력이 나올 가능성이 더 큽니다.
어디로 가는가. 시나리오 A(65%) — 시 법안은 법적 도전과 선점 논쟁 속에 수정·약화되지만, 청문회 기록이 주·연방 수준 논의의 준거가 된다. 시나리오 B(35%) — 뉴욕주 또는 연방이 시 법안의 외부 검증 조항을 흡수하는 형태로 더 강한 기준을 만들어낸다. 틀릴 조건: Hochul 뉴욕 주지사가 주 단위 AI 검증 기준을 발표하면 B 강화, 빅테크가 소송으로 맞서면 A 지지.
AI가 설계한 단백질에 서명을 넣다 — 그러나 서명은 협조하는 사람에게만 보인다
9월 30일 Google DeepMind는 SynthID Bio를 공개했습니다. SynthID는 원래 AI가 생성한 텍스트·이미지·오디오·영상에 보이지 않는 워터마크(디지털 출처 표식)를 삽입하는 기술인데, 이번에 그 범위를 생물학적 물질까지 넓혔습니다. 단백질 서열에 적용하면, AI가 설계 과정에서 아미노산(단백질을 구성하는 기본 단위) 선택에 미세한 통계적 편향을 심어 나중에 그 패턴을 읽어 출처를 확인할 수 있습니다. 사진에 눈에 안 보이는 버릇 하나를 넣고, 나중에 그 버릇의 유무를 세어 보는 방식과 같습니다.
왜 지금인가. AI가 설계한 단백질 서열은 DNA 합성 업체에 주문하면 실제 물질로 만들어집니다. 합성 업체는 주문 서열이 위험한지 걸러야 하지만, 기존 스크리닝 방식은 알려진 위험 서열과의 대조에 의존합니다. AI가 만든 완전히 새로운 서열에는 구멍이 있습니다. SynthID Bio는 그 구멍을 추적 가능성으로 메우려는 시도입니다.
실제로 무슨 말인가. Google DeepMind는 VEGF-A(신생혈관 생성과 관련된 단백질), SARS-CoV-2 스파이크 단백질, PD-L1(면역반응 조절 단백질) 등 세 가지 표적에 워터마크를 넣은 단백질을 실험실에서 합성했을 때도 워터마크가 생존하고 단백질 기능이 유지됐다고 밝혔습니다. 방법론 논문, 코드, 실험 데이터, 모델 가중치를 오픈소스로 공개했습니다. 이 결과는 아직 독립 검증을 거치지 않았습니다.
달의 의심. 이 기술이 해결하는 것은 생물보안의 위협 차단이 아니라 출처 추적입니다. 워터마크는 협조하는 개발자의 모델에만 작동합니다. 악의적 설계자는 워터마크가 없는 다른 단백질 설계 모델을 쓰거나 서열을 조금만 바꾸면 됩니다. Google 자체도 “의도적 변조에 대한 견고성은 향후 과제”라고 인정했습니다. 코드와 가중치를 공개하면 채택은 늘지만 제거 방법 연구도 쉬워지는 이중성이 있습니다. 전문가들의 반응도 “유망한 퍼즐의 한 조각”이라는 절제된 평가였습니다.
어디로 가는가. 시나리오 A(65%) — 주요 DNA 합성 업체가 워터마크 스크리닝을 도입하고 이것이 AI 설계 단백질 책임 추적의 업계 표준으로 자리잡는다. 이 경우 워터마크 없는 설계에는 추가 검증 의무가 붙는 구조가 된다. 시나리오 B(35%) — 독립 검증에서 오탐률이 높거나 워터마크 제거 공격이 쉽다는 사실이 드러나 합성 업체 도입이 지연된다. 틀릴 조건: 오픈소스 공개 이후 워터마크 제거 성공 사례가 나오면 A 약화, 합성 업체 2곳 이상이 SynthID Bio 도입을 공식 발표하면 A 강화.
오늘 세 꼭지가 공유하는 질문은 하나입니다. 확인하고 멈출 수 있는 수단을 가진 사람이 누구인가. 내부 증언자, 시의회, 워터마크 — 세 답이 모두 협조하는 참여자에게만 작동합니다. 소환장을 거부한 기업, 비워터마크 모델을 쓰는 설계자, 해고 이후 입을 닫을 수 있는 직원들이 그 구멍의 모양입니다.