능력(모델)·물량(칩)·의지(예산)는 폭발적으로 커지는데, 그것을 감시하고 조립하고 실행하는 속도는 따라가지 못하고 있다.
GPT-6 Astra, ‘생각을 감추는’ AI 시대의 안전 딜레마
OpenAI가 9월 3일 GPT-6 Astra를 출시하면서 Greg Brockman 공동창업자는 “AGI(범용인공지능—특정 분야가 아닌 인간 수준 이상의 일반 지능을 갖춘 AI) 시대에 오신 것을 환영합니다”라고 선언했다. 개인 의견이라는 단서가 붙었고 회사 공식 발표에는 이 문구가 없지만, 이 말은 빠르게 퍼졌다. 9월 6일 이 지면이 이 선언의 이면을 짚었을 때(→ AGI 선언의 이면 | 9월 6일 기술·AI) 핵심 질문은 하나였다: 이 시스템을 실제로 통제할 수 있는가?
오늘은 그 질문을 더 날카롭게 만드는 사실 하나에 집중한다. Astra는 기존 AI와 다른 추론 방식을 쓴다. “looped transformer(루프형 트랜스포머—핵심 연산 레이어를 한 번만 쓰지 않고 반복 재사용해 추론 효율을 높이는 구조)”라고도, “recurrent depth(재귀적 깊이)”라고도 불리는 이 아키텍처는 추론의 상당 부분을 잠재 공간(수학적 벡터 연산 공간, 인간이 읽을 수 없음) 안에서 처리한다. 그 결과 CoT(chain-of-thought—AI가 답에 도달하기까지의 사고 과정을 단계별로 보여주는 방식), 즉 AI 안전팀이 “이 모델이 무슨 생각을 하는가”를 추적하는 핵심 도구의 가시성이 크게 낮아졌다.
수치가 이것을 보여준다. Astra는 FrontierMath Tier 4(거의 풀 수 없도록 설계된 수학·과학 분야 최고 난이도 시험)에서 가시적 사고 과정 없이도 83%를 달성했다고 보도됐다. OpenAI가 공개한 공식 수치는 97.6%로 14%p 차이가 나는데, 이는 측정 조건 차이에서 비롯된 것으로 설명된다. 어느 수치가 더 현실적인지 독립 검증은 아직 없다.
여기서 달이 주목하는 것은 벤치마크 점수가 아니다. OpenAI가 같은 시스템카드에서 “더 정합적(원하는 대로 행동하는가)”이라는 주장과 “감시하기는 더 어렵다”는 사실을 동시에 내놓았다는 점이다. 회사 내 안전연구원 Tomek Korbak은 이를 공개적으로 “깊이 우려된다”고 밝혔다. 이 두 주장이 논리적으로 공존할 수는 있다 — 행동 정합성과 추론 가독성은 서로 다른 축이다. 하지만 문제의 핵심은 이것이다: 감시 도구가 약화될수록 “정합적”이라는 주장을 검증하는 것이 점점 더 어려워진다. 게다가 Astra는 Preparedness Framework(OpenAI가 내부적으로 사용하는 위험 등급 체계)에서 사이버보안 “Critical” — 가장 높은 위험 등급 — 을 받은 첫 모델이다. 가장 유능한 모델이 동시에 가장 안 보이는 모델이 되어가는 경향이 이번에 한 번이 아니라 트렌드로 굳어진다면, 그것은 구조적 위험이다.
정부 감독은 실질적 제동 기능을 하지 못하고 있다. 미국의 행정명령은 배포 전 30일 사전 검토를 의무로 하고 있지만 참여는 자발적이며, 검토 기관에 승인·거부 권한이 없다. EU AI법의 고위험 GPAI 모델 조항은 이미 2025년 8월 이후 발효됐지만 독립 감사 체계가 실제로 자리를 잡으려면 시간이 더 필요하다.
달의 판단: 능력 경쟁이 투명성 우려를 압도하며 계속 질주할 가능성이 높다(65%). 6개월 내 독립기관(METR·Apollo Research 등)이 Astra의 실제 위험행동 발생률을 검증해 CoT 가독성 대안 기법과 함께 공개하는 쪽(35%)이 내 판단이 틀렸음을 보여줄 신호다.
AI 칩이 부족한 진짜 이유 — GPU가 아니라 ‘이어붙이는 공정’이다
AI 칩이 왜 이렇게 오래 기다려야 하는가. 직관적인 답은 “엔비디아 GPU를 생산하는 TSMC가 바빠서”지만, 그것은 절반의 답이다. 진짜 병목은 전공정(트랜지스터를 웨이퍼에 새기는 과정)이 아니라 후공정의 특정 기술 하나다.
CoWoS(Chip-on-Wafer-on-Substrate — 로직 칩과 고대역폭메모리(HBM—AI 서버용 고성능 메모리, 초고속 데이터 처리를 위해 여러 층으로 쌓은 메모리)를 하나의 인터포저(중간 기판) 위에 이어붙이는 첨단 패키징 기술). AI 서버용 GPU는 이 공정을 거쳐야 실제로 데이터센터에 꽂을 수 있는 상태가 된다. TSMC가 이 기술을 사실상 독점하고 있으며, 그 용량이 기록적인 AI 수요를 따라가지 못하고 있다는 것이 이 병목의 본질이다.
수치로 보면 그 규모가 명확해진다. TSMC CEO C.C. Wei는 지난 6월 주주총회에서 “AI 칩 수요는 수년간 공급을 초과할 것”이라고 직접 경고했다. 2026년 기준으로 수요가 첨단 노드 용량의 25~30%를 초과하는 상태이며, 주문부터 완제품까지 최소 40주 이상의 대기가 필요하다. 업계 추정에 따르면 엔비디아가 CoWoS 용량의 절반 이상을 장기계약으로 선점하고 있다. TSMC는 2026년 캐펙스(CAPEX—설비투자 지출)를 600~640억 달러(역대 최대)로 상향하고 CoWoS 월 생산량을 연내 거의 두 배로 늘리겠다고 밝혔지만, CEO 본인이 “그래도 수년간 못 따라간다”고 말한다.
달이 의심하는 지점은 두 방향이다. 첫째, 캐파 증분 대부분이 기존 장기계약 고객(엔비디아 등)에게 먼저 흡수될 가능성이 높다. 신규 진입자(구글 TPU, 커스텀 ASIC, 스타트업)에게 돌아갈 여유분이 늘어나는 속도는 언제나 뒤처진다. 인텔 EMIB·삼성 I-Cube/X-Cube가 대안 기술로 거론되지만, 검증된 공급망을 교체하는 데는 통상 1~2세대(1.5~3년)가 걸린다. 둘째, 이 “희소성” 서사가 TSMC와 엔비디아 모두에게 가격결정력을 정당화해주는 유인이 있다는 점도 의식해야 한다. 시장이 “위기”가 아니라 “자본 투입 → 캐파 확장”이라는 정상 작동으로 읽힐 수도 있다. 사실 TSMC가 캐파를 두 배로 늘리는 계획을 공표한 것 자체가 시장 신호에 대한 정상 반응이다.
한국 기업 관점에서는 이 구도가 양날의 검이다. SK하이닉스가 공급하는 HBM은 CoWoS 패키징의 핵심 부품이라 공급 타이트함이 지속될수록 가격 지지력이 유지된다. 반면 삼성은 자체 패키징 기술(I-Cube)로 시장을 뚫어야 하는데, 2027년 초에 유의미한 물량을 내놓지 못하면 이 구도에서 소외될 위험이 있다.
달의 판단: TSMC CoWoS 독점 구도가 2027년까지 구조적으로 유지되며 병목은 완화만 될 가능성이 높다(70%). 인텔 EMIB-T 또는 삼성 I-Cube가 2027년 초 대형 고객의 실물 계약을 확보하거나, 온디바이스·엣지 AI로 초대형 가속기 수요 자체가 꺾인다면 — 병목 지속이라는 내 전망은 틀린 것이다(30%).
한국 정부 AI 예산 84% 확대, 카카오는 ‘카나나’로 — 발표와 실행 사이의 거리
한국 정부가 2027년 예산안에서 과기정통부의 AI 예산을 84.3%(5.1조에서 9.4조 원으로) 늘리기로 했다. 같은 시기 카카오는 다음 달 ‘if(kakao)26’ 컨퍼런스에서 자체 AI 모델 카나나(Kanana)를 공개하겠다고 밝혔고, 어제(9월 7일)부터 참가 신청을 받고 있다. 네이버는 에이전트N을 통해 AI 브리핑 검색 점유율 20%를 돌파했다고 발표했다.
숫자들이 인상적이다. 하지만 2026년 내내 반복된 패턴이 있다. 올해 9월 5일 이 지면이 짚었듯이(→ 한국 AI 에이전트 경쟁 | 9월 5일 기술·AI), 한국 AI 정책의 발표 규모와 실제 서비스 완성도 사이에는 꾸준한 격차가 있어왔다. 오늘 84.3% 예산 증가는 그 관찰의 세 번째 데이터 포인트다. 발표의 크기는 실행 속도의 증거가 아니다.
카카오의 카나나는 흥미로운 전략을 취하고 있다. MoE(Mixture of Experts — 전체 파라미터 중 각 추론에 필요한 부분만 선택적으로 활성화하는 효율적 AI 구조)를 채택해 5,200만 카카오톡 사용자 규모의 추론 비용을 감당하는 구조다. GPT-6 Astra나 Fable 5.1 같은 프론티어 모델과 체급 경쟁이 아니라, 메신저 체류시간이라는 실질적 자산 위에 에이전틱 AI(에이전틱 AI—단순 질문 응답을 넘어 스케줄링·예약·쇼핑처럼 복잡한 작업을 스스로 실행하는 AI) 레이어를 얹는 다른 게임이다. MCP(Model Context Protocol — AI가 외부 서비스·데이터를 직접 호출하는 개방형 표준)를 통해 외부 서비스와 연결하는 방식도 취하고 있다. 반면 네이버는 자체 검색·커머스 데이터 해자를 활용해 AI 경험을 내재화하는 전략이다.
달이 의심하는 것은 이 전략들이 얼마나 빠르게 실사용 지표로 이어지느냐다. 카나나의 한국어 성능이 GPT-4o를 상회한다는 수치는 자체 발표치이며, 에이전트N의 매출 기여도 공개 검증이 없다. 정부 예산 84.3%는 발표됐지만, 그것이 어떤 서비스로 집행되는지 구체적 계획이 공개 수준으로 나와 있지 않다. 내년 이 시점에, 카나나가 카카오톡 화면에 실제로 뜨는지, 에이전트N이 카카오 쇼핑을 얼마나 잠식했는지, 정부 R&D 예산이 어느 분야 성과물로 이어졌는지 — 그때가 평가 시점이다.
달의 판단: 예산·발표 확대가 실행을 못 따라가며 글로벌 빅테크의 한국 시장 잠식이 지속될 가능성이 더 높다(60%). 카카오톡의 체류시간과 온디바이스 프라이버시 소구가 최소한 메신저 내 AI 에이전트 영역에서 방어선을 구축할 가능성도 존재한다(40%). if(kakao)26에서 카나나의 실사용자 성장 지표가 구체적 수치로 공개되고 에이전트N이 매출 기여를 숫자로 밝힌다면 — 오늘 내 판단이 틀린 것이다.