쿠팡 매출 14.2조 사상 최대, 화재·마케팅 비용에 3분기 연속 적자

날짜:
0

AI 에이전트 신뢰성 검증 국면, 금융·보안·데이터 인프라 동시 강화

날짜:
AI 에이전트 신뢰성 검증 국면, 금융·보안·데이터 인프라 동시 강화
이해를 돕기 위해 인공지능(AI)을 통해 생성된 이미지입니다.

Key Takeaways

  • JP모건, 외부 AI 에이전트 계좌 접근 전면 차단…“고객·은행 모두에 위험”
  • 카카오, 자율 에이전트 확산 대비 ‘스피릿’ 윤리 원칙 및 ‘노르마’ 이행 가이드 공개
  • 뱅크샐러드, AI 금융거래 오류 통제 기술 특허 3건 출원…환각 오류 대응
  • 델 테크놀로지스, AI 데이터 플랫폼 확장…에이전트 데이터 병목 해소 전략

Background & Context

2026년 10월, AI 에이전트 산업은 ‘기술적 가능성’을 넘어 ‘운영적 신뢰성’과 ‘법적 책임 소재’를 정립하는 분기점에 도달했다. 과거 생성형 AI가 텍스트 생성에 머물렀다면, 현재 에이전트는 승인, 결제, 코드 실행 등 실질적 행동 주체로 진화하며 기존 IT 인프라와 보안 체계에 근본적 도전을 제기하고 있다. 특히 금융권에서는 AI의 자율적 판단이 고객 자산에 직접 영향을 미치면서, 단순한 성능 경쟁이 아닌 ‘오류 통제’와 ‘감사 가능성’이 핵심 경쟁력으로 부상했다.

이러한 배경 속에서 주요 기업들은 AI 에이전트의 권한 범위를 축소하거나, 데이터 맥락을 정교하게 연결하는 인프라를 구축하며 리스크 관리에 총력을 기울이고 있다. 이는 AI 에이전트가 조직의 핵심 업무 프로세스에 깊숙이 통합됨에 따라, 기술적 결함이나 윤리적 문제가 기업 전체의 리스크로 직결되기 때문이다.

Key Developments

JP모건은 13일(현지시간) 3분기 실적 발표 컨퍼런스콜에서 메타의 ‘뮤즈(Muse)’나 ‘인스팅트(Instinct)’ 등 외부 AI 에이전트가 고객 계좌에 접근하는 것을 전면 차단한다고 발표했다. 제이미 다이먼 CEO는 “아무 외부 에이전트나 회사 안으로 들이지 않겠다”며, 고객이 에이전트에게 로그인 정보를 넘겨 원치 않는 행동을 할 경우 고객과 은행 모두에게 위험이 된다고 밝혔다. 이는 AI 에이전트 생태계에서 ‘클로즈드 루프(Closed Loop)’ 운영, 즉 내부 통제된 환경에서만 에이전트를 허용하겠다는 강력한 신호로 해석된다.

국내에서는 카카오가 15일 개발자 컨퍼런스 ‘이프카카오 26’에서 자율 에이전트 확산에 대응한 AI 윤리 원칙 ‘스피릿(SPIRIT)’과 이행 가이드 ‘노르마(NORMA)’를 공개했다. 스피릿은 안전, 프라이버시, 포용, 책임, 이용자 주체성, 투명성과 신뢰성 등 6개 원칙을 담고 있으며, 노르마는 이를 조직 차원의 구체적 과제로 전환하는 체계다. 특히 통제 주도권, 목표, 권한, 참조 자원, 상호작용 등 5개 영역의 위험 요소를 관리하는 체크리스트를 마련해 연내 실제 서비스에 적용할 예정이다.

금융 IT 기업 뱅크샐러드는 AI 에이전트의 잘못된 금융 판단과 거래 실행을 통제하기 위한 기술 관련 특허 3건을 출원했다. 이 기술은 AI의 ‘환각(Hallucination)’ 오류에 대응해 실행 대상 판단, 수치 검증, 실행 제어 세 가지 기능을 중점적으로 다루며, 고객에게 불리한 거래로 판단될 경우 실행을 보류하는 로직을 포함한다. 또한 NH농협은행은 시황 정보와 로보어드바이저 데이터를 결합한 ‘WM AI 에이전트’ 구축을 추진하며, 단순 검색을 넘어 투자 전략 수립과 고객 상담을 지원하는 단계로 AI 활용을 고도화하고 있다.

Technical Deep Dive

AI 에이전트의 신뢰성 확보를 위한 기술적 접근은 ‘데이터 컨텍스트 정합성’과 ‘행위 기반 인증’ 두 가지 축으로 나뉜다. 델 테크놀로지스는 15일 ‘델 AI 데이터 플랫폼’을 확장하며, 기업 내부에 분산된 데이터의 의미와 관계를 AI가 이해할 수 있도록 ‘통합 시맨틱 계층’과 ‘엔터프라이즈 지식 그래프’ 기능을 강화했다. 이는 AI 에이전트가 여러 시스템에서 정보를 반복 탐색하며 발생하는 토큰 소모와 응답 지연, 결과 신뢰성 저하 문제를 해결하기 위한 것이다. 엔비디아 네모트론 리트리버(NVIDIA Nemotron Retriever) 모델을 활용해 문서 파싱과 임베딩, 재랭킹을 지원함으로써, 에이전트가 거버넌스된 데이터 맥락 내에서만 판단하도록 기술적 장벽을 세웠다.

보안 측면에서는 ‘제로 트러스트(Zero Trust)’의 재정의가 핵심이다. 한국정보보호학회 제로트러스트연구회는 AI가 도구를 호출하고 권한을 위임받아 행동하는 주체로 바뀌면서, 기존 ‘누가 로그인했는가’를 넘어 ‘무엇을 대신해 어떤 행위를 하는가’로 신원 보증의 초점을 옮겨야 한다고 강조했다. 포티넷코리아 역시 AI 기반 보안관제 플랫폼 ‘포티SOC’를 통해 AI 에이전트가 위협을 탐지·분석·대응하는 과정에서 사람의 최종 승인 체계를 유지하는 ‘휴먼 인 더 루프(Human-in-the-Loop)’ 구조를 고수하고 있다. 이는 AI의 자율성을 극대화하되, 최종 리스크 결정권은 인간에게 남겨두는 하이브리드 운영 모델의 대표 사례다.

Market & Industry Impact

이번 일련의 움직임은 AI 에이전트 시장이 ‘기술 데모’ 단계에서 ‘기업 운영(OS) 통합’ 단계로 넘어섰음을 시사한다. JP모건의 외부 에이전트 차단 결정은, AI 에이전트 생태계가 개방형 API 연결에서 벗어나 각 조직의 보안 경계 내에서만 작동하는 ‘프라이빗 에이전트’ 중심으로 재편될 가능성을 보여준다. 이는 외부 SaaS 기반 에이전트 플랫폼의 성장에는 제동이 걸리지만, 자체 인프라를 구축하는 대기업과 금융기관에게는 데이터 주권과 보안 통제력을 강화하는 기회가 된다.

투자자 관점에서는 AI 에이전트 관련 스타트업의 밸류에이션 논리가 ‘모델 성능’에서 ‘리스크 관리 역량’으로 이동하고 있음을 알 수 있다. 샌프란시스코의 하버(Harbor)가 AI 에이전트 책임보험을 위해 1,000만 달러의 시드 투자를 유치한 것은, 에이전트가 승인·가격 책정·결제 등 고위험 결정을 내리는 시대에 ‘보험’이라는 새로운 금융 상품이 필요하다는 시장 인식을 반영한다. 또한 영국 오펜시브 보안 스타트업 코드월(CodeWall)이 AI 에이전트를 활용한 모의 해킹 서비스로 400만 달러 투자를 유치한 것도, AI 기반 공격과 방어의 자동화 경쟁이 본격화되었음을 보여준다.

국내 금융권에서는 AI가 비이자 수익(수수료 이익) 확대의 핵심 동력으로 자리 잡고 있다. NH농협은행의 경우 상반기 당기순이익은 소폭 감소했으나 수수료이익은 16.2% 증가했는데, 이는 AI를 통한 자산관리(WM) 상담 역량 강화가 직접적인 수익 개선으로 이어지고 있음을 시사한다. 한국투자증권 역시 내년부터 AI 성과를 ‘사용자 수’가 아닌 실제 업무 성과와 고객 가치로 평가하기로 한 것은, AI 도입이 비용 절감 도구를 넘어 수익 창출 엔진으로 인식되고 있음을 의미한다.

Outlook & What to Watch

향후 AI 에이전트 산업에서는 ‘통제 가능한 자율성’이 표준이 될 전망이다. JP모건과 같은 대형 금융기관이 외부 에이전트 접근을 차단하는 추세는, 향후 기업용 AI 에이전트 시장이 ‘클로즈드 소스’나 ‘온프레미스’ 배포 모델의 비중이 높아지는 방향으로 기울어질 가능성을 높인다. 개발자들은 외부 API 의존도를 낮추고, 자체 데이터와 업무 규칙을 에이전트에 정교하게 매핑하는 ‘데이터 오케스트레이션’ 기술의 중요성이 커질 것을 대비해야 한다.

또한 카카오의 ‘노르마’와 같은 윤리 이행 가이드라인이 업계 표준으로 확산될지 주목해야 한다. AI 에이전트의 행동이 법적 책임으로 귀속되는 시점에서, ‘윤리 체크리스트’는 단순한 CSR 활동이 아닌 컴플라이언스(CSR)의 필수 요건이 될 것이다. 투자자들은 AI 에이전트 도입 기업 중 ‘오류 통제 기술’과 ‘감사 로그(Audit Log)’ 기능이 내장된 솔루션을 채택한 곳을 우선적으로 평가할 가능성이 높다.

마지막으로, AI 에이전트 보험 시장이 성숙하는 과정이 중요하다. 하버와 같은 스타트업들이 실제 사고 사례를 축적해 보험료를 산정하는 모델이 정립되면, AI 에이전트 도입에 따른 리스크가 정량화되어 기업의 의사결정 과정에 더 명확한 기준이 제시될 것이다. 2026년 하반기부터 2027년 초까지, AI 에이전트 관련 규제와 보험 상품, 그리고 보안 표준이 어떻게 구체화되는지 주시할 필요가 있다.

교차 인용된 언론 보도

이 브리핑은 인공지능(AI) 모델이 최근 24시간의 국내외 테크 매체 보도를 종합 분석하여 작성했습니다. 매체의 보도 내용과 논조를 바탕으로 하였으며, 주요 출처와 원문 기사는 위 목록에서 확인하실 수 있습니다.

댓글

댓글 쓰기