김현 의원실 주최, 유관기관 주관 토론회… 제도 공백·산업 구조·인재 양성 과제 집중 제기
AX 2.0 시대, 공격도 방어도 AI가 주도… “보안은 더 이상 후순위가 아니다”
기술·산업·인재·법제 한자리서 점검… “각자 따로 가면 실효성 없다”






토론회의 문제의식은 비교적 분명했다. AX 시대의 보안은 더 이상 시스템 한켠에 붙는 방어 기능이 아니라 산업 경쟁력과 사회적 신뢰를 지탱하는 핵심 인프라라는 점이다. (사진=테 야마토연타 크42)






AI는 에이전트와 피지컬 영역으로 확장되며 더 이상 특정 기술이 아닌 핵심 인프라로 여겨지고 있다. 문제는 AI 기술 확산이 사이버보안 영역에도 영향을 미치고 있다는 점이다. 최근 몇 년 사이 사이버보안을 손오공릴게임예시 위협하는 다양한 공격이 AI 기술을 활용해 발생했다. 딥페이크 사기, 자동화된 램섬웨어, LLM 탈옥 공격 에이전틱 AI의 무기화 등 그 유형도 각양각색이다. 문제는 이러한 AI 기술을 통한 사이버공격이 급증하는 속도에 비해 기업·공공 영역의 보안이나 법제도가 대응하는 속도가 늦다는 점이다.
이에 지난달 27일 국회의원회관에서 열린 ‘ 바다이야기릴게임2 AX 시대 사이버보안 강화를 위한 토론회’는 AX(인공지능 전환)이 산업 혁신의 언어를 넘어 안전과 신뢰의 문제로 옮겨가고 있는 상황을 진단하고 그 대응 방향성을 짚어보는 자리로 이목을 집중시켰다.

국회 과학기술정보방송통신위원회 간사 김현 의원이 주최하고 한국인터넷진흥원, 한국정보보호학회 AI보안연구회, 한국인터넷법 릴게임몰 학회가 공동 주관한 이날 행사에서는 생성형 AI와 에이전틱 AI, 피지컬 AI 확산에 따라 달라진 위협 환경과 이를 떠받칠 보안 체계, 산업 생태계, 인재 양성, 법·제도 정비 방향이 입체적으로 논의됐다.






지 바다이야기프로그램 난달 27일 국회의원회관에서 열린 ‘AX 시대 사이버보안 강화를 위한 토론회’는 AX(인공지능 전환)이 산업 혁신의 언어를 넘어 안전과 신뢰의 문제로 옮겨가고 있는 상황을 진단하고 그 대응 방향성을 짚어보는 자리로 이목을 집중시켰다.






이날 발제는 두 갈래로 진행됐다. 권태경 연세대학교 교수(AI보안연구회 회장)는 ‘AX 시대 AI 보안 위험·이슈 및 대응방안’을 주제로, AI가 산업 전반의 의사결정과 자동화, 물리 시스템에까지 깊숙이 연결되면서 보안 위협 역시 전혀 다른 차원으로 확장되고 있다고 진단했다.
이어 이근우 법무법인 화우 변호사는 ‘AX 시대 사이버보안 법제 발전방향’을 통해 기존 정보보호 법제가 네트워크와 시스템 중심 시대를 전제로 설계된 만큼, 데이터·모델·출력·서비스가 결합하는 AX 환경을 충분히 설명하지 못한다고 짚었다.
발표 뒤에는 권 교수가 좌장을 맡고 윤두식 이로운앤컴퍼니 대표, 조효진 연세대 교수, 곽진 아주대 교수, 정필운 한국교원대 교수, 지은경 과학기술정보통신부 정보보호기획과장이 패널로 참여해 산업, 인재, 기술, 법제, 정부 정책을 가로지르는 논의를 이어갔다.
토론회의 문제의식은 분명했다. AX 시대의 보안은 더 이상 시스템 한켠에 붙는 방어 기능이 아니라 산업 경쟁력과 사회적 신뢰를 지탱하는 핵심 인프라라는 점이다. AI 기술이 기업과 공공, 일상 서비스 전반으로 빠르게 스며드는 상황에서 보안이 뒤따라가는 구조로는 더 이상 대응이 어렵다는 현실 인식도 자리 잡고 있었다. 이날 국회에서 나온 논의는 결국 “AI를 전제로 한 사회에서 어떤 안전 체계를 먼저 갖출 것인가”라는 질문으로 모였다.

AI가 ‘뇌’가 되는 시대…권태경 “이제는 AI 보안 위협의 시대”






권태경 교수는 발표 서두에서 AI 발전의 흐름을 짚으며 지금을 단순한 기술 진보의 국면이 아니라 본격적인 대전환의 시기로 규정했다. 과거 판별형 AI 중심의 시대가 제한된 태스크 수행과 예측, 추론 중심이었다면, 지금의 AX 2.0은 생성형 AI를 기반으로 에이전틱 AI와 피지컬 AI까지 맞물리며 산업 운영 구조 자체를 바꾸고 있다는 설명이다.(사진=테크42)






권태경 교수는 발표 서두에서 AI 발전의 흐름을 짚으며 지금을 단순한 기술 진보의 국면이 아니라 본격적인 대전환의 시기로 규정했다. 과거 판별형 AI 중심의 시대가 제한된 태스크 수행과 예측, 추론 중심이었다면, 지금의 AX 2.0은 생성형 AI를 기반으로 에이전틱 AI와 피지컬 AI까지 맞물리며 산업 운영 구조 자체를 바꾸고 있다는 설명이다.
문제는 그만큼 위협도 커지고 있다는 점이다. 권 교수는 “AI가 효율성을 높이는 도구인 동시에 공격을 자동화하고 고도화하는 수단으로도 빠르게 활용되면서, 보안은 기술 발전의 부수적 논점이 아니라 전제 조건이 되고 있다”고 진단했다.
권 교수의 발표에서는 실제 위협 양상도 구체적으로 제시됐다. AI 기반 피싱 공격의 급증, 딥페이크를 활용한 사기와 허위 지시, LLM의 코딩 능력을 악용한 랜섬웨어 생성, 실행 과정에서 악성 기능을 만들어 탐지를 회피하는 악성코드, 공급망과 자격증명 공격, 모델 탈옥과 환각 악용 등이 대표적이다.
특히 권 교수는 AI 모델이 앞으로 에이전트와 피지컬 시스템의 ‘브레인’ 역할을 맡게 될수록 모델 공격은 단순 정보 왜곡을 넘어 실제 설비와 서비스, 물리 공간의 안전 문제로 이어질 수 있다고 경고했다. 사이버 위협이 디지털 공간 안에서만 머무르지 않고 현실 세계에 직접 영향을 미치는 구조가 형성되고 있다는 것이다.
“AX 시대는 단순한 AI 도입의 시대가 아니라 AI 보안 위협의 시대라고 할 수 있습니다. AI가 공격의 도구가 되고, 더 나아가 자율적으로 공격을 수행하는 환경이 오고 있습니다. 결국 우리는 AI를 방어해야 하고, 동시에 AI를 활용해 방어해야 합니다.”

이어 권 교수는 기존처럼 규칙이나 기계학습을 활용해 공격을 탐지하는 수준을 넘어, AI 자체를 보호하고 동시에 AI를 활용해 위협 탐지와 대응, 회복을 자동화하는 체계가 필요하다는 점을 짚었다. 이미 글로벌 기업들 사이에서는 자동화된 레드티밍과 오케스트레이션, 선제 대응 체계가 도입되고 있으며, 사이버 회복력 확보 역시 AI 활용 없이는 점점 어려워지는 환경 변화도 언급됐다. 즉 AX 시대 보안의 핵심은 탐지의 정밀도만이 아니라 대응 속도와 회복력, 그리고 운영 전반의 자동화 수준에 달려 있다는 것이다.






권 교수의 발표에서는 실제 위협 양상도 구체적으로 제시됐다. AI 기반 피싱 공격의 급증, 딥페이크를 활용한 사기와 허위 지시, LLM의 코딩 능력을 악용한 랜섬웨어 생성, 실행 과정에서 악성 기능을 만들어 탐지를 회피하는 악성코드, 공급망과 자격증명 공격, 모델 탈옥과 환각 악용 등이 대표적이다. (사진=테크42)






발표 말미, 권 교수는 기술 낙관론을 경계했다. AI를 활용한 방어가 중요해진 것은 맞지만, 정작 현장에서는 여전히 패치 미적용, 운영 미숙, 인적 과실 같은 기본 문제가 반복되고 있다는 점도 함께 짚었다. 새로운 위협에 대한 화려한 담론 못지않게 보안의 기본기를 회복하는 일이 중요하다는 것이다. 이른바 ‘Back to Basic’이다. 여기에 AI 기본법 시행 이후 하위 법령 정비와 거버넌스 체계 보완, 산업 생태계와 인재 양성 기반 마련까지 함께 가야만 AX 시대 보안 체계가 실제로 작동할 수 있다는 점도 강조했다.
“AI를 이용해 공격을 방어해야 하는 것도 맞지만, 아주 냉정하게 보면 우리가 아직도 제대로 하지 못하는 패치 적용과 인적 과실 문제가 여전히 큽니다. 보안은 결국 기본으로 돌아가야 합니다. 그 위에 AI 보안 생태계와 인재, 거버넌스를 균형 있게 세워야 합니다.”

“누가 책임질 것인가”…이근우 “AX 환경에 맞는 법제 전면 재설계 필요”






이근우 법무법인 화우 변호사의 발표는 기술 변화보다 더 느리게 움직이는 법과 제도의 문제를 정면으로 파고들었다. (사진=테크42)






이근우 법무법인 화우 변호사의 발표는 기술 변화보다 더 느리게 움직이는 법과 제도의 문제를 정면으로 파고들었다. 이 변호사는 지금의 정보통신망법이나 개인정보보호법, 전통적인 정보보호 규율 체계는 네트워크와 시스템 보호를 중심으로 짜여 있어 AX 환경의 복합적 위험을 충분히 다루기 어렵다는 점을 지적했다. 데이터 수집과 학습, 모델 개발, 외부 API 연동, 서비스 운영, 출력과 의사결정이 하나의 흐름으로 연결되는 시대에는 과거의 사고 개념과 책임 구조만으로는 대응에 한계가 있다는 것이다.
이 변호사는 특히 기존 ‘침해사고’ 정의의 협소함을 문제 삼았다. 지금까지의 법제는 바이러스 감염, 해킹, 시스템 훼손처럼 비교적 명확한 사고를 상정해 왔지만, AX 환경에서 발생하는 모델 오염, 프롬프트를 통한 개인정보 추출, 학습 과정에서의 민감정보 재노출, 외부 LLM 연동 과정의 정보 유출, AI 에이전트의 자율행동으로 인한 피해 같은 유형은 이 틀에 온전히 들어맞지 않는다. 개인정보보호법 역시 축적된 데이터의 보호에는 강하지만, 학습과 생성 과정에서 새롭게 파생되는 위험까지 충분히 포괄하기는 어렵다는 설명이다.
더 근본적인 문제는 책임 구조다. AX 환경에서는 데이터 제공자와 모델 개발자, 외부 LLM 제공자, 서비스 운영자, 내부 관리 책임자가 한 사고 안에서 동시에 얽힌다. 예를 들어 학습 데이터가 오염된 경우 누구의 책임인지, 외부 API 연동에서 정보 유출이 발생하면 누구를 우선 책임 주체로 볼 것인지, AI 에이전트의 자율 대응이 사고로 이어졌을 때 운영자와 개발자 중 누가 어디까지 책임져야 하는지 기존 체계만으로는 선을 긋기 어렵다. 이 변호사는 현재의 CISO와 CPO 중심 구조 사이에 커다란 공백이 생겨 있다고 진단했다. 결국 필요한 것은 개별 사고 처벌을 늘리는 방식이 아니라, 위험을 사전에 관리하고 총괄 책임을 명확히 할 수 있는 통합 거버넌스라는 것이다.

“기존 침해사고 개념은 AX 환경에서 새롭게 발생하는 위험을 충분히 포섭하지 못합니다. 이제 사고는 데이터 제공자, 모델 개발자, 외부 LLM 제공자, 서비스 운영자가 동시에 얽힌 구조에서 벌어집니다. 법제는 결국 이 새로운 책임 구조를 반영하는 방향으로 바뀌어야 합니다.”






이 변호사는 지금의 정보통신망법이나 개인정보보호법, 전통적인 정보보호 규율 체계는 네트워크와 시스템 보호를 중심으로 짜여 있어 AX 환경의 복합적 위험을 충분히 다루기 어렵다는 점을 지적했다. (사진=테크42)






이 변호사는 방향론으로 사후 규제보다 사전 예방 중심의 전환을 제시했다. 설계 단계부터 보안을 내재화하는 시큐리티 바이 디자인, 공급망까지 포함한 전주기 관리, 위험 식별과 측정, 경감 조치 중심의 접근이 필요하다는 설명이다. 이미 정부 차원에서도 AI 보안이나 프라이버시 리스크 관리와 관련한 가이드라인과 프레임워크가 나오고 있지만, 아직은 준비 단계에 머물러 있는 만큼 이를 법제화하는 과정에서 산업 진흥과 필수 보안 사이의 균형을 정교하게 설계해야 한다고 덧붙였다. 보안을 강화하되 산업을 과도하게 위축시키지 않는 법제의 미세한 조정이 앞으로의 과제라는 것이다.
“발전 방향은 사후 규제보다 사전 예방으로 가는 것이 맞습니다. 다만 법제화는 사람을 너무 옥죄지 않으면서도 필수적인 보안을 제대로 갖추게 하는 방향이어야 합니다. 결국 침해 개념, 거버넌스 구조, 공급망 보안까지 모두 전면적으로 다시 설계할 필요가 있습니다.”

산업도, 인재도, 제도도 따로 가선 안 된다…패널토론서 나온 ‘연결’의 과제






이어진 패널토론에서는 산업, 인재, 기술, 법제라는 네 축이 서로 따로 움직이면 AX 보안은 실효성을 갖기 어렵다는 점이 반복해서 제기됐다. (사진=테크42)






이어진 패널토론에서는 산업, 인재, 기술, 법제라는 네 축이 서로 따로 움직이면 AX 보안은 실효성을 갖기 어렵다는 점이 반복해서 제기됐다. 죄장을 맡은 권태경 교수는 네 영역 가운데 무엇이 가장 시급한지 패널들에게 물었다. 답은 조금씩 달랐지만 결국 하나의 방향으로 수렴했다. 인재가 없으면 기술이 자라기 어렵고, 시장이 작으면 인재도 유입되지 않으며, 산업이 커지지 않으면 제도도 현실성을 잃고, 법과 정책이 뒷받침되지 않으면 기술은 현장에 뿌리내리기 어렵다는 것이다. AX 시대의 사이버보안은 기술 문제가 아니라 연결 구조의 문제라는 인식이 토론 전반을 관통했다.

먼저 조효진 연세대 교수는 가장 시급한 축으로 인재 양성을 꼽았다. AX가 제조, 금융, 의료 등 실물 산업 전반으로 퍼지는 만큼, AI 기술과 보안을 동시에 이해하는 인력이 선제적으로 확보되지 않으면 안전한 생태계 자체를 만들 수 없다는 판단이다. 그러면서 조 교수는 최근 관련 대학원 사업 확대를 긍정적으로 평가하면서도, 보안이 아직 AX 특화 영역 안에 충분히 내재화돼 있다고 보기는 어렵다고 진단했다. 특히 지금과 같은 대학 중심 구조만으로는 한계가 뚜렷하다고 봤다. 실제 산업 문제와 데이터, 인프라를 가진 기업이 컨소시엄 형태로 참여하고, 그 참여에 상응하는 인센티브를 제공하는 방식이어야 현장성과 지속성이 확보될 수 있다는 것이다. 단순히 이름만 올리는 참여기업이 아니라, 산업 현장의 문제를 교육과 연구로 끌어오는 구조가 필요하다는 지적이다.






조효진 연세대 교수(왼쪽)는 가장 시급한 축으로 인재 양성을 꼽았다. 윤두식 이로운앤컴퍼니 대표(국가AI전략위원회 국방 및 안보분과 위원)는 산업 생태계의 체급 자체를 키워야 한다고 강조했다. (사진=테크42)






윤두식 이로운앤컴퍼니 대표(국가AI전략위원회 국방 및 안보분과 위원)는 산업 생태계의 체급 자체를 키워야 한다고 강조했다. 국내 보안 산업은 여전히 공공 조달과 구축형·SI 중심 구조에 기대고 있어, 제품 표준화와 서비스화, 해외 확장에 불리한 구조라는 것이다. 이와 더불어 윤 대표는 정부 R&D 지원이 기술개발에는 의미가 있지만, 시장 창출과 영업·마케팅으로 이어지는 구조는 여전히 빈약하다고 진단했다. 특허와 논문 중심의 평가로는 산업이 자라기 어렵고, 결국 고객사 확보, 해외 판로, 매출 같은 시장지표를 중심에 둔 사후관리 체계가 필요하다는 주장이다. 특히 스타트업이 공공시장에서 첫 고객을 확보하려 해도 인증과 조달 장벽에 막히는 현실도 지적했다. 이는 과기정통부만의 문제가 아니라 조달청, 행정안전부, 중소벤처기업부 등 여러 부처가 연결된 전략적 접근이 필요하다는 것이 윤 대표의 지적이다.
곽진 아주대 교수는 기술 관점에서 ‘AI를 위한 보안’과 ‘AI를 활용한 보안’을 더는 분리해서 볼 수 없는 단계에 들어섰다고 짚었다. 하루에도 수많은 모델이 쏟아지고 다양한 산업에서 즉시 활용되는 환경에서는 데이터 수집부터 학습, 배포, 운영, 유지관리 전 단계에 걸쳐 보안 요구사항을 반영하는 내재화가 핵심이 된다는 것이다. 곽 교수는 특히 고영향 AI 서비스라면 더 높은 안전성과 신뢰성이 요구돼야 하지만, 실제 검증과 인증 체계는 아직 충분히 촘촘하지 않다고 진단했다. 동시에 인증 체계가 산업을 위축시키는 방향으로 흐르지 않도록 클라우드 등 인프라 영역의 기존 제도와 유기적으로 연동하는 접근이 필요하다고 봤다.

정필운 한국교원대 교수는 정보보안 문제를 기본권의 언어로 재구성해야 한다고 제안했다. 개인정보 침해는 개인정보 자기결정권이라는 헌법적 논리 위에서 제도 개선이 축적돼 왔지만, 정보보안 침해는 여전히 기술적 사고나 관리 실패 정도로 다뤄지는 측면이 강하다는 것이다. 정 교수는 이를 넘어 ‘정보보안권’이라는 관점을 적극 검토해야 한다는 점도 지적했다. 그래야 정보보안 사고를 국민의 권리와 안전 문제로 끌어올릴 수 있고, 그에 맞는 입법과 집행의 강도도 확보할 수 있다는 취지다.






(왼쪽부터) 곽진 아주대 교수, 정필운 한국교원대 교수, 지은경 과기정통부 과장. 곽진 아주대 교수는 기술 관점에서 ‘AI를 위한 보안’과 ‘AI를 활용한 보안’을 더는 분리해서 볼 수 없는 단계에 들어섰다고 짚었다. 정필운 한국교원대 교수는 정보보안 문제를 기본권의 언어로 재구성해야 한다고 제안했다. 지은경 과기정통부 정보보호기획과장은 AI를 활용한 선제 대응과 초동 대응 고도화가 중요해졌다고 진단했다. (사진=테크42)






정부 측에서 참석한 지은경 과기정통부 정보보호기획과장은 최근 위협의 특징으로 공급망을 통한 동시다발적 확산을 짚었다. 기존 방식만으로는 차단이 어렵기 때문에 AI를 활용한 선제 대응과 초동 대응 고도화가 중요해졌다고 진단했다. 동시에 피지컬 AI와 에이전트 AI 확산에 맞춰 계층형 보안 체계, 안전성 평가, 표준화, AI와 양자 등 신기술의 적기 도입이 함께 추진돼야 한다고 밝혔다. 산업 육성과 보안 강화를 따로 떼어보기보다, 두 축이 함께 움직일 수 있도록 정책을 설계해야 한다는 점에서 이날 다른 패널들의 문제의식과도 맞닿아 있었다.
이날 국회 토론회를 통해 AX 시대 보안을 둘러싼 과제가 무엇인지 비교적 선명하게 드러났다. AI를 활용한 공격과 AI를 활용한 방어가 동시에 고도화되는 국면에서, 우리나라의 대응은 기술 개발만으로도, 법제 정비만으로도 완성되지 않는다. 산업이 시장을 만들고, 교육이 현장형 인재를 길러내고, 기술이 설계 단계부터 보안을 품고, 제도가 그 전 과정을 연결하는 방식으로 움직여야 한다. 이날 토론회에서 제시된 해법은 언뜻 단순한 측면도 있다. AX의 속도만큼 보안의 속도도 빨라져야 한다는 것, 그리고 그 출발점은 각각의 과제를 나열하는 데 있지 않고 하나의 체계로 묶어내는 데 있다는 것이다. 구슬이 서 말이어도 꿰어야 보배라는 말처럼 중요한 것은 실행이다.
저작권자 © Tech42 - Tech Journalism by AI 테크42 무단전재 및 재배포 금지