악성 AI 및 머신러닝(ML) 모델의 출현은 전 세계 보안 담당자에게 중대한 도전이 되고 있다. 최근 허깅 페이스 플랫폼에서 100개가 넘는 악성 모델이 발견되면서 이러한 정교한 위협을 방어하기 위한 경계와 선제적 조치가 시급히 필요한 상황이다.
허깅 페이스와 같이 평판이 좋은 플랫폼에서 악성 AI/ML 모델이 발견된 것은 오픈 소스 리포지토리의 악용이 점차 증가되고 있다는 증거다.
이러한 모델이 배포되면 공격자가 손상된 시스템에 원격으로 액세스할 수 있어 데이터 유출 및 기업 스파이 활동과 같은 치명적인 결과를 초래할 수 있다.
또한 빔 검색 기반 적대적 공격(BEAST)과 같은 공격 기법의 진화는 공격자들이 대규모 언어 모델(LLM)을 조작하여 유해한 응답을 생성하는 데 점점 더 정교해지고 있다. 또한 Morris II와 같은 생성형 AI 웜의 개발은 상호 연결된 시스템에서 데이터 도난과 멀웨어 전파를 가능하게 함으로써 이중 위협이 되고 있다.
특히 우려되는 것은 생성형 AI 모델을 활용하여 의심하지 않는 애플리케이션에 악의적인 입력을 전달하는 새로운 공격 기법인 ComPromptMized의 등장이다. 공격자는 쿼리와 데이터에 코드를 삽입함으로써 이러한 애플리케이션이 생성 AI 서비스 또는 검색 증강 생성(RAG) 방식에 의존하는 점을 악용하여 애플리케이션의 무결성과 기능을 손상시킬 수 있다.
프롬프트 인젝션 공격은 공격자가 LLM을 조작할 수 있는 또 다른 수단이다. 공격자는 이미지나 오디오 녹음과 같은 데이터에 숨겨진 프롬프트를 전략적으로 삽입함으로써 모델의 출력을 의도하지 않은 동작으로 유도하여 추가적인 악용 및 침해로 이어질 수 있다.
이처럼 진화하는 위협을 고려할 때 보안 담당자는 악성 AI/ML 모델 및 고급 공격 기법과 관련된 위험을 완화하기 위해 다층적인 접근 방식을 채택해야 한다:
△모니터링 및 탐지 강화: 강력한 모니터링 메커니즘을 구현하여 오픈 소스 리포지토리 내에서 AI/ML 모델과 관련된 비정상적인 행동 및 의심스러운 활동을 탐지해야 한다.
△엄격한 검증 및 검증: 코드 검토 및 무결성 검사를 통해 잠재적인 취약점이나 악성 페이로드를 식별하는 등 배포 전에 AI/ML 모델에 대한 철저한 검증 및 검증 프로세스의 우선순위를 정하자.
△안전한 개발 관행: 안전한 코딩 관행과 확립된 보안 지침 및 프로토콜 준수를 강조하여 개발팀 내 보안 문화를 조성한다.
△지속적인 교육 및 훈련: 보안 담당자가 AI/ML 환경의 새로운 위협과 진화하는 공격 기술을 파악할 수 있도록 지속적인 교육 및 인식 프로그램을 제공한다.
△협업 및 정보 공유: 업계 동료, 위협 인텔리전스 제공업체 및 연구 커뮤니티와의 협업을 촉진하여 악성 AI/ML 모델 및 고급 공격 기법에 대응하기 위한 인사이트와 모범 사례를 공유하자.
보안 담당자는 사이버 보안에 대한 선제적이고 총체적인 접근 방식을 채택함으로써 악성 AI/ML 모델과 지능형 공격 기법으로 인해 진화하는 위협 환경으로부터 조직을 효과적으로 보호할 수 있다.
■[G-PRIVACY 2024] 하반기 최대 개인정보보호&정보보안 컨퍼런스 개최 (7시간 보안교육 이수)
△일시: 2024년 3월 12일(화)
△장소: 서울 양재동 더케이호텔서울 2층 가야금홀
△주최: 데일리시큐
△참석대상자: 전국 공공기관 및 지자체, 교육기관, 공기업, 일반기업, 금융기관 등 개인정보보호 책임자, 개인정보보호 담당자, CISO, 정보보안 실무자 등 1,000여 명 이상(현업 보안업무와 관련 없는 자는 참석불가)
△전시회: 국내외 최신 정보보안 솔루션 소개
△보안기업 전시회 참가신청: 데일리시큐 길민권 기자 / mkgil@dailysecu.com
△참관객 사전등록: 클릭
★정보보안 대표 미디어 데일리시큐 / Dailysecu, Korea's leading security media!★
