양자컴퓨터는 당신의 DB 암호문을 깨지 못한다

“양자컴퓨터가 나오면 그쪽 DB 암호화 솔루션도 다 무용지물 되는 거 아니에요?” 보안 솔루션을 만든다고 하면 요즘 가장 자주 듣는 말이다. 질문하는 사람의 표정에는 막연한 공포가 깔려 있다. 양자컴퓨터라는 단어가 등장하는 순간, 세상의 모든 자물쇠가 동시에 풀려버리는 종말론적 그림이 따라붙는다.

이 공포에는 한 가지 결정적인 착각이 있다. 바로 ‘암호’ 를 하나의 덩어리로 본다는 점이다. 실제로 암호는 성격이 전혀 다른 두 진영으로 나뉘고, 양자컴퓨터는 그중 한쪽만 무너뜨린다. 무너지는 쪽은 데이터를 직접 잠그는 암호가 아니라, 그 데이터를 주고받을 때 신뢰를 세우는 암호다. 둘을 가르지 못하면 위협의 크기를 영원히 잘못 가늠하게 된다.

암호는 한 덩어리가 아니다

암호 시스템은 크게 두 종류로 갈린다. 하나는 대칭키 암호, 곧 블록 암호다. AES, ARIA, SEED 가 여기 속한다. 데이터 그 자체를 잠그는 일을 한다. DB 컬럼 암호화, 디스크 암호화, 파일 암호화 — 데이터가 가만히 저장되어 있을 때 그것을 읽지 못하게 만드는 모든 작업이 이 진영의 몫이다. 잠그는 열쇠와 여는 열쇠가 동일한 하나의 비밀키이고, 그 키를 어떻게 안전하게 보관하느냐가 모든 것을 좌우한다.

다른 하나는 공개키 암호다. RSA, ECC, 디피-헬만이 여기 속한다. 이쪽이 하는 일은 데이터를 잠그는 것이 아니라, ‘열쇠를 안전하게 주고받는 것’ 과 ‘상대가 진짜인지 증명하는 것’ 이다. TLS 세션키 교환, 인증서, 전자서명, 코드 서명이 전부 공개키의 영토다. 잠그는 열쇠(공개키)와 여는 열쇠(개인키)가 서로 다르다는 비대칭성이 이 진영의 핵심이다.

양자컴퓨터를 이야기할 때 이 구분을 건너뛰면 모든 논의가 엉킨다. 두 진영은 양자라는 위협 앞에서 완전히 다른 운명을 맞기 때문이다. 한쪽은 옷깃을 여미는 정도로 끝나고, 다른 한쪽은 설계 원리 자체가 붕괴한다.

그로버는 자물쇠를 더 빨리 딸 뿐이다

대칭키 진영부터 보자. 양자컴퓨터가 AES 를 공격할 때 동원하는 무기는 그로버 알고리즘이다. 이름은 거창하지만 그로버가 하는 일은 본질적으로 무차별 대입을 좀 더 빠르게 해주는 것뿐이다. 그것도 탐색 공간을 제곱근만큼 줄여준다. 쉽게 말하면 암호의 유효 강도를 절반으로 깎는 정도다.

AES-128 은 양자컴퓨터 앞에서 64비트 수준으로 약해진다. 그러나 AES-256 은 128비트 수준으로 남는다. 128비트는 지금도, 앞으로도 현실적인 시간 안에 깰 수 없는 벽이다. 결론은 단순하다. 키 길이를 두 배로 늘리면, 다시 말해 AES-256 을 쓰면, 양자컴퓨터가 와도 원래의 안전성이 그대로 복구된다. 알고리즘을 바꿀 필요조차 없다.

이것을 ‘양적 위협’ 이라 부른다. 공격이 더 빨라지지만, 방어하는 쪽도 키 길이라는 손잡이를 돌리면 같은 비율로 따라잡을 수 있다. 자물쇠를 더 빨리 따는 도둑이 등장했을 때, 자물쇠 핀을 두 배로 늘리면 끝나는 상황이다. 게임의 규칙 자체는 바뀌지 않는다.

쇼어는 자물쇠 설계도를 훔친다

공개키 진영은 사정이 전혀 다르다. 이 차이를 이해하려면 공개키가 왜 안전했는지를 먼저 짚어야 한다. 공개키 암호는 ‘한 방향으로는 쉽지만 거꾸로는 사실상 불가능한 수학 문제’ 위에 세워져 있다. RSA 를 예로 들면, 두 개의 큰 소수를 곱하는 일은 순식간이다. 그러나 그 곱셈의 결과만 보고 원래의 두 소수를 되찾는 일, 곧 소인수분해는 일반 컴퓨터로 우주의 나이에 맞먹는 시간이 든다. ECC 와 디피-헬만은 이산로그라는, 성격이 비슷한 난제에 기댄다.

비유하자면 자물쇠는 누구나 찰칵 잠글 수 있지만(공개키), 그것을 여는 열쇠(개인키)는 비밀번호를 아는 사람만 만들 수 있는 구조다. 공개키를 아무리 들여다봐도 개인키를 역산할 수 없다는 이 한 가지 가정 위에 인터넷의 모든 신뢰가 얹혀 있다.

쇼어 알고리즘은 바로 그 가정을 깬다. 양자컴퓨터 위에서 쇼어는 소인수분해와 이산로그를 지름길로 풀어버린다. 공개키만 보고 개인키를 역으로 계산해낼 수 있게 되는 것이다. 자물쇠를 더 빨리 따는 수준이 아니라, 자물쇠의 설계도를 통째로 손에 넣는 일이다. 그래서 키 길이를 늘리는 대응이 통하지 않는다. RSA-2048 을 RSA-4096 으로 바꿔도 쇼어 앞에서는 시간이 조금 더 걸릴 뿐, 같은 방식으로 무너진다. 이것이 ‘질적 붕괴’ 다.

양자컴퓨터는 만능 해독기가 아니다

여기서 자연스러운 의문이 생긴다. 양자컴퓨터가 그렇게 강력하다면, 왜 AES 는 못 깨고 RSA 만 깨는가. 답은 양자컴퓨터가 만능 해독기가 아니라 특정한 구조의 문제에만 특화된 기계라는 데 있다.

일반 컴퓨터의 비트는 0 아니면 1 이고, 답 후보를 하나씩 순서대로 시도한다. 반면 큐비트는 0 과 1 을 동시에 겹쳐 쥘 수 있다. 흔히 이 성질을 ‘모든 경우를 한꺼번에 계산한다’ 고 오해하지만, 정확히는 그렇지 않다. 양자컴퓨터는 큐비트들의 간섭을 정교하게 설계해, 어떤 수학적 구조 — 특히 ‘주기성’ 을 가진 문제에서만 정답으로 향하는 지름길을 만들어낸다.

소인수분해는 마침 그 주기성이라는 구조를 품고 있다. 쇼어 알고리즘은 그 구조를 파고들어 정답에 도달한다. 반면 AES 같은 블록 암호는 설계 단계에서부터 그런 수학적 규칙성을 의도적으로 제거한 결과물이다. 파고들 구조가 없으니 양자컴퓨터도 별수 없이 무차별 대입, 곧 그로버에 의존할 수밖에 없다. 두 진영의 운명을 가른 결정적 차이가 바로 여기에 있다. 공개키는 깨지기 쉬운 수학적 우아함 위에 서 있었고, 대칭키는 그런 우아함을 일부러 버린 대가로 양자 시대에 살아남는다.

그래서 ‘지금부터’ 위험하다

아직 RSA-2048 을 실제로 깰 만큼 큰 양자컴퓨터는 없다. 흔히 ‘Q-Day’ 라 부르는 그날은 오지 않았다. 그렇다면 왜 보안 업계가 지금부터 분주한가. ‘Harvest Now, Decrypt Later’ 라는 공격 시나리오 때문이다.

원리는 단순하고 그래서 더 섬뜩하다. 지금 이 순간 네트워크를 오가는 TLS 암호화 트래픽을 그대로 수집해 싸게 저장해 둔다. 그리고 충분히 큰 양자컴퓨터가 완성되는 날, 저장해 둔 그 트래픽을 복호화한다. 키 교환에 쓰인 공개키가 그날 깨지기 때문이다. 결국 ‘10년 뒤에도 비밀이어야 하는 데이터’ 는 이미 오늘부터 위험에 노출되어 있는 셈이다. 의료 기록, 금융 거래, 국가 기밀처럼 수명이 긴 데이터일수록 전환을 미룰 여유가 없다. 위협은 미래형이지만 노출은 현재진행형이다.

NIST 가 무엇을 표준화했는지가 답이다

이 모든 논의의 결론은 의외로 명확한 곳에 적혀 있다. NIST 가 2024년 8월에 확정한 첫 양자내성암호(PQC) 표준 세 가지다. FIPS 203 의 ML-KEM(Kyber)은 열쇠 교환을, FIPS 204 의 ML-DSA(Dilithium)와 FIPS 205 의 SLH-DSA(SPHINCS+)는 전자서명을 대체한다.

세 표준의 공통점을 보라. 전부 공개키가 맡던 자리를 대체하는 것들이다. 대칭키, 곧 AES 를 대체하는 표준은 그 목록에 없다. 전 세계의 암호학자들이 수년에 걸쳐 차세대 표준을 설계하면서, 무엇을 갈아치우고 무엇을 그대로 두었는지가 곧 위협의 지형도다. 위험한 곳은 공개키이고, 대칭키는 키 길이만 키우면 자리를 지킨다. 표준화의 방향 자체가 이 글의 주장을 대신 증명하고 있다.

마무리

다시 처음의 질문으로 돌아가자. “양자컴퓨터가 나오면 DB 암호화도 무용지물 아니냐.” 이제는 정확하게 답할 수 있다. DB 에 AES-256 으로 저장해 둔 암호문 그 자체는 양자 시대에도 무사하다. 키 관리만 제대로 한다면 말이다. 정작 무너지는 것은 그 데이터가 망을 타고 오갈 때의 TLS 세션키 교환이고, 솔루션의 무결성을 보증하던 코드 서명이고, 신원을 증명하던 인증서다. 잠긴 금고가 부서지는 것이 아니라, 금고 열쇠를 건네주던 의식과 그 금고가 진짜라는 보증서가 무너지는 것이다.

그러니 우리가 할 일은 공포에 압도되는 것이 아니라 지형을 정확히 읽는 것이다. 대칭키 영역은 키 길이를 점검하고, 공개키 영역은 PQC 로의 전환 로드맵을 세운다. 기존 공개키와 PQC 를 나란히 적용하는 하이브리드 방식이 당장의 현실적인 첫걸음이 된다. 막연한 종말론은 늘 정확한 분류 앞에서 힘을 잃는다. 양자컴퓨터는 모든 자물쇠를 여는 마스터키가 아니라, 특정한 의식 하나를 도청하는 기계다. 그 차이를 아는 것에서 제대로 된 대비가 시작된다.