Hysteria2 vs VLESS Reality 심층 비교

새 프로토콜이 등장한 배경

프록시 프로토콜의 발전사는 본질적으로 끊임없는 기술 경쟁의 역사입니다. Shadowsocks는 2012년에 등장해 정교한 대칭 암호화로 트래픽을 위장했고, 한동안은 프록시 트래픽과 일반 HTTPS 트래픽을 구분하기 어렵게 만들었습니다. 하지만 네트워크 트래픽 분석 기술과 머신러닝 기반 탐지 모델이 발전하면서 Shadowsocks 특유의 트래픽 패턴이 점점 식별되기 시작했고, 대용량 전송 시 안정성이 떨어지는 문제도 두드러졌습니다.

VMess는 V2Ray 프로젝트가 2016년에 내놓은 차세대 방식으로, WebSocket over TLS(WS+TLS)를 이용해 일반 HTTPS 트래픽처럼 위장할 수 있어 쉽게 차단되지 않는 장점이 있었습니다. 다만 WS+TLS는 TLS 핸드셰이크 지연을 추가로 발생시켜 패킷 손실률이 높은 환경(해저 케이블을 거치는 장거리 구간, 피크 시간대)에는 그다지 유리하지 않았고, TLS 자체로는 접속하는 「사이트가 어디인지」까지 숨겨주지는 못했습니다.

이런 한계를 극복하기 위해 커뮤니티는 2022~2023년 사이에 설계 철학이 전혀 다른 두 프로토콜을 잇달아 내놓았습니다: Hysteria2와 VLESS Reality입니다. 둘 다 Clash.Meta(Mihomo) 코어에서 네이티브로 지원되며, Clash Plus에도 완전히 구현되어 있습니다. 두 프로토콜의 차이를 이해하면 프록시 서비스의 요금제를 고르거나 직접 서버를 구축할 때 훨씬 현명한 결정을 내릴 수 있습니다.

Hysteria2 상세 해설

Hysteria2(이하 Hy2)는 QUIC 프로토콜을 기반으로 만들어졌습니다. QUIC은 원래 구글이 개발했고, 2021년 HTTP/3의 기반 전송 프로토콜(RFC 9000)로 채택되어 유튜브, 구글 검색, Cloudflare 등 주요 서비스에서 널리 사용되고 있습니다.

QUIC은 UDP 위에서 동작하며 TLS 1.3 암호화, 멀티플렉싱, 0-RTT 빠른 재연결 등의 특성을 기본으로 갖추고 있습니다. 기존 TCP 프로토콜은 패킷 손실이 발생하면 「혼잡 제어」가 걸려 전체 연결이 재전송을 기다리며 멈추는 반면, QUIC은 여러 데이터 스트림이 서로 독립적으로 동작해서 한 스트림의 손실이 다른 스트림에 영향을 주지 않습니다. 이 특성은 패킷 손실이 잦은 장거리 국제 회선에서 큰 강점으로 작용합니다.

Hysteria2는 QUIC 위에 독자적인 혼잡 제어 알고리즘(BBR 변형)을 구현하고, 「Brutal」이라 불리는 대역폭 강제 활용 전략을 도입했습니다. 네트워크 패킷 손실률이 30%에 달해도 설정한 상한에 가까운 처리량을 안정적으로 유지할 수 있습니다. 실측 결과 Hy2는 피크 시간대(저녁 8시~11시)에도 기존 TCP 기반 프로토콜보다 대체로 더 좋은 속도를 보여줍니다. 4K/8K 스트리밍이나 대용량 게임 다운로드처럼 순간 처리량이 중요한 상황에서 특히 체감이 큽니다.

Hy2의 주된 약점은, UDP 트래픽이 일부 호텔·학교·회사 내부망에서 방화벽에 의해 차단되거나 크게 제한된다는 점입니다. 이런 환경은 대체로 TCP 443 포트만 허용하기 때문입니다. 또한 QUIC 트래픽은 일반 HTTPS 트래픽과 신호 패턴이 다소 달라서, 트래픽 검사가 엄격한 공용 Wi-Fi나 네트워크 정책 환경에서는 제한을 받을 수도 있습니다.

VLESS Reality 상세 해설

VLESS Reality의 설계 방향은 Hysteria2와 완전히 다릅니다. 핵심 목표는 「트래픽 특징 제로」 — 프록시 트래픽을 실제 웹사이트의 TLS 트래픽과 완전히 동일하게 위장해서, 어떤 딥 패킷 검사(DPI) 시스템으로도 구분할 수 없게 만드는 것입니다.

기존 TLS 기반 프록시 방식(WS+TLS, gRPC+TLS)에는 근본적인 문제가 있습니다. 서버의 TLS 인증서가 자체 발급이거나 소규모 CA에서 발급된 것이라, 실제 유명 웹사이트가 갖는 SCT(서명된 인증서 투명성 로그) 기록이 없어서 능동 탐지 시 쉽게 노출됩니다. Reality 프로토콜은 실제 유명 웹사이트(마이크로소프트, 구글, Cloudflare 등)의 TLS 인증서와 핸드셰이크 파라미터를 「빌려와」, 프록시 서버의 TLS 핸드셰이크 과정을 그 사이트에 실제로 접속했을 때와 완전히 동일하게 만듭니다. Wireshark로 패킷을 캡처해도 프록시 서버와 일반 HTTPS 서버를 구분할 수 없습니다.

VLESS Reality는 TCP 위에서 동작하기 때문에 UDP 차단의 영향을 받지 않고, 제한이 많은 네트워크 환경에서 호환성이 가장 좋습니다. 대신 TCP 혼잡 제어의 한계 때문에 패킷 손실이 많은 환경에서는 Hysteria2보다 속도가 떨어집니다. 단일 연결의 처리량 상한은 기본적으로 TCP 성능에 좌우되어 최적화 여지가 제한적입니다.

종합 비교

어떻게 선택할까?

Hysteria2가 유리한 경우: 사용 중인 네트워크가 UDP를 차단하지 않고, 노드까지의 회선 손실률이 높은 경우(장거리 국제 구간, 피크 시간대)입니다. 다운로드 속도와 스트리밍(4K·8K 영상, 대용량 파일 다운로드, 게임 클라이언트 업데이트)이 주된 목적이라면 Hysteria2의 처리량 우위가 확실히 체감됩니다. 동일한 해외 서버 기준으로 Hysteria2의 최대 속도는 보통 VLESS Reality보다 20~50% 높게 나타납니다.

VLESS Reality가 유리한 경우: UDP가 제한된 네트워크 환경(회사 내부망, 학교 네트워크, 일부 호텔 Wi-Fi)에 있거나, 트래픽 위장을 최우선으로 두고 싶은 경우, 또는 이용 중인 프록시 서비스가 Hysteria2 노드 없이 Reality 노드만 제공하는 경우입니다. 트래픽 위장이 가장 중요한 상황에서는 VLESS Reality가 현재 가장 확실한 선택으로 꼽힙니다.

둘 다 사용하기: 좋은 프록시 서비스는 대체로 Hysteria2와 VLESS Reality 노드를 함께 제공합니다. 가장 좋은 방법은 Clash의 「자동 선택」 정책 그룹에 두 프로토콜 노드를 모두 포함시켜, 지연 측정 결과에 따라 자동으로 최적 노드를 쓰게 하는 것입니다. 이렇게 하면 일반적인 네트워크에서는 Hysteria2의 빠른 속도를 누리고, 제한이 있는 네트워크에서는 자동으로 Reality로 전환되어 연결을 안정적으로 유지할 수 있습니다.

실측 참고 데이터

다음은 홍콩 리전 서버, 국내 LG U+ 회선, 평일 저녁 9시(피크 시간대) 기준 테스트 데이터입니다. 참고용일 뿐이며 실제 결과는 통신사, 시간대, 서버 위치에 따라 크게 달라질 수 있습니다.

마무리

Hysteria2와 VLESS Reality는 프록시 프로토콜이 발전해 온 서로 다른 두 방향을 대표합니다. 전자는 극한의 전송 성능이 강점이고, 후자는 완벽한 트래픽 위장이 강점입니다. 둘은 서로를 대체하는 경쟁 관계가 아니라, 서로 다른 사용 시나리오를 보완하는 관계입니다.

일반 사용자에게 가장 편한 방법은 두 프로토콜 노드를 모두 제공하는 좋은 프록시 서비스를 선택하고, Clash Plus의 자동 측속 기능을 함께 활용하는 것입니다. Clash Plus의 Mihomo 코어는 두 프로토콜 모두 최적화된 네이티브 구현을 갖고 있어, 어느 쪽을 선택하든 클라이언트 사용 경험은 일관되고 안정적입니다.

네트워크 환경과 탐지 기술은 계속 발전하고 있으며, 프록시 프로토콜도 꾸준히 진화하고 있습니다. Mihomo(구 Clash.Meta)와 Xray 프로젝트의 Release 기록을 챙겨 보는 것이 최신 프로토콜 동향을 파악하는 가장 직접적인 방법입니다.