스마트 계량기 73,000대가 하룻밤 사이 먹통이 되었다 — 그런데 그 펌웨어는 모든 실험실 테스트를 통과했다

2024년 11월, 텍사스주 플레이노의 한 유틸리티 사업자가 88,000대의 수도 계량기에 일상적인 펌웨어 업데이트를 배포했다. 이 업데이트는 조기 배터리 방전을 바로잡기 위한 것으로 — 알려진 문제에 대한 선의의 수리였다. 실험실에서는 정상 작동했다. 현장에서는 73,000대의 계량기가 먹통이 되었고 다시는 돌아오지 않았다.

나는 이 숫자가 의미하는 바 때문에 자꾸 그 숫자로 되돌아온다. 이것은 해킹도, 폭풍도, 제조 결함도 아니었다. 테스트를 거쳐 승인된 소프트웨어 업데이트가 설계된 그대로 정확히 동작했는데도 — 그런데도 전체 설비의 83%를 벽돌로 만들어버렸다. "실험실을 통과했다"와 "현장을 죽였다" 사이의 그 간극이 바로 스마트 계량기 AI 전체의 문제이며, 그래서 우리는 Veriprajna의 AMI 예지보전 시스템을 구축했다. 분석 대시보드가 애초에 볼 수 있도록 설계되지 않은 신호를 감시하는 시스템이다.

내가 처음으로 한 지방자치 유틸리티의 운영 책임자와 마주 앉아 그들의 AMI 헤드엔드 — 모든 계량기로부터 검침값을 수집하는 시스템 — 를 살펴봤을 때, 나는 관제실을 기대했다. 그런데 내가 마주한 것은 스프레드시트였다. 마지막 수신 타임스탬프, 계량기당 한 행, 그리고 데이터가 오래되어가는 셀들이 느리게 스크롤되는 화면. 그는 어떤 계량기가 통신을 멈췄는지 정확히 말해줄 수 있었다. 하지만 다음에 어떤 계량기가 멈출지는 말해줄 수 없었다. 그 비대칭 — 완벽한 사후 파악, 그러나 전무한 사전 예측 — 이 바로 이 시장 전체다.

실험실을 통과한 펌웨어가 왜 현장을 벽돌로 만드는가?

플레이노에서 실제로 무슨 일이 일어났는지 이제 설명하겠다. 이것은 이 분야에서 가장 유용한 단 하나의 사례다.

그 펌웨어는 새 배터리와 강한 무선 신호를 갖춘 계량기 — 깨끗한 벤치 — 를 대상으로 테스트되었다. 그러나 실제 배치된 설비는 4~5년 된 것이었고, 그 배터리 대부분은 원래 용량의 60~75% 수준에 머물러 있었다. 업데이트된 전력 관리 루틴은 초기 플래시 쓰기 과정에서 전류를 약간 더 끌어왔다. 새 배터리에서는 무관한 일이었다. 하지만 열화된 배터리에서는 그 추가 소모만으로도 브라운아웃 보호 회로를 작동시키기에 충분했다. 전송 모듈이 리셋되면서 네트워크 등록 정보를 잃었고, 다시는 복구되지 않았다.

펌웨어가 고장 난 것이 아니었다. 사양을 충족했다. 단지 설비가 테스트 벤치의 전제에서 벗어날 만큼 노후해졌을 뿐이며, 아무도 그것을 모델링하지 않았다.

그 문장이 우리가 만드는 모든 것의 핵심 명제다. 결함은 코드에 있지 않았다. 실험실 계량기와 현장 계량기가 같은 기계라는 가정에 있었다. 둘은 같지 않으며, 그 차이는 누군가 그것을 드러내는 버튼을 누르기 전까지 여러 해 동안 조용히 누적된다.

이런 실패는 무리를 이루어 발생한다. 같은 공급업체의 펌웨어가 미니애폴리스, 토론토, 뉴욕에서 유사한 사건을 일으켰다. 토론토 하이드로는 약 470,000개의 송신기가 조기에 열화되는 것을 발견했고, 1차 개선 조치에만 560만 달러를 지출했다. 멤피스는 8%의 시스템적 고장률을 기록했고 900만 달러 규모의 수리 기금을 마련했다. 영국에서는 스마트 계량기 다섯 대 중 한 대꼴로 제대로 작동하지 않으며, 2024년 7월 이후 600,000대 이상이 재연결되었다. 이 유틸리티들 중 분석 플랫폼이 없는 곳은 하나도 없었다. 모두 하나씩 갖추고 있었다. 다만 그 플랫폼이 정작 고장 난 대상을 감시하지 않았을 뿐이다.

내가 너무 오래 밀어붙였던 실수

우리가 잘못했던 버전에 대해 솔직하게 말하고 싶다. 대부분의 사람들이 건너뛰는 부분이기 때문이다.

우리가 시작했을 때, 당연한 수순은 이상 탐지였다. 곧 고장 날 계량기라면 그 데이터에 티가 나야 마땅하다 — 데이터가 이상하게, 소비량 검침값이 흔들리고, 보고에 공백이 생기고, 기묘한 패턴이 나타나는 식으로 말이다. 그래서 우리는 소비량 스트림을 감시하고 이상값을 표시하는 모델을 만들었다. 그것은 깔끔했다. 데모에서는 아름답게 작동했다. 나는 이 방 저 방에서 그것을 옹호했다.

그런 다음 우리는 그것을 파일럿 설비의 실제 열화 파동에 적용했는데, 그 아래에서 계량기들이 조용히 망가지는 동안 모델은 초록색으로 잠잠히 있었다. 대시보드가 평온하게 유지되는 것을 지켜보며 모델이 고장 났다고 확신했던 그 특유의 감각을 나는 기억한다. 모델은 고장 나지 않았다. 내가 그것을 잘못된 신호에 겨누고 있었을 뿐이다.

소비량 이상 탐지는 기존의 계량 데이터 관리 시스템(MDMS)이 이미 하고 있는 바로 그것이다. 오라클은 2025년 6월 자사 유틸리티 플랫폼에 AI 기반 이상 탐지 기능을 출시했고, SAP는 이 범주에서 IDC MarketScape 리더다. 이 도구들은 자기 일을 잘 해낸다 — 이들은 이상한 수치를보고하는 계량기를 잡아낸다. 문제는 펌웨어 사망을 향해 가는 계량기가 이상한 수치를 보고하지 않는다는 점이다. 그것은 완벽하게 정상적인 수치를 보고하다가, 어느 순간 아무것도 보고하지 않는다. 우리는 이미 존재하던 것을 다시 만들었고, 그것의 사각지대까지 고스란히 물려받았다.

고장 나가는 계량기는 소비량 데이터상에서 아파 보이지 않는다. 건강해 보이다가, 그냥 사라진다. 당신에게 필요한 신호는 청구 데이터 스트림이 볼 수 없는 어딘가에 존재한다.

MDMS가 볼 수 없는 것: 고장을 실제로 예측하는 두 가지 신호

전환점은 우리가 "이 검침값이 이상한가?"라고 묻기를 멈추고 "계량기에서 물리적으로 마모되는 것은 무엇이며, 그것이 망가지기 전에 측정할 수 있는가?"라고 묻기 시작했을 때 찾아왔다.

두 가지 답이 중요했다.

첫 번째는 배터리 충전 상태로, 설비 전체 평균이 아니라 배치 코호트별로 모델링한 것이다. 플레이노의 교훈은 펌웨어 배포가 오직 어떤 특정한 분포의 배터리 건강 상태에 대해서만 위험하다는 것이다 — 그리고 그 분포는 알아낼 수 있다. 모든 엔드포인트를 설치 날짜별로 분류하고 코호트마다 충전 상태 히스토그램을 구축하면, 무언가를 플래시하기 전에 브라운아웃 절벽이 다가오는 것을 볼 수 있다. 우리는 새 유닛으로 가득 찬 벤치가 아니라, 설비의 실제 노후·용량 프로필을 대상으로 펌웨어를 단계적으로 검증하기 시작했다.

두 번째는 조용한 NAND 플래시 마모이며, 이것은 내가 이 범주 전체를 바라보는 방식을 진정으로 바꿔놓았다. 스마트 계량기는 데이터를 플래시 메모리에 기록한다 — 수요 반응을 위해 15분 간격으로 모든 검침값, 모든 이벤트를. 쓰기 작업마다 셀이 물리적으로 마모된다. 제조사는 20년 수명을 사양으로 내세우지만, 고빈도 로깅은 그 예상이 가정한 것보다 훨씬 빠르게 쓰기 사이클을 소모한다. 그리고 여기 음험한 부분이 있다: 플래시가 열화되면서, 저장된 소비량 검침값이 2~8%만큼 어긋난다 — 그것도 계량기가 정상적으로 계속 보고하는 와중에. 무선 통신은 여전히 작동한다. MDMS는 건강하게 통신 중인 엔드포인트를 보여준다. 그러는 사이 수치는 조용히 틀려가고, 청구 분쟁이 쌓이며, 대중의 신뢰가 무너진다 — 그리고 계량기가 완전히 침묵할 무렵이면, 플래시는 너무 열화되어 교정용 펌웨어 수정조차 받아들이지 못한다. 그 유닛은 출동 차량과 대당 650~1,400달러의 교체품을 필요로 한다.

그래서 대시보드의 "계량기 보고" 열과 "데이터 품질" 열은 몇 달 동안 서로 어긋날 수 있는데, 두 번째 열을 읽는 사람은 거의 없다. 우리는 이 둘 사이의 불일치를 시스템에서 가장 큰 경보로 만들었다.

"오라클이 이미 이걸 하고 있잖아요. 왜 이걸 만드는 거죠?"

내가 존경하는 한 자문위원이 초기에 단도직입적으로 말했다: 분석 시장은 붐비고, 기존 업체들은 만만치 않은데, 왜 만드느냐고.

타당한 질문이며, 솔직한 답은 기존 업체들이 서로 다른 문제 주위에 몰려 있다는 것이다. Itron의 Distributed Intelligence 플랫폼은 진정으로 인상적이다 — 1,600만 대 이상의 활성화된 계량기, 관리 중인 1억 개 이상의 엔드포인트, 그리고 그리드 엣지에서 AI를 구동하기 위한 2026년 3월 NVIDIA와의 파트너십. Sense와 협업한 Landis+Gyr의 Revelo는 1메가헤르츠에서 가전기기 단위의 부하 분해를 수행한다. Sensus는 2026년 초 Evolve를 출시하여 계량기를 능동적인 그리드 센서로 재포지셔닝했다. DistribuTECH의 2026년 주제가 공식화했듯, 업계 전체가 "AMI에서 AI로" 이동하고 있다.

그러나 그 모든 분석 스택은 각 공급업체 자신의 엔드포인트에서만 작동한다. Itron의 인텔리전스는 Itron 계량기를 본다. Landis+Gyr의 것은 Landis+Gyr를 본다. 실제 유틸리티는 혼합 설비를 운영한다 — 10년에 걸친 조달 주기 동안 축적된, 일부는 Aclara, 일부는 Itron, 일부는 Sensus로 이루어진 설비를 — 그리고 어느 단일 공급업체의 분석도 이들을 아우르지 못한다. 그리고 독점적이든 아니든, 그들 중 어느 것도 당신의 특정한 노후 설비를 대상으로 한 배치 전 펌웨어 시뮬레이션을 제공하지 않는다. 플레이노를 벽돌로 만든 그 간극은, 구조적으로, 주인이 없다.

기존 업체들은 계량기가 보고하고 있다고 말해줄 것이다. OT 보안 도구들은 그것이 취약한 펌웨어를 구동하고 있다고 말해줄 것이다. 그러나 어느 쪽도 그것이 하드웨어 사망까지 3개월 남았다고는 말해주지 않는다.

보안 공급업체들도 여기서 언급할 가치가 있다. 사람들이 이들이 이 문제를 다룬다고 가정하기 때문이다. Claroty, Nozomi, Armis — 이들은 각 엔드포인트의 펌웨어 버전까지 파고드는 탁월한 자산 탐지를 수행하며, 산업용 프로토콜을 이해한다. 그러나 이들은 익스플로잇 가능한 펌웨어 빌드를 구동하는 계량기를 찾도록 만들어졌지, 배터리 코호트가 다음 플래시 쓰기를 견뎌내지 못하는 계량기를 찾도록 만들어진 것이 아니다. 유지보수와 보안은 같은 장치를 보면서 서로 다른 질문을 던진다. 우리에게 필요했던 것은 유지보수 쪽 질문이었고, 그 질문은 던져지지 않고 있었다.

펌웨어가 일부러 실패하러 가는 벤치

내가 가장 자랑스러워하는 부분은 가장 화려하지 않은 것이다: 펌웨어가 실패하도록 만드는 에뮬레이션 벤치, 그것도 미리 고객의 계량기에 도달하기 전에 말이다.

우리는 QEMU 환경 — 계량기의 실제 하드웨어를 에뮬레이션하는 소프트웨어 — 을 구축하고, 설비의 실제 배터리·신호 프로필을 지닌 시뮬레이션된 엔드포인트를 대상으로 후보 펌웨어 이미지를 플래시한다. 열화된 배터리 코호트, 약한 RF 코호트, 높은 쓰기 사이클 코호트. 노후 설비를 본떠 만든 프로필을 처음 돌린 날 밤, 에뮬레이션된 유닛이 현장에서는 그렇게 되지만 실험실에서는 결코 그러지 않는 방식 그대로 브라운아웃을 일으키는 것을 지켜보며, 나는 마침내 플레이노가 우연이 아니었음을 이해했다. 그것은 재현 가능한 일이었다. 다만 한 번도 재현된 적이 없었을 뿐이다, 미리 배치에 앞서서 말이다. 당시 테스트 환경이 존재하지 않았기 때문이다.

그것이 바로 역전이다. 오늘날 현장이 곧 테스트 환경이고, 고객이 곧 실험 대상이다. 우리는 그 실패를, 시뮬레이션된 계량기 천 대를 벽돌로 만들어도 비용은 전혀 들지 않으면서 모든 것을 가르쳐주는 실험실 안으로 옮긴다.

예지보전이란 결국 더 많은 거짓 경보를 뜻하는 것 아닌가?

운영 인력들 — 거짓 경보를 남발하는 도구에 데어본 이들 — 에게서 가장 많이 듣는 반론은, 예측이란 그저 소음을 만들어내는 좀 더 그럴싸한 방법일 뿐이라는 것이다.

그것은 옳은 걱정이다. 매주 설비의 30%를 표시하는 건강 점수 모델은 쓸모없는 것보다 못하다; 작업반은 그것을 무시하는 법을 배우고, 당신은 처음에 겪던 경보 피로를 다시 만들어내는 데 예산을 쓴 셈이 된다. 그래서 우리는 이상값 개수가 아니라 비용을 기준으로 보정했다. 기준은 "우리가 얼마나 많은 고장을 잡아냈는가"가 아니라 "우리가 얼마나 많은 출동을 예방했는가, 우리가 촉발한 출동에 견주어서 말이다"였다. AI 기반 예지보전에 관한 업계 데이터는 올바른 신호를 대상으로 수행할 경우 유지보수 비용을 최대 30%까지 절감하고 의미 있는 다운타임 감소를 가져온다고 말한다 — 그리고 그 올바른 신호란, 다시 말하지만, 데이터의 기묘함이 아니라 물리적 마모다. 배차 결정을 바꾸지 못하는 예측은 예측이 아니다. 그것은 알림이다. 나는 바로 이것이 그토록 많은 유틸리티가 AI 유지보수를 파일럿한 뒤 멈춰서는 이유라고 생각한다 — BCG의 2026년 유틸리티 연구는 이 파일럿-투-프로덕션 간극을 명시적으로 지적한다 — 이들은 모델이 고장을 표시할 수 있음을 입증하지만, 그 표시가 작업반장이 실제로 신뢰할 배차로 결코 이어지지 않았기 때문에 전면 도입을 정당화하지 못한다.

펌웨어 관리가 이제 규정 준수 문서가 되었다

여기에는 많은 유틸리티가 아직 충분히 체득하지 못했다고 생각하는 규제상의 전환이 있으며, 이것은 판돈을 상당히 높인다.

2026년 4월 1일부로 NERC CIP-003-9가 발효되었다. 그 요구사항 R1, 파트 1.2.6은 저영향 그리드 사이버 시스템 — 대부분의 스마트 계량기가 이렇게 분류된다 — 에 공급업체 원격 접속 보안 통제를 부과한다. 쉽게 말하면: 펌웨어를 배포하는 데 사용하는 무선(OTA) 업데이트 경로가 이제는 규제 대상 통제 표면이며, 이를 잘못 처리했을 때의 처벌은 하루 최대 $1 million에 이른다. 플레이노를 벽돌로 만든 바로 그 OTA 채널이 이제는 당신이 증거를 제출해야 하는 규정 준수 산출물이기도 하다.

이것은 구매자와의 대화를 완전히 바꿔놓는다. 펌웨어 관리는 한때 운영상의 잡무였다. 이제는 접속 로그, 스테이징 기록, 롤백 절차 — 이것들이 감사관이 읽는 바인더에 들어간다. 배치 전에 펌웨어를 검증하는 시스템은 더 이상 단순히 정전을 예방하는 것이 아니다; 그것은 당신이 업데이트 경로를 책임 있게 관리했다는 증거를 생성한다.

이것 아래에는 조달팀이 문의하지만 명확한 답을 좀처럼 얻지 못하는, 더 조용한 표준이 하나 있다: AMI를 위한 산업 사이버보안 표준인 IEC 62443이다. 완전한 IEC 62443 인증을 추구한 계량기 공급업체는 극소수인데, 그것도 컴포넌트 수준 — 펌웨어 그 자체 — 에서 말이다. 대부분은 시스템 계층에서 인증을 받고 엔드포인트 펌웨어는 미인증 상태로 남겨두는데, 이는 플레이노를 벽돌로 만든 바로 그 계층이 보안 입증이 가장 빈약한 계층이기도 하다는 뜻이다. 그 간극이 바로 우리가 헤드엔드뿐 아니라 혼합 AMI 공급망 전반에 걸쳐 컴포넌트 수준의 보안 감사를 수행하는 이유다. 대서양 건너편에서는, 영국 Ofgem 표준이 이제 공급자 과실로 인한 계량기 고장에 대해 자동 보상 — 건당 £40 — 을 10 영업일 이내에 지급하도록 의무화하고 있다. 죽은 계량기의 비용은 더 이상 단순한 출동 비용이 아니다. 그것은 벌금이고, 보상이며, 감사 지적 사항이다.

낡은 대시보드를 마주한 운영 책임자에게 내가 해줄 말

지금 그 오래된 타임스탬프 스프레드시트로 되돌아간다면, 내가 할 말은 이렇다.

당신을 잠 못 이루게 해야 할 숫자는 이미 침묵해버린 계량기들이 아니다. 그것은 29% — 일부 유틸리티가 발견한, 조용히 고장 나 있던 엔드포인트의 비율이다. 무선 통신은 죽어 있었고, 경보는 한 번도 울리지 않았으며, 누군가 찾아 나섰을 때에야 비로소 드러났다. 당신의 플랫폼은 당신에게 거짓말을 하고 있는 것이 아니다. 그것은 당신이 실제로 가진 질문보다 더 좁은 질문에 답하고 있을 뿐이다. 그것은 누가 통신을 멈췄는지 안다. 당신이 알아야 할 것은 누가 곧 멈추려 하는가다.

스마트 계량기 시장은 2035년까지 $112 billion을 향해 가고 있으며, 북미의 설치 기반은 이미 1억 5,000만 대를 넘어섰다. 그 엔드포인트 하나하나가 노후해가는 배터리와 마모되어가는 플래시 칩을 지닌 작은 컴퓨터로, 건물 한쪽에 붙어서, 자신이 살지 않는 어딘가에서 테스트된 펌웨어 배포를 기다리고 있다. 다음 플레이노는 이미 준비되어 있다. 유일하게 남은 질문은 그것이 내려앉을 설비를 누군가 모델링했는가다. 만약 당신이 차라리 73,000명 고객의 벽이 아니라 벤치에서 알아내는 편이 낫다고 여긴다면, 그것이 바로 구축해야 할 시스템이다.

플레이노를 벽돌로 만든 그 펌웨어는 주어진 모든 테스트를 통과했다. 우리가 그저 올바른 테스트를 한 번도 내주지 않았을 뿐이다.