본 글은 하네스 엔지니어링 with 클로드 코드 기반으로 작성되었습니다. 해당 책을 같이 보시면 이해에 도움이 됩니다 

https://product.kyobobook.co.kr/detail/S000220048885

Part 01. 하네스란 무엇인가: 모델을 감싸는 안전장치

Chapter 01. 왜 하네스인가

AI 혼자 일하게 두면 생기는 일

최신 인공지능에게 복잡한 프로그래밍이나 문서 작성을 통째로 맡겨보면, 처음에는 막힘없이 글을 쓰는 것처럼 보입니다. 하지만 결과물을 자세히 뜯어보면 존재하지 않는 가짜 규칙을 지어내거나, 앞서 작성한 중요한 기준을 스스로 지워버리는 실수를 자주 저지릅니다.

가장 큰 문제는 AI가 자기가 만든 실수를 스스로 알아채지 못한다는 점입니다. 사람은 글을 쓰다가 이상하면 멈추고 다시 읽어보지만, 언어 모델은 그저 확률적으로 그럴듯한 다음 단어를 이어 붙일 뿐이기 때문입니다. 혼자 일하는 AI는 자신이 틀렸다는 사실조차 모른 채 엉뚱한 방향으로 계속 달려갑니다.

똑똑한 머리보다 중요한 것은 '일하는 틀'

제미나이는 책 수십 권 분량의 글을 한 번에 읽을 수 있을 만큼 방대한 기억 공간(컨텍스트 창)을 가지고 있습니다. 하지만 문제를 해결하지 못하는 진짜 이유는 지능이나 기억력이 부족해서가 아닙니다. 바로 일하는 구조가 잡혀있지 않기 때문입니다.

시험공부를 할 때 책상 위에 온갖 교과서와 참고서를 무작정 쌓아두면 집중력이 흐려지는 것과 같습니다. AI에게도 모든 정보를 한 번에 던져주기보다, "지금은 이 부분만 읽고, 정해진 순서대로 확인하라"는 명확한 작업 틀을 짜주어야 실수가 사라집니다. 병목은 모델의 머리가 아니라 구조에서 발생합니다.

하네스(Harness)란 무엇인가

말이나 강아지에게 씌우는 줄을 '하네스'라고 부릅니다. 힘이 센 동물이 제멋대로 뛰쳐나가지 않고 주인의 통제 안에서 안전하게 달릴 수 있도록 몸을 감싸는 안전장치입니다.

AI 시스템에서 말하는 하네스(Harness) 역시 똑같습니다. 인공지능 모델 자체의 성능을 억지로 뜯어고치는 것이 아니라, 모델 바깥에 '안전 펜스'를 쳐주는 것입니다.

  • 에이전트가 절대로 넘어가면 안 되는 행동 경계선
  • 입력받을 데이터와 출력할 답변의 정해진 양식
  • 문제가 생겼을 때 스스로 작업을 멈추고 사람에게 보고하는 규칙

이처럼 모델의 주변(Around the Model)을 감싸서 규격을 강제하는 소프트웨어 장치를 하네스라고 부릅니다.

Chapter 02. 30분 Quick Start: 2인 팀 만들기

하네스가 있고 없고의 차이

"이 글을 보고 취약점을 찾아서 완벽하게 고쳐줘"라고 AI 한 명에게만 명령하면, AI는 그럴듯하게 글을 수정하지만 정작 핵심 취약점을 빠뜨리거나 문맥을 왜곡하기 쉽습니다.

하지만 하네스를 씌워 역할을 쪼개면 결과가 완전히 달라집니다.

  • 하네스가 없을 때: 한 명이 글도 쓰고, 검토도 혼자 다 하다가 자기 실수를 놓침.
  • 하네스가 있을 때: 글을 고치는 AI(작성자)와 규칙대로 고쳤는지 감시하는 AI(검토자)를 분리하고, 둘 사이에 "검토자가 승인하지 않으면 글을 끝낼 수 없다"는 규칙을 강제함.

마크다운으로 2인 팀 조립하기

복잡한 프로그래밍 코드를 짤 필요 없이, 마크다운 문서 두 장으로 간단한 2인 팀을 만들 수 있습니다.

  • writer.md: 당신은 원고 작성자입니다. 주어진 지침에 따라 초안을 수정하십시오.
  • reviewer.md: 당신은 깐깐한 교열자입니다. 원고 작성자가 사실관계를 왜곡했거나 문법을 틀렸는지 확인하고, 이상이 없을 때만 PASS를 외치십시오.

이렇게 둘을 마주 보게 세워두면 작성자가 실수하더라도 검토자가 즉시 브레이크를 밟아 실수를 바로잡습니다.

처음 팀을 만들 때 자주 하는 3가지 실수

  1. 역할을 섞어버리는 실수: 검토자에게 "틀린 걸 찾아서 네가 직접 고쳐라"고 시키면 안 됩니다. 검토자는 문제점만 지적하고, 수정은 다시 작성자가 하도록 역할을 명확히 떼어놓아야 합니다.
  2. 탈출 조건을 빼먹는 실수: 두 AI가 서로 "다시 고쳐와", "이렇게 고쳤어"를 끝없이 반복하면 요금이 폭증합니다. "최대 3번까지만 확인하고 안 되면 사람을 부른다"는 탈출 규칙을 반드시 적어야 합니다.
  3. 한 번에 너무 많은 자료를 주는 실수: 처음부터 전체 규정집을 다 읽히면 AI가 길을 잃습니다. 지금 단계에 꼭 필요한 요약본만 쥐여주어야 합니다.
반응형