[2호] AI가 주는 답을 이렇게 검증해보세요

지난 1호에서는 AI에게 피드백을 잘 주는 방법, 같은 실수를 반복하지 않는 과정에 대해 알아봤습니다.

이번 레터에서는 AI가 내는 답변을 검증하는 과정을 같이 알아봅니다. AI와 대화하면서 되게 많은 답을 내주는데요, 구독자 분들은 이걸 어떻게 평가하시나요? 일의 결과물을 평가하는 기준이 여러가지인데요, 오늘은 AI가 가지고 있는 편향성을 깨는 방법을 정리했습니다. 우리는 앞으로 더욱 AI를 잘 다룰 줄 알아야 하기에, AI가 어떤 규칙을 가지고 있는지를 이해하고 이를 토대로 AI에게 일을 더 잘 시키는 걸 함께 더 찾아볼게요!

오늘 레터를 잘 읽으시면 AI가 주는 답변을 단기적 관점과, 장기적 관점 2가지로 더욱 잘 비교할 수 있을 거예요!

AI는 지금 당장 좋은 답을 내준다

AI와 일하다 보면 거리감없이 답을 즉각적으로 주는 걸 매번 경험합니다. 통계적으로 그 답변들 중에서는 지금 좋아 보이는 답이 많습니다. 예를 들어 콘텐츠 기획안, 콘텐츠 데이터 지표를 저장할 때 당장 바로 적용할 수 있는 옵션을 제시하죠. 이게 쉽게 적용되고 이해하기 편한 건 맞지만, 이 결과가 누적되면 이야기가 달라집니다. 콘텐츠 데이터가 10개 있을 때의 데이터 지표 구조와, 데이터가 1,000개 있을 때의 저장 구조는 달라야하거든요. 그래서 AI의 답변이 단기적인 해결책인지, 장기적인 해결책인지를 파악해야 합니다.

AI가 아무리 발전하더라도 기본적으로는 사람이 듣기 좋은 답을 내줍니다. 클로드를 만드는 앤트로픽에서도 AI가 사람이 좋아할만한 아첨을 하는 편향성이 존재한다는 연구 결과를 내기도 했습니다. 특히 내가 내 일을 평가하는 기준을 미리 주지 않으면 AI는 즉각적이고 그럴듯한 답을 내는 경향이 강해집니다. 그래서 GPT가 처음 나온 시기 사람들이 이야기하는 할루시네이션은 단순히 AI가 거짓된 답을 만들어서주는 것뿐만 아니라, 퀄리티가 낮은 답을 주는 현상이기도 합니다.