[AI 다빈치 8호] AI에게 정확히 자료조사 시키는 방법

안녕하세요 구독자 여러분, 여덟 번째 다빈치 레터로 인사드립니다.

AI를 제일 쉽게, 자주 쓸 수 있는 방법 중 하나가 리서치입니다. 일에 필요한 자료를 수집하고 조사할 때 AI의 강점을 확인할 수 있죠. 저도 콘텐츠를 만들 때, 자동화 프로세스를 만들 때 무에서 유를 만들어내기보다 꼭 리서치와 레퍼런스 탐색을 먼저 시키고 있습니다. 모델이 좋아짐에 따라 이전에 비해 자료 조사하는 수준이 올라가고 있지만 그럼에도 AI 특성상 완벽하지는 않습니다. AI가 여전히 잘못된 자료를 불러오기도 하고, 가짜 자료를 만들기도 하는데요. 지난 7호 레터를 읽고 난 구독자 분이 이런 질문을 해주셨어요.

그래서 오늘은 AI에게 조금 더 정확히 자료조사 시키는 방법에 대해 알아보고자 합니다. 어떤 걸 알고 신경 쓰면 AI가 거짓이 아니라 제대로 된 리서치를 할 수 있는지, 리서치를 요청할 때 어떻게 해야 하는지를 알면 일을 더 효율적으로 하실 수 있을 거예요!

AI는 모르는 것도 대답하도록 설계되어 있다

우리가 흔히 쓰는 GPT, 클로드, 제미나이는 LLM, Large Language Model입니다. 대량으로 언어를 학습해서 가장 맞을 것 같은, 가장 확률상 높은 답을 내는 AI예요. 그래서 모델이 좋아지더라도 AI가 거짓 정보를 만드는 건 어쩌면 자연스러운 일입니다.

챗GPT를 만드는 오픈AI에서도 이를 확인했는데요, AI가 훈련받고 평가받는 과정에서 자신이 모른다고 인정하는 답보다는 그럴듯한 답을 추측해서 내는 쪽으로 기울어졌다고 합니다. 문제를 풀 때 답을 아예 안 내는 게 아니라 찍어서도 맞히는 모습과 비슷합니다.

저도 종종 AI가 틀린 말을 할 때를 보는데요, 콘텐츠를 제작할 때 가게 인스타그램 ID를 채워넣어야 한다는 지침이 있으니 이를 위해 리서치를 하다가 제대로 된 걸 못 찾아 가짜 정보를 생성하기도 했습니다. 또 어떤 공간의 주소를 찾아 기록해야 하는 일을 맡겼을 때는 국내 정보보다 해외 정보를 우선시함에 따라 잘못된 결과를 내기도 했습니다. 이런 자료조사 외에도 프로젝트 자료를 형식에 맞춰 정리하라고 했는데 AI가 말한 작업물 개수와 실제 개수가 달랐던 적도 있었습니다.

이럴 때마다 결국 사람이 다시 한번 확인하느라 시간을 더 쓰게 되는데요, 이런 AI의 실수를 막아볼 수 있는 몇 가지 방법을 찾아봤습니다.

AI의 자료 조사 정확도를 높이는 방법

우선 저는 AI에게 리서치를 맡길 때 AI가 진행하지 못한 한계를 표시해달라고 지시합니다. 예를 들어 리서치를 했는데 답이 나오지 않는 정보가 있으면 해당 부분은 공란으로 표시해달라고 하거나, 내가 보라고 한 자료 링크가 있는데 그걸 못 봤다면 명확하게 못 봤다고 말하라고 요청합니다. 이렇게 되면 AI가 의무적으로 답을 만들 필요가 없으니 가짜 정보가 맞는지 검증하는 시간이 줄어들고, 부족한 부분은 다시 요청할 수 있게 됩니다.