결과가 손상되기 전에 AI 환각을 차단하세요.

호아킨 피닉스가 스칼렛 요한슨에게 딸기에 R이몇 개냐고 물었다면 그녀와 사랑에 빠졌을 것 같나요? 링크드인을 사용 중이라면 답이 3이라는 것을 알 것입니다. (또는 글을 읽을 수 있다면요.)

하지만 인공지능 챗봇에게는 항상 그렇게 간단하지 않습니다. 

사람들이 인공지능 환각의 부조리함을 조롱하는 것을 본 적이 있을 것입니다. 사실, 끝없는 지식과 인간과 같은 추론 능력, 번개처럼 빠른 작업 수행 능력을 가진 AI 모델이 유치원 수준의 수학 문제에서 실패하는 것은 다소 터무니없는 일입니다.

하지만 재미와 게임 뒤에는 더 심각하고 잠재적으로 교활한 현실이 숨어 있습니다.

이 글에서는 AI 환각의 정의, 원인, 중요한 이유, 예방을 위해 취할 수 있는 조치 등 AI 환각에 대해 설명합니다.

AI 환각이란 무엇인가요?

AI 환각은 AI 모델이 부정확하거나 오해의 소지가 있거나 완전히 조작된 정보를 제공하는 것을 말합니다. 이러한 잘못된 정보는 그럴듯하게 보일 수 있으며, 많은 경우 감지되지 않습니다.

LLMs광범위한 채택으로 인해 환각은 생성 텍스트 모델의 맥락에서 가장 자주 언급됩니다. 실제로 환각은 생성형 AI의 모든 적용에 위험을 초래합니다.

AI에서 환각의 원인은 무엇인가요?

AI 환각은 모델이 잘못된 패턴을 학습할 때 발생합니다.

AI의 맥락에서 패턴은 개별 학습 사례를 사용하여 보이지 않는 데이터 전반에서 일반화하는 능력을 말합니다. 이는 텍스트의 연속을 형성하는 일련의 단어 또는 개에 해당하는 이미지 픽셀의 분포가 될 수 있습니다.

LLM 환각의 경우, 모델은 거짓이지만 사용자의 메시지에 대한 후속 조치로 일련의 단어를 가장 가능성이 높은 것으로 간주했습니다.

다음 중 한 가지 이상의 이유 때문일 수 있습니다:

저품질 훈련 데이터

ChatGPT 와 유사한 LLMs 수많은 데이터로 학습됩니다. 이 데이터는 풍부하지만 다음과 같은 이유로 불완전합니다:

• 특정 주제에 대한 격차
• 현실 세계의 편견 반영
• 고의적인 잘못된 정보 또는 표시되지 않은 풍자
• 불균형 또는 "일방적인" 데이터와 같이 편향된 데이터.

모델이 그리스 신 한 명을 제외한 모든 신에 대한 정보를 학습한 시나리오를 생각해 보겠습니다.

사랑, 윤리, 배신 등 그리스 신화와 같은 주제를 통계적으로 연결할 수 있는 능력으로 인해 통계 모델을 고려할 때 "가능성이 있다"고 생각되는 지어낸 신화를 엮어낼 수도 있습니다.

이는 이미지 생성에서도 분명하게 드러나는데, 여성 피사체에 대한 대부분의 프롬프트가 지나치게 성적인 이미지를 생성합니다. 특정 유형의 묘사에 대한 편견은 생성되는 이미지의 종류를 조절합니다.

영어를 모국어로 사용하지 않는 사람들의 고충으로 악명 높은 더블 R에 대한 논의와 관련하여 훈련 데이터에 딸기의 철자가 포함되었을 가능성이 높습니다. 이 경우 숫자 2 또는 "double "이라는 단어가 단어의 철자와 연관되어 나왔을 가능성이 높습니다.

반면에 데이터에 3R이있다는 언급이 있었을 가능성은 거의 없습니다.

어떤 상황에서 어떤 단어를 쓴 다음 철자가 어떻게 되는지 문의하는 메시지가 나오기 때문에 결과가 터무니없습니다.

모델 아키텍처 및 생성 방법

모델은 엄청나게 복잡한 신경망 아키텍처로 구축됩니다. 약간의 변형은 모델이 학습 데이터 및 입력 프롬프트와 상호 작용하는 방식에 영향을 미칩니다. 환각을 완화하는 모델의 능력은 엄격한 연구와 테스트를 통해 점진적으로 개선될 수 있습니다.

그 위에 생성이 구현되는 방식이 있습니다. 단어 단위(실제로는 단어 단위)로 모델은 다음에 나올 가능성이 가장 높은 단어를 예측합니다. 그래서

"빠른 갈색 여우가 게으른 ___을 뛰어넘는다."

다음 단어가 "개"일 가능성이 가장 높은 단어를 결정합니다. 하지만 다른 단어도 가능합니다. 그리고 가장 가능성이 높은 다음 단어 하나만 결정하여 생성하면 흥미롭지 않고 예측 가능한 결과가 나옵니다.

즉, 흥미진진하면서도 일관성 있는 응답을 유지하기 위해 창의적인 샘플링 방법을 사용해야 합니다. 이 과정에서 때때로 사실관계가 누락되기도 합니다.

오버피팅

과적합은 모델이 데이터를 너무 가깝게 예측하도록 학습되어 새로운 입력에 일반화하지 못하는 경우입니다.

그래서 만약 제가 (엄마의 말대로) 모델이 된다면, 개를 다음과 같이 인식한다면 제대로 훈련된 모델이 될 것입니다:

털이 많고, 귀가 처져 있으며, 장난기 많고, 작은 갈색 버튼 코를 가지고 있습니다.

그러나 그것들을 다음과 같이만 인식한다면 지나친 표현일 것입니다:

턱 밑에 갈색 점이 있고, '프랭크'라는 이름에 답하고, 제 좋은 나이키 신발을 완전히 씹어 먹었습니다.

의 맥락에서 LLM의 맥락에서는 일반적으로 답을 모르는 곳에서 물러나는 대신 학습 데이터에서 본 정보를 역류하는 것처럼 보입니다.

챗봇에게 회사의 반품 정책을 묻는다고 가정해 보겠습니다. 모르는 경우 챗봇은 사용자에게 알려주어야 합니다. 만약 챗봇이 과도하게 적합하다면 비슷한 회사의 정책을 반환할 수도 있습니다.

프롬프트 불량

기업들은 AI는 입력된 정보만큼만 우수하다는 사실을 알고 신속한 엔지니어링 인증서를 발급하고 있습니다.

잘 구성된 프롬프트는 정확하게 표현되고, 전문 용어를 피하며, 필요한 모든 컨텍스트를 제공합니다.

환각은 확률이 낮은 많은 출력의 가장자리에서 발생하기 때문입니다.

"상어 소녀의 줄거리가 뭐죠?"라고 묻는다고 가정해 보겠습니다. 이제 인간은 "어, 상어 소녀"라고 생각할 것입니다. 통계 세계에서는 그럴 가능성이 있습니다:

• 샤크보이와 라바걸의 모험 - 2005년에 비슷한 제목으로 꽤 인기 있었던 어린이 영화입니다.
• 2024년 공포/스릴러 영화 ' 샤크 걸 '은 대중성은 떨어지지만 더 최근의 작품입니다.
• 올해 초에 나온 같은 이름의 동화책으로, 모델이 색인을 만들었을 수도 있고 만들지 않았을 수도 있습니다.

이 중 어느 것도 확실한 선택이 아니기 때문에 한 가지 주제나 내러티브에 덜 집중하면서 확률 분포가 '평탄' 해집니다. 보다 효과적인 프롬프트는 사용자가 어떤 예시를 언급하고 있는지 명확하게 설명하는 등 맥락을 제공하는 것입니다.

이 모호함과 접점 관련성의 수프는 상어 관련 이야기에 대한 일반적인 플롯을 만들어낸 것 같은 반응을 불러일으킬 수 있습니다.

환각의 가능성을 낮추는 것은 불확실성을 낮추는 것입니다.

AI 환각의 유형

지금까지 환각에 대해 대략적으로 이야기했습니다. 실제로는 AI의 거의 모든 측면을 다루고 있습니다. 하지만 명확성을 위해 여러 범주로 나누어 살펴보는 것이 가장 좋습니다.

사실 오류

딸기 예시가 여기에 해당합니다. 사실과 다른 세부 정보에 오류가 있는 경우입니다. 여기에는 특정 이벤트가 발생한 연도, 국가의 수도 또는 통계의 숫자가 포함될 수 있습니다.

특히 정확한 숫자와 같이 사람이 잘 기억하지 못하는 세부 사항의 경우, 아무리 좋은 응답이라도 사소한 세부 사항은 특히 교활할 수 있습니다.

조작된 콘텐츠

2023년, 구글의 바드는 제임스 웹 망원경이 외계 행성의 첫 사진을 찍는 데 사용되었다고 거짓으로 주장했습니다. 이는 기술적인 부정확성의 문제가 아니라 명백한 거짓이었습니다.

위와 같이 대담한 주장일 수도 있지만, 아무데도 연결되지 않는 URL이나 만들어진 코드 라이브러리 및 함수로 나타나는 경우가 더 많습니다.

사실 오류와 조작된 콘텐츠의 경계가 항상 명확하지는 않다는 점에 유의할 필요가 있습니다.

한 연구자에 대해 논의한다고 가정해 보겠습니다. 그 연구자의 논문을 인용하면서 연도를 틀리면 사실 오류입니다. 이름이 틀렸다면 어떻게 해야 할까요? 이름과 연도는 어떻게 되나요?

잘못된 정보

이는 앞의 두 가지 범주 중 하나에 해당할 수 있지만 출처가 더 투명한 허위 정보를 의미합니다.

접착제 피자와 돌을 먹는 것을 추천하는 것으로 유명한 Google AI는 그 좋은 예입니다. 소스 자료는 분명히 풍자적이고 일반적으로 무해하지만, 모델 학습에서는 이를 고려하지 않은 The Onion이 작성한 Reddit 댓글입니다.

AI 환각의 위험

1. 신뢰 상실

우리는 업무를 AI에 맡길 수 있는 자유로움에 감사하지만, 그 대가로 신뢰를 희생해서는 안 됩니다.

최근 고객 서비스 봇이 제한적인 정책을 만들어내는 사고가 발생하면서 많은 사용자가 신뢰성에 의문을 품고 구독을 취소하는 일이 발생했습니다.

2. 비용

AI는 많은 비즈니스에서 선두 자리를 차지하고 있으며, 이는 좋은 일이지만 자칫 실수하면 큰 비용을 초래할 수 있습니다.

구글의 제임스 웹 환각으로 인해 알파벳의 주가는 몇 시간 동안 1,000억 달러 하락했습니다. 이는 모델을 재교육하는 데 드는 비용 전액입니다.

3. 유해한 잘못된 정보

우리는 접착제 피자의 부조리함을 비웃지만, 잘못된 의약품 복용은 어떨까요?

경고로 가득 찬 작은 글씨를 읽는 대신 인공지능의 빠른 답변을 가장 먼저 받아볼 수 있습니다. 하지만 잘못된 답변이라면요? 가능한 모든 의학적 상태를 설명하지는 못할 것이 거의 확실합니다.

3. 보안 및 멀웨어

앞서 언급했듯이 AI는 종종 코드 라이브러리의 이름을 구성합니다. 존재하지 않는 라이브러리를 설치하려고 하면 아무 일도 일어나지 않습니다.

이제 해커가 코드에 멀웨어를 삽입하고 일반적으로 알려진 라이브러리의 이름으로 업로드한다고 상상해 보세요. 사용자가 해당 라이브러리를 설치하면 해킹을 당한 것입니다.

이를 슬롭스쿼팅이라고 합니다.

지저분한 이름은 차치하고서라도, 설치하는 라이브러리 이름을 꼼꼼히 살펴보고 낯설게 들리는 라이브러리 이름을 다시 한 번 확인하는 것도 나쁘지 않습니다.

AI 환각을 방지하는 단계

모델을 학습시키지 않으면 데이터 및 아키텍처 측면에서 할 수 있는 일이 거의 없습니다.

좋은 소식은 여전히 취할 수 있는 예방 조치가 있으며, 이를 통해 환각 없는 AI를 배송하는 데 큰 차이를 만들 수 있다는 것입니다.

신뢰할 수 있는 모델 및 플랫폼 선택

여러분은 혼자가 아닙니다. AI 기업은 신뢰를 유지하는 데 모든 관심을 기울이고 있으며, 이는 곧 환각이 없다는 것을 의미합니다.

AI로 무엇을 하느냐에 따라 거의 항상 최소한 몇 가지 옵션이 있으며, 좋은 AI 플랫폼은 이러한 옵션에 액세스할 수 있게 해줍니다. 이러한 플랫폼은 환각을 완화하는 방법에 대해 투명하게 공개해야 합니다.

RAG(검색 증강 세대) 사용

모델이 자체 지식에 의존하게 만들지 마세요. 모델에 RAG를 장착하면 사용 가능한 정보와 정보를 찾을 수 있는 위치를 명확하게 알 수 있습니다.

효과적인 RAG를 구현하는 방법에 대한 간단한 지침이 있는 플랫폼에서 AI를 실행하는 것이 가장 좋습니다.

철저한 지침 추가

한 번 들으면 천 번을 듣는다는 말이 있습니다: 쓰레기는 쓰레기로, 쓰레기는 쓰레기로.

"사용자의 질문에 답하기"만으로는 성공을 보장할 수 없습니다. 하지만 다음과 같은

# 지침

FAQ 문서만 참조하세요. 답변이 표시되지 않는 경우: ‍

* 사용자에게 해당 정보를 사용할 수 없음을 정중하게 알립니다.
* 상담원에게 대화를 에스컬레이션할 것을 제안합니다.

를 사용하면 에이전트를 제어할 수 있습니다. 확실한 가드레일을 갖춘 명확한 프롬프트는 불량 상담원에 대한 최선의 방어책입니다.

인적 검증

에스컬레이션과 관련해서는 AI의 단점을 점검하고 평가하며 이를 해소할 준비가 되어 있는 사람이 있어야 합니다.

대화를 에스컬레이션하거나 소급하여 확인할 수 있는 기능을 통해 무엇이 효과가 있고 무엇이 환각의 위험이 있는지 파악할 수 있습니다. AI 기반 워크플로우를 사람이 직접 감독하는 휴먼 인 더 루프는 필수입니다.

지금 바로 환각 없는 AI 사용

AI의 신뢰성에 대한 불확실성이 기업의 디지털 트랜스포메이션을 가로막고 있을 수 있습니다.

BotpressRAG 기능, 휴먼 인 더 루프 통합, 철저한 보안 시스템을 통해 AI는 안전하고 신뢰할 수 있습니다. 에이전트가 사용자를 위해 일하는 것이 아니라 사용자를 위해 일합니다.

↪CF_200D↩오늘 구축 시작하기. 무료입니다.

자주 묻는 질문

1. 주제에 대한 사전 지식이 없는 상태에서 AI 응답이 환각인지 어떻게 알 수 있나요?

AI의 응답이 사전 지식이 없는 환각인지 확인하려면 매우 구체적인 주장, 지나치게 확신에 찬 언어, 독립적으로 검증할 수 없는 이름, 통계 또는 인용과 같은 징후를 살펴보세요. 확실하지 않은 경우 AI에게 출처를 인용하도록 유도하거나 신뢰할 수 있는 외부 참고 자료를 통해 교차 확인합니다.

2. 대규모 언어 모델LLMs에서 AI 환각은 얼마나 흔한가요?

사실 확인이 아닌 확률에 기반하여 텍스트를 생성하기 때문에 대규모 언어 모델에서는 AI 환각이 흔히 발생합니다. 특히 틈새 주제에 대한 질문이나 맥락이 부족한 상황에서는 GPT 및 Claude 3.5와 같은 고급 모델조차도 부정확한 결과를 생성할 수 있습니다.

3. 이미지 생성기와 같은 텍스트 기반이 아닌 AI 모델에서도 환각이 발생할 수 있나요?

예, 이미지 생성 모델에서도 환각이 발생하는데, 이는 종종 훈련 데이터의 편향이나 격차로 인해 발생하는 추가 팔다리 또는 잘못된 문화적 표현과 같은 비현실적이거나 무의미한 요소가 출력에 포함되는 경우가 많습니다.

4. 훈련 데이터 편향으로 인해 특정 언어나 문화권에서 환각이 더 흔한가요?

대부분의 LLMs 주로 영어와 서구 중심의 데이터로 교육을 받기 때문에 문화적으로 미묘한 차이를 보이는 응답을 하지 못하기 때문에 환각은 소외된 언어나 비 서구 문화권에서 더 흔하게 발생합니다.

5. AI 환각의 결과로 가장 위험에 처한 산업은 무엇인가요?

의료, 금융, 법률, 고객 서비스와 같은 산업은 부정확한 결과물로 인해 규정 위반, 재정적 손실, 법적 실수, 사용자 신뢰 및 브랜드 평판 손상으로 이어질 수 있으므로 AI 환각의 위험이 가장 큰 분야입니다.