Штучний інтелект може впевнено пояснити складну фізичну теорію, допомогти написати код або переказати зміст книги. А за хвилину — назвати статтю, якої ніколи не існувало, приписати відомій людині вигадану цитату чи «згадати» неіснуючу подію. Причому зробити це настільки переконливо, що помилку не завжди легко помітити.
Такі випадки називають галюцинаціями ШІ. Термін дещо умовний: штучний інтелект не переживає галюцинацій у людському сенсі. Ним позначають ситуації, коли генеративна модель створює неправдиву, вигадану або необґрунтовану інформацію й може подавати її так, ніби вона достовірна.
У документах американського Національного інституту стандартів і технологій (NIST), наприклад, для цього явища використовується термін confabulation — конфабуляція, а «галюцинація» згадується як поширена назва таких помилок.
Що означає «галюцинація ШІ»
Галюцинація ШІ, або AI hallucination, — це відповідь моделі, яка може виглядати цілком правдоподібною, але містить твердження, що не відповідають фактам, наданим даним або контексту запиту.
Наприклад, ШІ може:
- вигадати назву наукового дослідження;
- назвати неіснуючого автора книги;
- додати до біографії людини подію, якої не було;
- створити неправдиве або неіснуюче посилання;
- неправильно переказати зміст документа;
- приписати певний вислів не тій людині;
- впевнено назвати неправильну дату чи число.
Особливість таких помилок у тому, що модель не обов'язково демонструє невпевненість. Вигаданий факт може бути сформульований так само гладко й переконливо, як і правильний.
Саме тому галюцинації залишаються однією з важливих проблем генеративного ШІ навіть у сучасних мовних моделях.
Чому ШІ взагалі щось вигадує
Щоб зрозуміти природу галюцинацій, потрібно трохи розібратися в тому, як працюють великі мовні моделі.
Під час базового навчання така модель вчиться прогнозувати наступні фрагменти тексту — токени — на основі попереднього контексту. Вона не просто вибирає одне «найімовірніше слово», а оцінює ймовірності можливих продовжень. Сучасні системи додатково навчають виконувати інструкції, працювати з різними типами запитів, а в деяких випадках ще й підключають до пошуку, баз даних та інших інструментів.
Однак сам принцип генерації тексту не гарантує істинності кожного сформованого твердження. Як зазначає NIST, статистичне прогнозування може давати як фактично правильні й послідовні результати, так і неправильні або внутрішньо суперечливі.
Наприклад, модель добре засвоює, як зазвичай виглядає бібліографічне посилання: імена авторів, назва роботи, журнал, рік, номер DOI. Тому вона здатна сформувати запис, який зовні майже не відрізняється від справжнього. Але конкретної статті з такою назвою може ніколи не існувати.
Інакше кажучи, модель може дуже добре відтворити форму правильної відповіді, не маючи достатніх підстав для всіх фактів усередині неї.
Галюцинація — це не просто будь-яка помилка
Межа між поняттями не завжди чітка, але «галюцинацією» зазвичай називають не кожну неправильну відповідь ШІ, а випадки, коли система генерує хибну інформацію без достатньої опори на факти або вхідні дані.
Якщо модель помилилася в арифметичній дії, це насамперед математична помилка.
А ось якщо вона повідомляє:
«У 2019 році професор Анна Міллер опублікувала в журналі Nature дослідження про…»
і ні такої дослідниці, ні публікації насправді немає, — це типовий приклад галюцинації.
Ще один поширений випадок виникає під час роботи з документами. У тексті може не бути відповіді на запитання користувача, але модель замість фрази «у документі цього не зазначено» створює логічне й правдоподібне пояснення від себе.
Чому галюцинації часто здаються правдою
Людині зазвичай легше запідозрити помилку, якщо співрозмовник вагається, плутається або суперечить сам собі. З генеративним ШІ це працює не завжди.
Неправильне твердження може з'явитися у грамотно побудованому реченні, супроводжуватися поясненнями та добре вписуватися в решту тексту. Форма відповіді створює відчуття компетентності, хоча сама інформація може бути хибною.
Особливо переконливо виглядають вигадані цитати, посилання й наукові джерела. Модель може створити вислів, який відповідає поглядам відомої людини, або назву дослідження, що ідеально пасує до теми. Іноді реальні й вигадані деталі змішуються в одному тексті: журнал існує, тема звучить логічно, але автори чи конкретна публікація — ні.
Такі випадки особливо складно помічати. У великій відповіді майже все може бути правильним, а лише одна дата, цитата чи назва — вигаданою.
Коли ризик галюцинацій більший
Ризик залежить від конкретної моделі, запиту та способу її роботи, але особливо уважним варто бути тоді, коли потрібні дуже точні або маловідомі факти.
Це можуть бути дослівні цитати, сторінки книг, бібліографічні дані, маловідомі історичні події, номери документів, точна статистика або відомості про дуже вузьку тему. Окрема проблема — актуальна інформація: якщо система не має доступу до свіжих джерел, вона може не знати про нещодавні зміни.
Галюцинацію може спровокувати й саме запитання, якщо в ньому уже міститься неправильне припущення.
Наприклад:
«Чому Альберт Ейнштейн отримав Нобелівську премію за теорію відносності?»
Формулювання запитання некоректне. Нобелівську премію з фізики за 1921 рік Ейнштейну присудили «за заслуги перед теоретичною фізикою, і особливо за відкриття закону фотоефекту». Теорію відносності в офіційній мотивації премії не названо.
Якщо модель просто прийме припущення користувача за факт, вона може почати детально пояснювати те, чого насправді не було.
Чи можна повністю позбутися галюцинацій
Розробники ШІ намагаються зменшувати кількість таких помилок: моделі навчають краще реагувати на невизначеність, працювати із зовнішніми джерелами та не давати відповідь там, де для неї недостатньо інформації.
Один із поширених підходів — RAG, або Retrieval-Augmented Generation, тобто генерація, доповнена пошуком інформації. У такій системі мовна модель під час формування відповіді може спиратися не лише на знання, засвоєні під час навчання, а й на документи, знайдені у зовнішньому сховищі. Сам підхід RAG був описаний дослідниками у 2020 році як поєднання параметричної пам'яті мовної моделі з доступом до зовнішньої непараметричної пам'яті.
Проте навіть доступ до джерел не робить систему безпомилковою. Модель може неправильно зрозуміти знайдений матеріал, використати нерелевантне джерело, переплутати дані або зробити необґрунтований висновок.
Тому галюцинації можна зменшувати, але наразі не варто вважати проблему повністю вирішеною.
Як розпізнати можливу галюцинацію
Найважливіше правило — не сприймати впевнений тон ШІ як доказ правильності.
Особливо варто перевіряти конкретні дати, статистику, цитати, назви досліджень, посилання та іншу інформацію, де навіть невелика помилка може суттєво змінити зміст відповіді.
Підозрілим сигналом може бути й надзвичайно точна відповідь на дуже вузьке запитання. Якщо модель називає сторінку маловідомої книги, дослівну цитату або номер документа, краще відкрити першоджерело й переконатися, що ці дані справді існують.
Можна попросити ШІ назвати джерело, однак саме по собі це не гарантує достовірності: модель може вигадати не лише факт, а й джерело, яке нібито його підтверджує.
Надійніше перевірити документ, наукову публікацію чи офіційну сторінку безпосередньо або використовувати систему, яка показує джерела, на яких ґрунтується відповідь.
Чи означають галюцинації, що ШІ не можна довіряти
Галюцинації не роблять генеративний ШІ марним. Вони радше показують, чому важливо розуміти межі таких систем.
Якщо потрібно придумати варіанти заголовка, структурувати текст, пояснити поняття простими словами чи згенерувати ідеї, ШІ може значно пришвидшити роботу. Інша ситуація виникає, коли його відповідь використовують як джерело точних фактів.
ШІ краще сприймати не як безпомилкову енциклопедію, а як інструмент для роботи з інформацією. Він може швидко пояснювати, порівнювати, узагальнювати та допомагати знаходити зв'язки, але важливі твердження все одно варто перевіряти.
Саме тому фраза «ШІ може помилятися» — не формальне попередження, а важливий дисклеймер. Генеративні моделі навчилися надзвичайно добре створювати правдоподібні відповіді, але правдоподібність і достовірність — не завжди одне й те саме.
