-
3–4
з 10 — рівень на старті
-
1,5
години
-
6
блоків програми
З чим прийшли
Аудиторія — розробники. Люди, які знають, що таке API, читають документацію і ставлять питання по суті. З такою командою не працює формат "що таке ШІ": вони вже користуються моделлю щодня і впираються не в незнання, а в те, що модель поводиться непередбачувано.
Заняття почалось із замірювання. Я попросив кожного оцінити свій рівень роботи з промптами від нуля до десяти. Група стала на трійці-четвірці.
Що сказали в залі
Наскільки я зрозумів, контекстне вікно — це промт, який ми вводимо, це розмір токенів промта і розмір токенів відповіді. І все, по суті? Або це ще процес, який обробляється, також входить у цей контекст?
Питання показове. Люди щодня працюють з моделлю, але не мають картини того, що саме відбувається під капотом. Без цієї картини промпт лишається вгадуванням: щось спрацювало, а чому — незрозуміло.
Що робили
-
01
Модель під капотом: токени й токенайзер, чому українська мова їсть більше токенів за англійську
-
02
Контекстне вікно: що саме в нього входить і чому довгий діалог псує якість відповіді
-
03
Семплінг і температура: greedy selection, top-p, коли ці налаштування взагалі варто чіпати
-
04
Типи промптів із прикладами інпута, аутпута й технічних параметрів до кожного
-
05
Техніки рівнем вище: множинні шляхи до відповіді, негативні промпти, LLM as a judge
-
06
Структурований вивід через JSON і prompt injection: чому одна модель-перевіряч не рятує
Що лишилось у роботі
Команда отримала не набір готових промптів, а спосіб міркувати про модель: що з нею відбувається при генерації, які параметри на що впливають і як перевіряти якість відповіді, не покладаючись на відчуття.
Окремо — де брати актуальні знання далі: кукбуки й гайди самих вендорів до кожної свіжої моделі, публічні рейтинги моделей під конкретні задачі. Наборів промптів за тридцять доларів у цьому списку немає навмисно.
Межі й обмеження
Проблему великих дампів у контексті на занятті закрити не вдалось. Чесна відповідь була така: збільшене контекстне вікно допомагає частково, далі задачу треба ділити на менші підзадачі, а не запихати цілком в один промпт.
Prompt injection однією моделлю-перевірячем не закривається: перевіряч ловиться на ту саму атаку. Кілька різних моделей у ролі суддів дають кращий шанс, але гарантії не дають і вони.
Куди далі
Якщо задача схожа — ось із чого почати.
Розберемо запит за 15 хвилин
Безкоштовний дзвінок, на якому розпитую про задачі й кажу, що зробив би — буває, що задача закривається без мене.
