Перейти до вмісту
Богдан Щербаков

Розробники

Навчання ШІ для розробників та ІТ-команд

Розробники щодня працюють із моделлю, і впираються вони не в незнання, а в те, що модель поводиться непередбачувано. Розбираємо, що відбувається під капотом, як тримати контекст на великій задачі і як перевіряти код, який вона пише.

  • ~180

    інженерів BetterMe на двох заняттях

  • 3–4

    з 10 — рівень промптів у Vector на старті

  • 6

    блоків тренінгу для інженерів Vector

Кому це потрібно

  • Контекстне вікно навмання

    Моделлю користуються щодня, але що саме входить у контекстне вікно, до кінця не ясно, і промпт лишається вгадуванням.

  • Велика фіча не влазить

    На великій фічі з ендпоінтом, сервісним методом, записом у базу й кешуванням модель захлинається в одному контексті.

  • JSON ламає валідацію

    Просиш відповідь у JSON, і час від часу вона приходить без дужки чи лапки, а сервіс падає на валідації.

  • Чужа інструкція у файлі

    Модель читає зовнішні файли й сайти, і незрозуміло, як не дати їй виконати чужу інструкцію, сховану всередині.

  • Код без ознак безпеки

    Код від моделі виглядає охайно, а перевірка показує, що ознак безпеки в ньому немає, хоча він уже працює з даними клієнтів.

  • Запити чекають півроку

    Інфраструктурні команди й дизайн не встигають закривати запити, і вибір простий: чекати півроку або шукати інший шлях.

Де це вже працює

Усі клієнти →

Що розбираємо

  • Модель під капотом

    Токени, контекстне вікно й температура, і чому українська мова зʼїдає більше токенів, ніж англійська.

  • Контекст на великій задачі

    Фічу ділимо на підзадачі з власним контекстом, бо довший діалог дає гіршу відповідь, а більше вікно рятує лише частково.

  • Структурований вивід

    JSON-схема і машина станів замість прохання "поверни JSON", плюс перевірка на виході, бо модель лишається стохастичною.

  • Документація й опис змін

    Коментарі до коду й опис мердж-реквесту: що змінено, навіщо і як рецензенту це перевірити.

  • Перевірка коду

    Модель пише швидко, а робочим код стає після ревʼю, тестів і окремого проходу на безпеку й вразливості.

  • Prompt injection і судді

    Чому одна модель-перевіряч ловиться на ту саму атаку і що дають кілька різних моделей у ролі суддів.

Що команда вміє після

  • Велика фіча

    розкладена на підзадачі, кожна у власному контексті

  • Відповідь для сервісу

    за JSON-схемою і з перевіркою на виході

  • Мердж-реквест

    з описом, що змінилось і як це перевірити

Формати і ціна

Одна ставка на все — 200$ за годину

Що питають перед стартом

Три найчастіші питання. Решта — на сторінці питань.

Усі питання
  • Чи є аналізатори, які сканують зовнішні файли й сайти на prompt injection?

    Одна модель-перевіряч не рятує: вона ловиться на ту саму атаку. Кілька різних моделей у ролі суддів дають кращий шанс, але гарантії не дають і вони, тому на тренінгу розбираємо, де проходить ця межа.

  • Модель захлинається на великій фічі, а без контексту вона не працює. Як бути?

    Збільшене вікно допомагає частково, бо на довгому контексті якість падає. Фічу ділимо на менші підзадачі, а те, що треба нести далі, стискаємо в коротке зведення для нового вікна.

  • Чи є сенс ганяти кожен промпт через окрему GPT, щоб переписати його в XML?

    Для промпта, який пишеться один раз і працює довго, як інструкція агента підтримки, так. Для щоденних разових запитів простіше мати асистента під конкретну модель з її гайдом із промптингу в базі знань і не ганяти через нього кожне питання.

Схожі напрямки

Поруч за задачами або за аудиторією

Усі напрямки →

Розберемо запит за 15 хвилин

Безкоштовний дзвінок, на якому розпитую про задачі й кажу, що зробив би — буває, що задача закривається без мене.

Богдан Щербаков
Богдан Щербаков Зазвичай відповідаю сам протягом доби