Чому ШІ неправильно рахує у ваших таблицях
Чому цифра від ШІ це не обчислення, що змінили інструменти, які рахують кодом, і як підготувати таблицю до роботи.
Аналітикиня мережевої компанії описала проблему точніше ніж будь-хто. Вона припускає, що модель прибирає аномальні значення або, що гірше, використовує частину ряду. Видно це так: якщо рахувати по формулах, середнє відхилення виходить більше, ніж коли рахує модель. А що саме вона викидає з ряду, перевірити вони так і не змогли — як налаштувати таку перевірку, в команді не розуміли. Висновок був такий, що саме через це вони не можуть масово застосувати технологію і перевіряють себе тільки в окремих зонах.
Так от, вона має рацію, і причина технічна. Велика мовна модель не рахує в тому сенсі, у якому рахує Excel. Вона генерує найімовірніший текст, а цифра для неї це теж текст.
Але є важливий момент, який змінився за останній час. Потужні інструменти, зокрема Claude, тепер під капотом пишуть собі програмний код і рахують уже ним. Механіка тут принципово інша: результат виходить детермінований, а не стохастичний, тобто на тих самих даних він буде той самий.
Це не означає, що проблема зникла. Галюцинації нікуди не поділись, а якщо сервіс рахує текстом без коду, ви отримаєте рівно ту саму історію, що й раніше. Тому правило лишається простим: ви маєте бачити, чим саме порахована цифра.
Далі розберемо, де саме це ламається і що робити, щоб числа були робочими.
Чому цифра від моделі це не обчислення
Коли ви питаєте формулу, ви отримуєте інструмент, який можна перевірити. Коли ви питаєте цифру, ви отримуєте твердження, яке треба брати на віру.
Тому в мене правило, яке я повторюю на кожному занятті з аналітики: треба просити формулу, а не цифру. Формулу ви вставляєте в таблицю і бачите результат самі. Цифру доводиться приймати як є, і саме тут сервіс може згалюцинувати.
На практиці це виглядає так. Замість "порахуй середній чек за квартал" ви просите "напиши формулу для середнього чека за квартал по цих колонках". Далі формула йде в таблицю, а обчислення робить таблиця.
Де саме губляться дані
Друга причина неправильних результатів це не математика, а обсяг.
Відповідь моделі обмежена за розміром. Якщо ви просите вмістити великий результат у вікно виводу, текст або дробиться на частини, або стискається неякісно автоматичною функцією. З таблицями це помітно одразу: частина рядків просто зникає, і не завжди ті, які ви очікували б.
Учасниця з тієї ж мережевої компанії сформулювала це коротко: чим коротше питання, тим точніша відповідь, але з великими масивами даних не виходить, таблиця начебто підвантажується, а результати віддаються оригінальні.
Ну і третє: формат. Модель не бачить вашу таблицю так, як бачите ви. Обʼєднані клітинки, кілька шапок, приховані рядки і підсумки посеред даних для неї виглядають як звичайний текст. Звідси половина дивних результатів.
Коли задача взагалі не для чату
Є клас задач, які в чат не віддаються, і це варто знати до того, як ви витратите тиждень.
На одному з дзвінків потенційний клієнт розповів про закупівлі, які оголошуються з формулами: формула відносно складна, показники беруться зі спеціальної біржі, і потрібно, щоб усе це швидко рахувалось. Вони пробували просити ChatGPT, і він не справлявся: то вигадував дані з біржі, то рахував неправильно.
Ознаки такої задачі прості:
-
дані підтягуються із зовнішнього джерела в реальному часі
-
точність критична, бо на цифрі стоїть рішення або гроші
-
обсяг такий, що результат не влазить у відповідь
-
розрахунок повторюється регулярно, а не разово
У цих випадках робоче рішення виглядає інакше: модель допомагає зібрати логіку і написати формули або код, а сам розрахунок виконує таблиця, база або окремий скрипт. Якщо обсяг великий, будується окремий контур, де модель працює з підготовленими даними, а не з сирим файлом.
Що робити просто зараз
Порядок, який прибирає більшість помилок без будь-яких розробок:
-
просіть формулу замість цифри і перевіряйте її в таблиці
-
давайте одну задачу за раз. Кілька питань в одному запиті дають посередній результат по кожному
-
готуйте файл: одна шапка, без обʼєднаних клітинок, без підсумків усередині даних
-
ріжте великі таблиці на частини і зводьте результат самі
-
фіксуйте, звідки взята кожна цифра. Якщо джерело не назване, цифра не готова до використання
Окремо про перевірку. Я сам якось записував урок і не помітив помилку в даних, чи то кома не там стояла, чи то крапка, і через це обрахунки вийшли неправильними. Тому перший крок роботи з чужим файлом це перевірка самого файлу, а не запит до моделі.
Чому це важливо саме для аналітики
В аналітичній роботі найскладніше не знайти інформацію, а перевірити змішаний масив із PDF, посилань, листів і скриншотів. Це слова аналітиків, з якими я працював, і вони описують реальність краще за будь-яку методику.
Тобто задача аналітика не в тому, щоб модель порахувала. Задача в тому, щоб звести різнорідне в одну структуру і знайти суперечності між джерелами. Ось із цим модель справляється добре: читає різні формати підряд, зводить у спільну структуру, показує, чого бракує, ставить питання до даних.
А от фінальне число має рахувати те, що рахує детерміновано.
Як підготувати таблицю, щоб її взагалі можна було читати
Ця частина роботи виглядає нудно і дає найбільший приріст точності, тому варто розписати її конкретно.
Модель отримує вашу таблицю як текст, рядок за рядком. Усе, що людина зчитує очима за структурою, для неї зникає.
-
одна шапка, один рядок. Дві шапки одна під одною читаються як дані
-
жодних обʼєднаних клітинок. Після обʼєднання частина рядків залишається порожньою, і модель добудовує їх на свій розсуд
-
підсумки виносяться на окремий аркуш або вниз, а не стоять посеред даних. Інакше вони потрапляють у розрахунок як звичайні рядки
-
одна одиниця виміру на колонку. Гривні й тисячі гривень в одній колонці дають помилку, яку майже неможливо спіймати очима
-
дати одним форматом. Змішані формати модель інтерпретує по-різному в різних частинах файлу
Пів години на приведення файлу до цього вигляду економить більше, ніж будь-яке перебирання сервісів. Ну і саме основне: працюйте з копією. Приведений до машинного вигляду файл зазвичай незручний людині, тому робочу версію для звітності варто тримати окремо.
Окремо про PDF, скани і виписки
Найризикованіший клас файлів, бо помилка тут не в математиці, а в розпізнаванні.
Коли цифри лежать у PDF або на скані, вони спочатку мають бути прочитані, і саме на цьому кроці зʼявляються підміни: пробіл усередині числа, кома замість крапки, нуль замість літери. Далі рахується вже неправильне число, і жодна перевірка логіки цього не спіймає, бо логіка бездоганна.
Тому порядок такий: спочатку витягти дані в таблицю, потім перевірити контрольні суми, і тільки потім рахувати. Контрольна сума це будь-яка цифра, яку ви знаєте самі: підсумок за місяць, кількість рядків, загальна сума по одній колонці. Не збіглось, далі не йдемо.
Хто в компанії відповідає за цифру
Тут варто сказати про процес, бо технічна частина без нього не працює.
Коли розрахунок робила людина, відповідальність була очевидна. Коли частину роботи зробив сервіс, зʼявляється сіра зона: людина каже, що так порахувало, а керівник дізнається про це в момент, коли цифра вже пішла у звіт.
Мінімум, який варто закріпити письмово:
-
у кожному звіті видно, яка частина рахувалась формулами, а яка зібрана з допомогою моделі
-
людина, яка підписує звіт, відповідає за цифру незалежно від того, як вона отримана
-
цифри, на яких стоять гроші або рішення регулятора, не беруться з чату в принципі
Третій пункт виглядає жорстко, але він знімає найдорожчий клас помилок. Ну і саме основне: обмеження варто проговорити до того, як команда почала користуватись, а не після першого неприємного випадку.
Головне про цифри й таблиці
Модель не калькулятор, вона генератор тексту, і цифра для неї теж текст. Тому просіть формулу, а не результат. Готуйте файл до того, як його завантажите. Ріжте обсяг. Ну і головне, що фінальний розрахунок має жити в таблиці або в коді, а не у відповіді чату.
У мережевому ритейлі ми впирались саме в це, і чесний підсумок учасників був такий: як помічник — так, для великої аналітики поки боляче. В аналітичній редакції межу знайшли так само: на великому масиві асистент почав вигадувати. У фінтеху висновок вийшов ще жорсткішим — для розрахункових задач потрібен звичайний код, а блокером виявились самі дані.
Якщо у вас аналітична або фінансова команда і треба поставити цей порядок разом, подивіться формати роботи і програму для керівників.
Читати далі
-
Як обрати провайдера навчання ШІ для компанії: критерії для L&D Шість критеріїв для порівняння провайдерів корпоративного навчання ШІ: ваш інструмент, досвід у галузі, задачі команди, замір результату, безпека даних.
-
Агент за 5000$ чи підписка за 20$: шість питань до будь-якої витрати на ШІ Шість питань до оплати агента, бота чи підписки на ШІ і перевірка на одній задачі за тиждень, щоб не платити підряднику за те, що вже вміє ваш сервіс.
-
ШІ вигадав факт і дав неробоче посилання: як перевіряти відповіді Чим Deep Research відрізняється від режиму міркувань і як побудувати перевірку так, щоб вигадане посилання не дійшло до клієнта.
Отримати програму і кошторис
Залиште контакт — надішлю програму під вашу команду і кошторис, який можна закласти в бюджет.
Зручніше інакше — напишіть у Telegram, забронюйте дзвінок на 15 хвилин чи оберіть канал на сторінці контактів.