Лабораторія ШІ · The Wanderer’s Notes
Тут я показую, як працюю з командою ШІ-агентів у практиці оцінки: хто що робить, де робота зупиняється й чекає мого рішення, як кожен крок можна перевірити.
Це робочий метод, і він змінюється за підсумками експериментів; що саме змінилось і чому, видно в журналі. Профіль оцінювача: nagul.com.ua.
Конвеєр
01 · Brief
Завдання описано у файлі: джерела, клас перевірки, що вважати готовим. Перш ніж бриф піде виконавцю, окремий агент шукає в ньому прогалини.
02 · Execute
Агент-виконавець працює з файлами, а не в чаті, і здає пакет: результат, самоперевірку й перелік контрольних сум усіх файлів.
03 · Verify
Спершу скрипти без моделі, потім агенти, що шукають, чим спростувати кожне твердження; важливе перевіряє ще й модель іншого розробника. Окрема сесія-суддя виносить вердикт і нічого не править.
04 · Merge
Лише після вердикту й мого «ок» результат іде в бібліотеку чи адресатові.
крок · перевірка · чекає «ок» людини · стан методу на 10 жовтня 2026
Три «ок»
Зміна правил роботи агентів, їхніх ролей і канонічних файлів. Без «ок» пропозиція лишається пропозицією.
Результат після вердикту судді. Без «ок» він лишається перевіреним, але нікуди не йде.
Документ клієнту, лист людині, будь-яке видалення, покупки й запуски понад ліміт. Це обмеження в налаштуваннях, а не домовленість: агент пише чернетку, надсилаю я.
Усе до цих точок іде без мене. Якщо конвеєр зупинився на одній із них, він нічого не втрачає, а просто чекає.
Глибина перевірки
| Клас | Що це | Перевірка |
|---|---|---|
| A | документ для клієнта, число в ньому, зміна правил, злиття в бібліотеку | скрипти, кілька агентів-опонентів, незалежний перерахунок розрахункових таблиць із вхідних даних, модель іншого розробника |
| B | внутрішній матеріал: узгодженість і повнота | скрипти й опоненти від того самого розробника |
| C | технічний крок без судження | лише скрипти |
Клас ставить автор брифу, а не виконавець: коли виконавець оцінював власну роботу, він завищував клас і запускав дорогу перевірку там, де вистачало легшої. Пропущену перевірку матеріал завжди називає.
Правила
Документ одночасно править лише одна сесія.
У «перевірено X із Y» число Y рахує скрипт за переліком, а не агент на око.
Посилання на стандарт підтверджує лише дослівна цитата з першоджерела із зазначенням місця: пункт, сторінка, редакція.
Сесія, що зробила роботу, не оголошує її перевіреною.
Важливе перевіряє модель іншого розробника, і запускає її агент, а не людина, яка переносить файли між чатами.
Нова сесія відновлює стан роботи з файлів: журнал рішень, реєстр робіт, правила, остання здача, вердикт. Пам’ять сервісу слугує лише покажчиком.
Кожен запуск агента записано, кожне рішення внесено в журнал, кожен пакет заморожено контрольними сумами. Без сліду кроку не було.
Факт, що змінюється з часом, від адреси в реєстрі до дати чинності норми, подається з датою й джерелом і перед зовнішньою здачею звіряється заново.
Журнал експериментів
Кожен запис тут оформлено як контракт: який звір заважав роботі з агентами, як я його вистежив і який трофей лишився в методі. Звірі казкові, випадки справжні.
Контракти
№ 2 · Двійник
Великі витрати без жодного токена, чужий ключ у журналі запусків і власний ключ для кожної події.
читати контракт№ 1 · Перевертень
Чотири посилання на стандарти, нуль збігів із першоджерелом і нова колонка в шаблоні здачі.
читати контрактБестіарій
Переказ норми, що видає себе за цитату.
уполювано · контракт № 1
Дорога модель непомітно поширюється на агентів-помічників.
слід помічено
Одна сесія веде кілька завдань і збивається з дороги.
слід помічено
Службовий рядок з’їдає справжній запис у журналі запусків.
уполювано · контракт № 2
Бриф, який бачив лише автор.
слід помічено
Правдоподібна цифра без джерела.
слід помічено
Межі
Агенти читають усе повністю, рахують, шукають суперечності й готують чернетки. Висновок, його обґрунтування й відповідальність за нього лишаються за оцінювачем. Що про це кажуть МСО та ЄСО, я розібрав у нотатці «Чи може оцінювач використовувати ШІ за МСО та ЄСО?».