Лекції

У цій лекції ви сформуєте інженерне розуміння того, як оцінювати якість відповідей ChatGPT‑застосунку за допомогою другої моделі‑«судді». Розберемо, які критерії варто фіксувати (коректність, корисність, стиль, безпека), як писати rubric‑prompt як специфікацію якості, як вимагати від судді суворо валідний JSON для CI, як повʼязати eval‑кейси з golden prompts і які обмеження (bias, positional bias, verbosity bias) обовʼязково враховувати в продакшні.

У цій лекції ви розберетеся, як перетворити «ідеальні діалоги» (golden prompts) на інженерні регресійні тести (golden cases) для LLM‑застосунків. Ви дізнаєтеся, як улаштований кейс (вхід, очікування, рубрика, пороги), де зберігати набори в репозиторії та як привʼязувати їх до версіонованих rubric‑промптів. Також поговоримо про локальний запуск і CI, про відмінності між threshold‑ та baseline‑підходами, а ще — як винести safety/negative‑кейси в окремий, суворіший шар.

У цій лекції розглянемо, як «безболісно» вбудувати ChatGPT App у вже наявний продукт. Поговоримо про MCP як про тонкий адаптер/шлюз над REST/GraphQL і доменними сервісами, вибудуємо Single Source of Truth для схем (наприклад, через Zod), спроєктуємо контрактні тести, продумуємо версіонування tools/ resources і міграції без простоїв. Окремо обговоримо еволюцію OAuth‑шару (зокрема /.well-known/oauth-protected-resource, scopes і WWW-Authenticate), шар підказок (hint‑шар) метаданих/анотацій ( readOnlyHint, destructiveHint, openWorldHint), а також процес оновлення SDK і типові помилки, що призводять до інцидентів під час виконання та деградації якості.

Розбираємо, як перетворити LLM‑застосунок зі «застиглого промпта» на живу систему: збираємо карту сигналів (техніка, економіка, продукт, якість), будуємо канонічний feedback‑loop із 4 кроків (сигнал → гіпотеза → контрольована зміна → перевірка офлайн/онлайн), проєктуємо внутрішнього «асистента поліпшень» як окремого агента, обговорюємо, що можна налаштовувати (prompt/tools/UX/економіка) і де обовʼязковий human‑in‑the‑loop (дозволи, платежі, safety, політика даних).

У цій лекції розглянемо, як працюють Multi‑App‑сценарії в ChatGPT Apps. Зʼясуємо, як модель маршрутизує запити між кількома застосунками, чому метадані та description стають вашим «LLM‑SEO», і як правильно пояснювати інтерфейс (UI) через _meta [ "openai/widgetDescription" ]. Також побачимо, як анотації readOnlyHint, destructiveHint, openWorldHint і openai/isConsequential допомагають безпечно будувати пайплайни. Наприкінці розберемо патерни композиції (pipeline/handoff/shared context), інтероперабельність через JSON‑відповіді та типові помилки.