JavaRush
AI Academy
new
Акция
Университет
Java FullStack
Python FullStack
AI Native Developer
new
Web FullStack
Обучение
Курсы
Задачи
Опросы
Игры
Помощь
График пинков
Стажировка
Сообщество
Пользователи
Форум
Чат
Статьи
Истории успеха
Активности
Отзывы
Подписки
Светлая тема

Лекции

  • Отзывы
  • О нас
  • CS50
Начать
Начать обучение
Начать обучение
  • Мое обучение
  • Курсы
  • Университет
  • Карта квестов
  • Лекции
  • LLM‑evals и LLM‑as‑judge: фреймворк оценки качества

    ChatGPT Apps
    20 уровень,0 лекция
    В этой лекции вы построите инженерную картину того, как оценивать качество ответов ChatGPT‑приложения с помощью второй модели‑«судьи»: какие критерии фиксировать (корректность, полезность, стиль, безопасность), как писать rubric‑prompt как спецификацию качества, как требовать от судьи строго валидный JSON под CI, как связать eval‑кейсы с golden prompts, и какие ограничения (bias, positional bias, verbosity bias) обязательно учитывать в продакшене.
    Открыта
  • Golden‑кейсы, регрессия и CI‑интеграция LLM‑evals

    ChatGPT Apps
    20 уровень,1 лекция
    В этой лекции вы разберёте, как превратить «идеальные диалоги» (golden prompts) в инженерные регрессионные тесты (golden cases) для LLM‑приложений: как устроен кейс (вход, ожидания, рубрика, пороги), где хранить наборы в репозитории, как связывать их с versioned rubric‑prompt’ами, как запускать прогон локально и в CI, а также как различать threshold‑ и baseline‑подходы и выделять safety/negative‑кейсы в отдельный строгий слой.
    Открыта
  • Интеграция ChatGPT App в существующий продукт и миграции SDK/MCP

    ChatGPT Apps
    20 уровень,2 лекция
    В этой лекции разбираем, как «безболезненно» встроить ChatGPT App в уже существующий продукт: рассматриваем MCP как тонкий adapter/gateway над REST/GraphQL и доменными сервисами, выстраиваем Single Source of Truth для схем (например, через Zod), проектируем контрактные тесты, продумываем версионирование tools/ resources и миграции без даунтайма. Отдельно обсуждаем эволюцию OAuth-слоя (включая /.well-known/oauth-protected-resource, scopes и WWW-Authenticate), hint-слой метаданных/аннотаций ( readOnlyHint, destructiveHint, openWorldHint), а также процесс апгрейдов SDK и типичные ошибки, которые приводят к runtime-инцидентам и деградации качества.
    Открыта
  • Самосовершенствующийся App: замкнутый цикл улучшений

    ChatGPT Apps
    20 уровень,3 лекция
    Разбираем, как превратить LLM‑App из «застывшего промпта» в живую систему: собираем карту сигналов (техника, экономика, продукт, качество), строим канонический feedback‑loop из 4 шагов (сигнал → гипотеза → контролируемое изменение → проверка offline/online), проектируем внутреннего «ассистента улучшений» как отдельного агента, обсуждаем, что можно тюнить (prompt/tools/UX/экономика) и где обязателен human‑in‑the‑loop (пермишены, платежи, safety, политика данных).
    Открыта
  • Multi‑App сценарии и композиция Apps

    ChatGPT Apps
    20 уровень,4 лекция
    В этой лекции разбираем, как работают Multi‑App‑сценарии в ChatGPT Apps: как модель «роутит» запросы между несколькими приложениями, почему метаданные и description становятся вашим LLM‑SEO, как правильно объяснять UI через _meta [ "openai/widgetDescription" ], и как аннотации readOnlyHint, destructiveHint, openWorldHint и openai/isConsequential помогают безопасно строить пайплайны. Также посмотрим на паттерны композиции (pipeline/handoff/shared context), интероперабельность через JSON‑ответы и типичные ошибки.
    Открыта
Курсы
  • Курс Java
  • Курс Python
  • Разработка с Claude Code
  • Все 17 курсов
Университет
  • Java FullStack
  • Python FullStack
  • AI Native Developer
  • Web FullStack
Сообщество
  • Статьи
  • Истории успеха
  • Форум
  • Помощь по задачам
Компания
  • О нас
  • Контакты
  • Отзывы
  • Подписки
  • Вопросы и ответы
JavaRush JavaRush: онлайн-курсы Java и других языков программирования, где учатся, решая задачи. Мы начинали в 2012 году с курса Java, а сейчас здесь 17 курсов: Java и Spring, Python, веб-разработка, SQL, Go, C#, C++, Kotlin, Swift, Docker и AI-разработка. Больше 10 000 задач с мгновенной проверкой, первый уровень любого курса бесплатный. Учиться можно самому или с ментором в JavaRush Университете.
Подписывайтесь
Язык интерфейса
Русский
English Українська
"Программистами не рождаются" © 2026 JavaRush Пользовательское соглашение и политика конфиденциальности
MastercardVisa
"Программистами не рождаются" © 2026 JavaRush Пользовательское соглашение и политика конфиденциальности