Стабильное распределение · guardrails · MIT + CC BY 4.0
Fixture A/B-эксперимента с промптом
Закрепите субъект за одним вариантом, найдите перекос распределения и не смешивайте основную метрику с guardrail-ошибками и latency.
Fixture не вызывает Langfuse или LLM, не считает статистическую значимость и не
выбирает победителя. Он проверяет только распределение и сводку наблюдений.
Распределить один раз
SHA-256 удерживает субъект в одном варианте внутри experiment key.
Разделить guardrails
Основной outcome, guardrail-ошибки и latency остаются разными полями.
Не выдумывать уверенность
Сводка показывает перекос выборки, но намеренно не называет победителя.
Файлы
Проверка
До публикации файлы прошли Deno format, type check, lint и семь тестов.