diff --git a/README.md b/README.md index 706d4f8..96734ea 100644 --- a/README.md +++ b/README.md @@ -1,12 +1,17 @@ -# Prompt Registry Demo +# prompt-registry-demo -Синтетический реестр промптов для оценки звонков по 1С Бухгалтерии. +Synthetic Git-backed prompt registry for the Prompt Lab demo. -## Структура +The repository shows how prompts, test transcripts, and sample LLM results can be versioned together. The key business point: every call-quality result must identify the exact prompt version that produced it. -- `prompts/call_quality_score/` - версии промпта оценки качества звонка. -- `tests/transcripts/` - синтетические транскрипты звонков. -- `rubrics/` - критерии оценки. -- `results/examples/` - примеры mock-результатов. +## Structure -Все данные искусственные, без реальных клиентов и персональных данных. +- `prompts/call_quality_score/v1.md` ... `v5.md` - prompt versions. +- `prompts/call_quality_score/metadata.yaml` - owner, production version, version purposes, required audit fields. +- `tests/transcripts/` - synthetic old calls used for regression checks. +- `results/examples/` - mock outputs with `prompt_version`, `rendered_prompt_hash`, and `output_hash`. +- `CHANGELOG.md` - human-readable evolution of the prompt. + +## Recommended production candidate + +`v5_production_balanced` is the strongest demo version. It keeps the answer JSON-shaped, adds accounting safety and risk flags, and makes the result easier to audit later. diff --git a/prompts/call_quality_score/metadata.yaml b/prompts/call_quality_score/metadata.yaml index 96b9515..5bda76f 100644 --- a/prompts/call_quality_score/metadata.yaml +++ b/prompts/call_quality_score/metadata.yaml @@ -1,10 +1,28 @@ -prompt_key: call_quality_score -production: v1 -latest: v2 -domain: 1c-accounting-support -metrics: - - task_understanding - - accounting_correctness - - next_step_clarity - - risk_detection - - communication_quality +key: call_quality_score +domain: 1c_accounting_support +status: demo +owner: prompt-lab +production_version: v5 +versions: + v1: + label: v1_basic + purpose: Basic score and issue classification. + v2: + label: v2_structured_rubric + purpose: Separate empathy, diagnostics, accounting accuracy, and resolution status. + v3: + label: v3_empathy_escalation + purpose: Add customer sentiment and escalation judgement. + v4: + label: v4_accounting_safety + purpose: Add tax/accounting safety checks and risk flags. + v5: + label: v5_production_balanced + purpose: Production-balanced schema with audit notes, evidence, and risk flags. +required_result_fields: + - prompt_key + - prompt_version + - prompt_environment + - rendered_prompt_hash + - output_hash +synthetic_data: true diff --git a/prompts/call_quality_score/v1.md b/prompts/call_quality_score/v1.md index eb787dd..d5a3dfd 100644 --- a/prompts/call_quality_score/v1.md +++ b/prompts/call_quality_score/v1.md @@ -1,10 +1,20 @@ -Оцени звонок клиента и специалиста поддержки 1С по критериям: диагностика, корректность бухгалтерского совета, ясность следующего шага, риск ошибки учета. +Ты ассистент контроля качества звонков поддержки 1С Бухгалтерии. -Верни JSON: -- overall_score: 0-5 -- criteria: объект с оценками по критериям -- risks: список рисков -- next_steps: список следующих шагов +Версия: v1_basic. +Цель: быстро классифицировать обращение и поставить общую оценку. + +Прочитай транскрипт и верни только JSON: +{ + "quality_score": 1, + "issue_type": "reconciliation_act", + "summary": "", + "risks": [] +} + +Правила: +- quality_score ставь от 1 до 5. +- issue_type выбери из: reconciliation_act, vat, month_close, fixed_assets, payroll, edo, bank_import, inventory, other. +- Не придумывай факты вне транскрипта. Транскрипт: {{transcript}} diff --git a/prompts/call_quality_score/v2.md b/prompts/call_quality_score/v2.md index bc53254..7103bca 100644 --- a/prompts/call_quality_score/v2.md +++ b/prompts/call_quality_score/v2.md @@ -1,10 +1,25 @@ -Ты аудитор качества поддержки 1С Бухгалтерии. По транскрипту оцени: -1. Понял ли специалист задачу клиента. -2. Правильно ли объяснил действия в 1С. -3. Учёл ли бухгалтерские риски: НДС, период закрытия, первичные документы, права доступа. -4. Зафиксировал ли следующий шаг и владельца действия. +Ты строгий проверяющий качества консультаций по 1С Бухгалтерии. -Верни строгий JSON с полями: call_summary, scores, evidence_quotes, risks, next_steps, prompt_version. +Версия: v2_structured_rubric. +Цель: разделить общую оценку на понятные критерии. + +Верни только валидный JSON: +{ + "quality_score": 1, + "empathy_score": 1, + "diagnostic_score": 1, + "accounting_accuracy_score": 1, + "resolution_status": "partially_resolved", + "issue_type": "vat", + "summary": "", + "coaching_tip": "" +} + +Критерии: +- Все числовые оценки от 1 до 5. +- resolution_status: resolved, partially_resolved или unresolved. +- Не повышай оценку, если специалист звучит уверенно, но дает налогово рискованный совет. +- Смотри, есть ли конкретные проверки в 1С: период, организация, договор, счет, документ, регламентная операция, отчет. Транскрипт: {{transcript}}