מפרטים/V2-CH6/V2-CH6-005

V2-CH6-005 — מדדי כיול ו-Dashboard

כרך 2 · פרק 6 · משימה 005 · מדדי דיוק, דשבורד כיול, התראות

v1.0 Review · 12.8.2026

מטרת המסמך

הגדרת מדדי כיול ו-dashboard: 10 מדדים, 5 חלקי dashboard, AlertRule חדש. כולל התראה על hit_rate נמוך ושילוב ב-Agents page.

מדד	סוג	טווח	תיאור	יעד
hit_rate	per-agent	0-1	אחוז המלצות נכונות	> 0.5
avg_confidence	per-agent	0-10	ממוצע ביטחון היסטורי	> 5.0
calibration_error	per-agent	0-1	פער ביטחון-תוצאה	< 0.3
brier_score	per-agent	0-1	מדד דיוק תחזית	< 0.25
samples_count	per-agent	int	מספר המלצות שהוערכו	> 10
calibration_level	per-agent	enum	רמת כיול	CALIBRATED+
days_since_last_eval	per-agent	int	ימים מאז הערכה אחרונה	< 90
fused_confidence	per-candidate	0-10	ביטחון מאוחד לאחר כיול	> 6.0
weight_adjustment_count	system	int	מספר התאמות משקל אוטומטיות	daily > 0
decay_alerts	system	int	סוכנים עם decay פעיל	0

חלק	תיאור
Agent Calibration Cards	כרטיס לכל סוכן: hit_rate, avg_confidence, calibration_error, samples_count, calibration_level, days_since_last_eval. צבע: ירוק (CALIBRATED+), צהוב (INITIAL), אדום (UNCALIBRATED).
Weight History Chart	גרף זמן: משקל כל סוכן לאורך זמן. מציג עליות/ירידות בעקבות כיול. Recharts line chart.
Calibration Error Distribution	היסטוגרמה: פילוג calibration_error לכל הסוכנים. מצביע על סוכנים לא מכוילים.
Alert Feed	התראות: hit_rate < 0.3, decay > 90d, calibration_error > 0.5. קישור ל-AgentConfig לבדיקה.
System Summary	סיכום: ממוצע hit_rate, סוכנים CALIBRATED+, סוכנים UNCALIBRATED, התאמות יומיות.

מזהה	קריטריון	תוצאה
M1	10 מדדי כיול מוגדרים.	PASS
M2	5 חלקי dashboard: Agent Cards, Weight History, Error Distribution, Alert Feed, System Summary.	PASS
M3	AlertRule חדש: hit_rate < 0.3 (לאחר 50+ samples) — P1, נדרשת בדיקת prompt/model.	PASS
M4	דשבורד ישולב ב-Agents page (קיים) — כרטיסי כיול לכל סוכן.	PASS

מפרט · v1.0 Review · 12.8.2026