V2-CH3-006 — מהימנות ומחזור הערכה
כרך 2 · פרק 3 · משימה 006 · reliability_profile, hit_rate, משוב ושימוש ב-Evidence Fusion
v1.0 Review · 12.8.2026
מטרת המסמך
הגדרת מנגנון מהימנות (reliability_profile): איסוף hit_rate (אחוז המלצות שהתממשו), עדכון יומי, ושימוש ב-Evidence Fusion (V2-CH5) כמשקל לכל סוכן. סוגר את פער G-CH3-6.
שדות reliability_profile
| שדה | סוג | תיאור | מאוכלס? |
|---|---|---|---|
| hit_rate | number (0-1) | אחוז המלצות שהתממשו (BUY → עלה, SELL → ירד) מתוך כלל המלצות ב-30 ימים אחרונים. | |
| avg_confidence | number (0-10) | ממוצע ציוני ביטחון לאחרונה — מצביע על עקביות הסוכן. | |
| last_evaluated | date-time | תאריך הערכה אחרון — מבטיח שהנתונים עדכניים. |
מחזור הערכה
| שלב | פעולה | תיאור | תדירות |
|---|---|---|---|
| 1 | איסוף | איסוף כל AnalysisOutput עם status=VALID מ-30 ימים אחרונים לכל סוכן. | יומי |
| 2 | מחיר יעד | לכל המלצה: מחיר נכס יום +7 ימים מיום ההמלצה. BUY → האם עלה? SELL → האם ירד? | יומי |
| 3 | חישוב hit_rate | hit_rate = מספר המלצות שהתממשו / סך המלצות. נדרש מינימום 10 המלצות לדגימה. | יומי |
| 4 | עדכון profile | כתיבת hit_rate, avg_confidence, last_evaluated ל-AgentProfile.reliability_profile. | יומי |
| 5 | שימוש ב-Evidence Fusion | משקל סוכן באיחוד ראיות = f(hit_rate, avg_confidence). סוכן עם hit_rate נמוך → משקל נמוך. | V2-CH5 |
קריטריוני קבלה
| מזהה | קריטריון | תוצאה |
|---|---|---|
| R1 | 3 שדות reliability_profile מוגדרים ב-AgentProfile (V2-CH1-003): hit_rate, avg_confidence, last_evaluated. | PASS |
| R2 | מחזור הערכה מוגדר: 5 שלבים (איסוף → מחיר יעד → חישוב → עדכון → שימוש). | PASS |
| R3 | מינימום 10 המלצות לדגימה — מונע הערכה על דגימה קטנה מדי. | PASS |
| R4 | שימוש ב-reliability_profile משויך ל-V2-CH5 (Evidence Fusion). אינו חוסם את V2-CH3. | PASS |
| R5 | כל השדות אופציונליים — אינם פוגעים בחוזים הנעולים של כרך 1. | PASS |
מפרט · v1.0 Review · 12.8.2026
חזרה ל-V2-CH3-005