פיתוח מערכת לנרמול נתונים ממקורות קריפטו

נרמול נתוני קריפטו: מה נשבר בקלט

פלטים גולמיים ממקורות קריפטו כמעט אף פעם לא תואמים במבנה. מקור אחד מחזיר סכום כמספר, השני כמחרוזת, השלישי כזוג «ערך ומספר ספרות אחרי הנקודה», וחתימת הזמן מגיעה פעם בשניות, פעם במילישניות, ופעם כמחרוזת עם היסט אזור זמן.

פורמטים שונים של תגובות ממקורות אינם שגיאה כשלעצמם, אבל כל עוד הם לא מובאים לצורה אחידה, לא דוח תיק ההשקעות ולא המגבלות מחושבים נכון.

אזור האובדן השני — כפילויות של פעולות. אותה עסקה בדיוק מגיעה מממשק המסחר של הפלטפורמה, מנתונים ציבוריים של הרשת ומאגרגטור שערים, ובכל מקרה יש לה מזהה משל עצמה, שאינו חופף לזה של האחר. ההתאמה מתחילה לעבוד רק עם כלל התאמה: קישור לעסקה, אינדקס פלט וכתובת ארנק עם חלון סובלנות בזמן.

האזור השלישי — אי-התאמות ברישום עסקאות. במקור אחד העמלה כלולה בסכום הפעולה, באחר היא מוצגת בשורה נפרדת; הזמנה שבוצעה חלקית הופכת לעשרה רשומות במקום אחת. חתימת הזמן של הפלטפורמה וזמן האישור ברשת שונים, וסדר הפעולות משפיע על חישוב עלות לפי שיטת FIFO. נרמול נתוני קריפטו נחוץ בדיוק כאן: בלעדיו עסקאות זהות מניבות סכומים שונים בחישוב מחדש.

התוצאה — הנתונים מתיישבים זה עם זה רק לאחר שמופיעה סכימה קנונית, כללי הסרת כפילויות ובדיקה שוטפת של מקורות. בהמשך נפרט כיצד זה נסגר.

מה משתנה לאחר ההטמעה: אפקט בגדלים מדידים

האפקט של הנרמול ניכר לא בדוחות אלא בעבודה היומיומית: המערכת מפסיקה להיות תלויה בפעולות ידניות ובאנשים ספציפיים. להלן גדלים שמשתנים באופן מדיד, ובזכות מה זה קורה.

מהירות חיבור מקור חדש

פלטפורמה חדשה או אגרגטור כמו CoinMarketCap מתחברים באמצעות תיאור דקלרטיבי של התאמת שדות: טיקר, צד העסקה, נפח, חתימת זמן. פירוק פורמטים עבור כל מקור נכתב פעם אחת — חיבור נוסף אורך שעות במקום שבועות.

שיעור ההתאמות האוטומטיות

השוואת עסקאות ויתרות בין מערכות התבצעה בעבר באמצעות ייצוא והשוואה ידנית. כללי התאמה לפי מפתחות עסקה וחשבון מכסים את עיקר העבודה: מעל 90% מהפוזיציות מותאמות אוטומטית, ובידנית מטפלים רק באי-התאמות אמיתיות.

סוג התקלות שנמנעו

משלוח חוזר של הודעה, ניתוק חיבור באמצע חבילה, דיוק שונה ואזורי זמן שונים במקורות יצרו כפילויות ורשומות אבודות ברישום. רישום לפי מפתח אירוע ויומן עיבוד מסירים סוג תקלות זה לחלוטין, ולא אירועים בודדים.

סכימת רישום אחידה

מילון שדות אחד, טיפוסים אחידים, דיוק וייצוג זמן אחידים במקום מערכת טבלאות לכל מקור. דוחות וניתוחים נבנים מתצוגה אחת, וחתך חדש הוא שאילתה, ולא ייצוא נפרד עם איחוי ידני.

אפשרויות חיבור מקורות: השוואת גישות

שיטת חיבור המקור נבחרת לפי נפח הזרימה ומידת רעננות הנתונים הנדרשת. אותו נכס מגיע מממשק הבורסה, מסייר הרשת ומספריות כמו CoinGecko: אם מושכים הכל בסכימה אחת, בשעת שיא נוצרים פערים, ובשעות שקטות הצינור עומד ללא מעש.

כיצד לבחור

כל עוד השוק שקט, די בייצוא לפי לוח זמנים — הם מספקים עומק מלא ואינם נתקלים במגבלות. ברגע שנדרשת תגובה לאירוע, מוסיפים להם התראות, ואת החיבור הישיר משאירים לספריות ולשאילתות נקודתיות. ייבוא מחדש ידני משמש כרשת ביטחון: הוא מכסה קטע שהוחמץ לאחר תקלה, אך אינו מחליף את הזרימה.

המנרמל מביא את ארבע הסכימות למבנה רשומה אחיד, לכן ניתן להחליף או להוסיף מקור מבלי לשכתב את הלוגיקה של הצרכנים.

כיצד נבנית ההטמעה: שלבי עבודה הנדסית

אנחנו מתחילים לא בקוד, אלא בביקורת מקורות: תוצאה יציבה מתקבלת רק כאשר אנו מבינים מאין מגיעים הנתונים ובמה נבדלים המקורות זה מזה. בורסות, סיירי בלוקים ואגרגטורים מספקים עומק היסטוריה, תדירות עדכון ומבנה תגובה שונים, כשהם מכנים את אותו נכס בשמות שונים.

1. ביקורת מקורות. עבור כל מקור אנו מתעדים את פורמט התגובה, עומק ההיסטוריה, תדירות העדכון, מגבלות על מספר בקשות והתנהגות בעת תקלה — ומקבלים מפת כיסוי עוד לפני תכנון הסכימה.
2. מפת אי-התאמות. אנו מרכזים את ההבדלים למסמך אחד: כיצד כל מקור מסמן את המכשיר, באיזו סקאלה הוא מוסר זמן ונפחים, היכן מופיעות כפילויות, פערים והפסקות בעת הרכבת בלוקים מחדש.
3. כללי התאמת שדות. אנו מתכננים סכימה קנונית וספרי התאמה: מזהה נכס אחיד, ייצוג זמן ודיוק אחיד, עדיפות מפורשת של מקור בעת התנגשות ערכים.
4. הגדרת קליטה. אנו בונים זרימת עיבוד עם ניסיונות חוזרים, מפתח אידמפוטנטיות והסרת כפילויות, כדי שאותו בלוק או עסקה לא יכפילו נתונים בחישוב מחדש.
5. בדיקה על חתכים היסטוריים. אנו מריצים את הכללים על תקופות קודמות: משווים מספר רשומות וסכומי ביקורת, תופסים סחיפת סכימה ומקרים שבהם המקור שינה את פורמט התגובה.
6. מסירה ותקנון. אנו מוסרים סכימה, ספרים, יומן אי-התאמות ונוהל חיבור מקור חדש, כך שהרחבת מערך המקורות לא תדרוש בנייה מחדש של הלוגיקה.

מה מוסרים לידיים: קונפיגורציות, סכימות, תקנונים

אנו מחשיבים את הפרויקט כנמסר לא ברגע ההדגמה, אלא כאשר מהנדס תורן מקים את המערכת מאפס ומטפל באירוע ללא התכתבות עם המחברים. לכן נמסר סט חפצי אמנות, שכל אחד מהם עונה על שאלת תחזוקה ספציפית.

• קונפיגורציית קליטה. מקורות, מרווחי סקירה, מגבלות בקשות, כללי ניסיונות חוזרים עם השהיה גדלה — בקבצים במאגר שלכם; עריכה נעשית דרך סקירה, ולא ידנית על השרת.
• סכימת התאמת שדות. טבלת «שדה מקור → שדה קנוני → כלל המרה → התנהגות בעת חוסר» מכסה את כל הפלטפורמות המחוברות; מקור חדש מתווסף ללא שינוי קוד.
• מדיניות גישה. תפקידים ותחומי נראות, תוקף מפתחות, נוהל רוטציה, מקומות אחסון סודות — גישת הקבלן מבוטלת בפעולה אחת.
• תקנון לתקלה. עץ החלטות לפי סוגי תקלות: מקור לא זמין, השהיית נתונים מעל הסף, אי-התאמת מחיר בין פלטפורמות, כפילויות עסקאות. עבור כל אחד — מה התורן עושה בעצמו ומתי מסלים.
• הוראות תחזוקה. הקמה מדורגת של המערכת מאפס, עדכון ספר פלטפורמות ומכשירים, בדיקה לאחר שינויים, ניתוח שגיאות אופייניות וסיבותיהן.
• ניטור והתראות. מדדי רעננות נתונים, שיעור רשומות לא מותאמות, ספי הפעלה — מצב המערכת נראה ללא בדיקה ידנית.

הכל נמצא במאגר שלכם ובתשתית שלכם: אנחנו נשארים בקשר לפיתוח, אך לא כיחידים שיכולים ללחוץ על הכפתור.

מקרה בוחן: אי-התאמות בין הבורסה לרישום הפנימי

הלקוח — מפעיל בורסה עם רישום פנימי בבסיס נתונים משלו. אי-ההתאמות צפו רק בעת ההשוואה: נכס אחד הגיע תחת שלושה טיקרים, זמני עסקאות — באזורי זמן שונים, ביצועים חלקיים הודבקו ידנית. לקראת סגירת התקופה הצטברו מאות פעולות שנויות במחלוקת, וכל אחת נותחה על ידי אנליסט בטבלה.

מקרה בוחן זה של נרמול התחלנו בספר נכסים וזוגות מסחר: התאמת כינויים, פורמט אחיד לזמן ולסכומים, הסרת כפילויות של עסקאות שנשלחו שוב. מטא-נתוני אמת לנכסים ניתנו על ידי CoinGecko — רישומים חדשים הפסיקו להיכנס לרישום עם ספרים ריקים.

מדדים לפני ואחרי

יתרת אי-ההתאמות — לא שגיאות של הצינור, אלא פספוסים אמיתיים בצד שכנגד: המערכת מסמנת אותם ומעבירה לתור טיפול עם הקשר מלא. הספר מנוהל בגרסאות, לכן כללי ההתאמה משתנים בלי חשש — חזרה לגרסה קודמת וחישוב היסטוריה מחדש אורכים דקות.

במה שונה נרמול זורם מנרמול אצווה?

ההבדל מתגלה ברגע שבו הנתונים הופכים ראויים להחלטה. עיבוד זורם מנרמל אירוע בקלט: כתובת, סכום ונכס מובאים לצורה אחידה מיד, כשהעסקה טרם נכנסה לבלוק. עיבוד אצווה צובר רשומות גלם ומחשב אותן מחדש באופן קבוע — לפי לוח זמנים או לפי הצטברות נפח.

תגובה מיידית נדרשת במקום שבו ההחלטה תלויה באירוע האחרון: בקרת מגבלות ויתרות לפי ארנק, הפעלת כללי סיכון עם הופעת מסלול חשוד, חישוב מחדש של עמלה. כאן חלון הצבירה נמדד בשניות, וההשהיה בין הגעת האירוע לעדכון המצב — זהו מחיר הטעות.

מסלול אצווה מוצדק במקום שבו חשובה שלמות ולא מהירות: השוואת יתרות, דיווח, ניתוח היסטוריה לתקופה, הכנת תצוגות לניתוח. חלון הצבירה כאן — שעות וימים, אך את החישוב ניתן להריץ מחדש במלואו לאחר שינוי כללי ההתאמה של טוקנים וחוזים.

עיבוד חוזר ללא כפילויות נשען על מפתח רשומה דטרמיניסטי — האש של העסקה ועוד מספר פלט — ועל הכנסה אידמפוטנטית. הרצה מחדש של החלון מעדכנת אז שורות קיימות, ואינה מכפילה נפחים ואינה שוברת את ההשוואה. ניהול גרסאות של רשומה מנורמלת מאפשר להשוות תוצאה לפני ואחרי תיקון כללים.

בפועל המסלולים לא מתחרים אלא משלימים זה את זה: הזורם נותן תגובה, האצווה — התכנסות מספרים. שניהם כותבים דרך שכבת נרמול אחת ושכבת הסרת כפילויות משותפת, אחרת אותה פעולה מקבלת מראה שונה בשתי תצוגות.

ספקות טכניים: מקורות, תקלות, מגבלות

הספקות לגבי נרמול הם בדרך כלל אותם ספקות: לחלק מהמקורות אין תיאור ציבורי של הממשק, פורמטי התגובות משתנים ללא אזהרה, וניתוח פעולות מסוימות נתקל במגבלות עיבוד. להלן תשובות לשאלות לא נוחות, שצפות לרוב בעת הקבלה.

המקור שינה פורמט — נתונים ישנים יישברו?

הסכימה מנוהלת בגרסאות: רשומות קודמות נשארות בחוזה שלהן, חדשות נכתבות לחדש, והתאמת השדות מוחלפת באמצעות דגל. חישוב מחדש של תקופות קודמות מופעל בנפרד, ומשווים סכומי ביקורת לפני ואחרי — החלפת פורמט אינה הופכת לקרע בהיסטוריה.

המקור לא זמין מספר שעות — נתונים יאבדו?

סמן הסקר מתקדם רק לפי נתונים מאושרים, לכן לאחר החזרת הזמינות אנו לוקחים את המרווח שהוחמץ. עבור מקורות שאינם מוסרים היסטוריה, אנו מחזיקים שני מסלולי השגה בלתי תלויים והשוואה יומית: אי-התאמה מעל הסף עוברת לתור טיפול ידני.

מה קורה עם פעולות שלא הצלחתם לנתח?

אובדן שקט לא יקרה: רשומות שאינן מזוהות אינן נזרקות, אלא נאספות לשכבה נפרדת עם סיבה — סוג אירוע לא ידוע, אי-התאמת כתובת, כפילות לפי האש, ושיעור הכיסוי נראה בדוח.

מקרים שנויים במחלוקת ברישום — העברות בין ארנקים אישיים, החזרים, עמלות — מסומנים על ידי כלל ועוברים בשורה נפרדת, ואינם נמסים ביתרה הכללית.

נדון במשימה: אילו נתונים מקדימים נדרשים להערכה

הערכת נרמול נתונים ממקורות קריפטו מתחילה לא במספרים, אלא בנתונים מקדימים: בלעדיהם היקף והרכב העבודה נקבעים באקראי. להלן מינימום שמסיר את אי-הוודאות ומאפשר לחשב עלות עבודה לפי עובדות, ולא לפי הנחות.

• רשימת מקורות: בורסות, ארנקים, סיירי בלוקצ'יין, ייצוא ברוקרז' — עבור כל אחד נדרש אופן גישה ומגבלות על תדירות פניות.
• פורמטים ונפחים: באיזו צורה מגיעים הנתונים, כמה רשומות ביממה, לאיזה עומק נדרש טעינה היסטורית.
• מודל יעד: היכן מאחסנים — בסיס משלכם, מחסן אנליטי, קבצים; אילו ישויות וקשרים צריכים להתקבל בפלט.
• כללי התאמה: ספרי טיקרים, בורסות וזוגות מסחר; כיצד לפרש העברות פנימיות, משיכות, סטייקינג ועמלות.
• דרישות דיווח: אילו חתכים וייצואים נדרשים, באיזו תדירות ובאיזו צורה — עבור הנהלת חשבונות, ביקורת או הנהלה.
• מצב עדכון ותקלות: אצווה לפי לוח זמנים או זרימה, השהיה מותרת, נוהל חזרה לאחור של טעינה חלקית.
• הרשאות ומסלולים: בדיקה וייצור, מפתחות, אחסון סודות, מי בעל הנתונים.

לפי נתונים מקדימים אלה אנו חוזרים עם הערכה ותוכנית עבודה: שלבים, סדר חיבור מקורות, נקודות בקרת איכות נתונים והרכב התיעוד הנמסר. תארו את המשימה — נאסוף את הנתונים המקדימים למסמך אחד ונציע את הצעד הבא.