מדוע חיזוי ADMET במעבדה נכשל
הערכת רעילות של תרכובות וחיזוי תכונות של מולקולות קיימים ברוב המעבדות במקומות נפרדים: תוצאות הבדיקות — בטבלאות, המבנים — בקבצי תיאור מולקולריים, דוחות היסטוריים — במסמכים ובהתכתבות.
כשצריך להחליט על גורלה של הסדרה הבאה, הכימאי אוסף מדגם ידנית ומבזבז על כך ימים, וחלק מהתרכובות נושרות מהשיקול רק משום שאין לגביהן מערך מלא של מדידות.
נקודת הכשל השנייה — חוסר עקביות בייצוגים. אותה מולקולה בקבצים שונים מתוארת בסימונים שונים, מלח ובסיס נרשמים כרשומות נפרדות, וחלק מהמבנים מגיעים כתמונות ללא תיאור קריא למכונה.
בעת חיבור נתונים מפוזרים ממעבדות שונות, כפילויות וקשרים אבודים מצטברים בלי שימו לב — המודל מתאמן על מדגם מוטה, וחיזוי ADMET סוטה מהניסוי בדיוק במקום שבו הטעות יקרה ביותר.
השלישית — עצם תהליך קבלת ההחלטה. תרכובת נפסלת לפי מדד אחד, בלי רווח אי-ודאות של החיזוי ובלי בדיקה אם המודל בכלל תקף למחלקה כימית חדשה. לפח הולכים מועמדים מבטיחים, ומשאבי המעבדה מתבזבזים על מולקולות שבוודאות לא יעברו הלאה.
להלן נפרק כיצד זה נסגר: מייצוג אחיד של מבנים ותיוג נתונים ועד להערכת אי-ודאות בכל שלב של סינון מועמדים מוקדם.
מה נותן חיזוי ADMET בשלב הסינון המוקדם
הסינון המוקדם קובע כמה תרכובות בכלל יגיעו לסינתזה. מחסום המדרגה הראשונה — מסיסות וחדירות: לפי הנוסחה המבנית המודל מסווג את המועמד לקטגוריית "יעבור / לא יעבור" בתוך שניות, ורק מה שנכנס לפרופיל היעד מגיע למעבדה. מתוך מאה מבנים שהוגשו, לאחר המסנן הזה נשארים 10–15.
המדרגה השנייה — הערכת יציבות מטבולית: קצב הפירוק, תרומת האנזימים העיקריים, סיכון לפינוי מהיר. המודלים מתאמנים על מאגרים ציבוריים של פעילות ביולוגית, כגון ChEMBL, ועל נתוני הלקוח — ולכן הסינון נעשה לפי מנגנון, ולא לפי סף נוקשה אחד. כאן נעלמת מחלקת הטעויות "המודל בטוח, אבל המעבדה לא מאשרת".
תעדוף תרכובות הופך חיזויים מפוזרים לתור סינתזה: המועמדים מדורגים לפי ההסתברות לעבור את כל הבדיקות בבת אחת, ולא לפי מדד בודד. זהו בדיוק הצמצום של מספר הסינתזות — למעבדה נשלח מדגם במקום כל הסדרה, ומחזור הסינון מתכווץ משבועות לימים.
השחזוריות של החיזויים נשענת על קיבוע גרסת המודל, פיצול המדגם, ההיפר-פרמטרים ואופן תיאור המבנים, בתוספת סכומי ביקורת של נתוני האימון. הרצה חוזרת כעבור חצי שנה מניבה אותם מספרים, ופער הופך לעילה לבדוק את הנתונים, ולא לאמן את המודל מחדש.
השוואת גישות: שירותים מוכנים, אימון משלים, מודל עצמאי
שלושה מסלולים ממשיים: שירות חיצוני לחיזוי תכונות, אימון משלים של מודל פתוח על המדידות שלכם, ומודל עצמאי על נתונים סגורים של הלקוח. ההבדל ביניהם אינו ב"דיוק ממוצע", אלא היכן עובר גבול התקפות ומי אחראי לטעות על כימוטיפ חדש.
| אפשרות | מתי מתאימה | מגבלות |
|---|---|---|
| שירות חיצוני לחיזוי תכונות | הערכה מהירה בסינון מוקדם, יש מעט נתונים עצמיים | ההיגיון סגור, לא ניתן לבדוק את תחום התקפות, לא ניתן לאמן את המודל על המדידות שלכם |
| אימון משלים על נתונים עצמיים מעל מאגרים פתוחים כמו ChEMBL | יש ממאות עד אלפי מדידות עצמיות, המבנים קרובים לפרסומיים | האיכות נתקעת בהיקף המדידות של התכונה הנדרשת, חובה ניקוי ותיוג |
| מודל עצמאי על נתונים סגורים | אסור להוציא את הנתונים מחוץ לפרימטר, הכימוטיפים ייחודיים | זמן ארוך יותר עד העלאה לפרודקשן, נדרשים ולידציה משחזרת ותמיכה בגרסאות מודל |
אימון משלים כמעט תמיד מנצח בזמן ההשקה: המאגרים הציבוריים נותנים כימיה כללית, והמדידות שלכם מסיטות את החיזוי לסדרה הנדרשת. מודל עצמאי נחוץ כאשר הנתונים מהווים סוד מסחרי, או כאשר המאגרים הציבוריים אינם מכסים באופן שיטתי את המבנים התפעוליים.
בנפרד אנחנו מקבעים את תחום התקפות: טווח המבנים והתכונות שבתוכו החיזוי אושר בולידציה, ומחוצה לו המודל מחזיר אזהרה ולא מספר בטוח. את הגבול הזה אנחנו מגדירים לפני האימון, ולא מכווננים בדיעבד — אחרת השירות הופך למחולל תשובות סבירות.
לכן את בחירת הגישה אנחנו מתחילים בסקר נתונים: כמה מדידות יש, לאילו תכונות, עד כמה הן הומוגניות והאם מותר לחשוף אותן. התשובות לשאלות האלה הן שקובעות איזו משלוש האפשרויות תניב חיזוי שאפשר לסמוך עליו בסינון.
כיצד אנחנו בונים את המערכת: שלבי העבודה ההנדסית
חיזוי ADMET נשבר לא בבחירת האלגוריתם, אלא בנתונים לא אחידים ובהגדרת בעיה מעורפלת. לכן את סדר העבודות אנחנו מקבעים מראש — בכל שלב רואים בדיוק מה בודקים ואיזו תוצאה נחשבת מקובלת.
- הגדרת משימת החיזוי. קובעים אילו תכונות נדרשות — מסיסות, חדירות, יציבות מטבולית, רעילות — ובאיזו צורה נדרשת התשובה: מספר, מחלקה או הסתברות עם סף. מסכמים על מדד איכות ורמת טעות מותרת לסינון תרכובות.
- אחידות המבנים הכימיים. המקורות מציגים את אותה מולקולה בדרכים שונות: מלחים, מטענים, טאוטומרים, כפילויות. ממירים הכול לרישום קנוני, בודקים ערכיות ופוסלים מבנים פגומים — אחרת המודל לומד על רעש.
- יצירת מאפיינים של המולקולה. מחשבים דסקריפטורים וטביעות אצבע, מוסיפים מאפייני סביבה. בנפרד שולטים בפיצול: תרכובות מאותה סדרה לא צריכות להיכנס גם לאימון וגם לבדיקה.
- בדיקת המודל על נתונים מושהים. בודקים לא על מדגם אקראי, אלא על תרכובות לא דומות — לפי סדרות כימיות ושלד molecular. מסתכלים על הטעות לפי תת-קבוצות ועל ההתנהגות בגבולות התקפות: היכן שהמודל אינו תקף, הוא מחזיר סירוב ולא מספר.
- הטמעת המודל בצינור החישובים. עוטפים אותו בשירות עם ולידציית קלט, גרסאות ויומן חיזויים, ומחברים לתהליך הסינון הקיים — התוצאה מגיעה לשם שמשתמשים בה, בלי העברת קבצים ידנית.
- העברה לצוות. מוסרים קונפיגורציות, סכמת מאפיינים, סקריפטים לאימון מחדש ותקנון עדכון המודל על נתונים חדשים.
קונפיגורציות, סכמות ותקנונים: מה מועבר בסיום
ההעברה אינה מסתכמת בארכיון עם משקולות המודל. בלי תיאור המאפיינים, סכמת זרימת הנתונים וכללי הבדיקה, הצוות שלכם לא יוכל לאמן את המודל מחדש על נתונים חדשים ולאשר שחזוריות של חיזויים. לכן את החבילה אנחנו מרכיבים כך שאפשר לקבל אותה לפי רשימה פורמלית ולהריץ בלי ההשתתפות שלנו.
- קוד וסביבה — מאגר עם אימון והפקת חיזויים, תלויות מקובעות והוראות פריסה: הבנייה משחזרת על מכונה נקייה בתשתית שלכם.
- תיעוד המודל — ארכיטקטורה, היפר-פרמטרים, סכמת ולידציה וגבולות תקפות: לאילו מחלקות תרכובות החיזוי יציב, והיכן אינו מהימן.
- מפת נתונים ומאפיינים — מקורות המאגרים, כללי ניקוי, דסקריפטורים, טיפול בערכים חסרים ובחריגים; לפיה משחזרים את המקור של כל חיזוי.
- סכמות זרימת נתונים — המסלול מהעלאת תרכובות ועד לתוצאה, נקודות אחסון ועדכון, התנהגות בעת כשל.
- בקרת איכות של חיזויים — מדגמים מושהים, ספים לפי טעות, בדיקה להסטת התפלגות; בחריגה מהסף האימון מחדש נעצר.
- תקנון אימון מחדש — טריגרים, תדירות, סדר קבלת גרסה חדשה וחזרה לגרסה קודמת.
- הדרכת הצוות — מעבר על הקוד והנתונים, מחזור עדכון ראשון של המודל באופן עצמאי בליווי שלנו.
מקרה בוחן: כיצד צומצמה חלקם של מועמדים כוזבים בחצי
הסינון נעשה ידנית: כימאים עברו על פלט הדוקינג והחליטו לפי ניסיון אילו מולקולות לשלוח לסינתזה. כל מחזור ארך שבועות, וחלק ניכר מהתרכובות נשר לא בגלל פעילות, אלא בגלל בדיקת תכונות — מסיסות, חדירות, רעילות. זה היה סעיף ההפסדים העיקרי.
מה היה לפני ההטמעה
נמדדו שלושה מדדים: שיעור המועמדים הכוזבים (עברו סינון אבל נכשלו בבדיקה מעבדתית), מספר הבדיקות למועמד מאושר אחד וזמן מחזור הסינון. קו הבסיס — 62% מועמדים כוזבים: שתיים מכל שלוש מולקולות שסונתזו לא הגיעו ליעד.
הנתונים היו מפוזרים בטבלאות נפרדות, חלק מהתכונות כלל לא עברו מידול, וההחלטות התקבלו לפי מדד פעילות אחד.
מה שונה
נבנה מאגר אחיד ממקורות פתוחים — כבסיס נלקח ChEMBL — ומארכיונים פנימיים של הלקוח. אומנו מודלים נפרדים לכל תכונת ADMET במקום מודל מוכלל אחד: משימה מעורבת טשטשה את תרומת המאפיינים, והטעות ברעילות גררה אחריה את חיזוי המסיסות.
נוספה הערכת תחום תקפות — אם המולקולה רחוקה ממדגם האימון, המודל אינו מחזיר תשובה בטוחה אלא מסמן אותה כלא מהימנה ושולח לבדיקה ידנית. סף החיתוך כוונן על נתונים היסטוריים כך שימקסם את שיעור האישור, ולא את הכיסוי.
גם התהליך שונה: למעבדה נשלח רק מה שעבר את הסף בכל התכונות בבת אחת, ולא לפי אחת בלבד. הדירוג הוא כעת דו-שלבי — תחילה חיזוי, אחר כך בדיקת היתכנות כימית.
תוצאה
שיעור המועמדים הכוזבים ירד מ-62% ל-29% — בחצי. מספר הבדיקות המעבדתיות למועמד מאושר אחד הצטמצם פי 2.3 באותו היקף סינתזה. מחזור הסינון התכווץ משלושה שבועות למספר ימים, מפני שהסינון העיקרי נעשה לפני המעבדה ולא אחריה. המודלים, כללי הסינון ויומן ההחלטות מקובעים — התוצאה משחזרת על סדרות חדשות של תרכובות.
מה עושים אם כבר יש צינור חישובים משלכם?
צינור חישובים משלכם אינו מכשול אלא עוגן מוכן: יש בו כבר דסקריפטורים מאומתים, ולידציה מכווננת וכללי פסילה מצטברים. לכן אנחנו לא כותבים הכול מחדש, אלא מתחילים במיפוי מלאי: אילו סקריפטים מחשבים מה, היכן מאוחסנים המאגרים ההיסטוריים ואילו הגבלות הוטלו ידנית על ידי מומחים.
ההטמעה נעשית מהצד, ולא במקום: המודל החדש מותקן מאחורי אותו ממשק של החישובים הקיימים — אותם פורמטי מבנים בקלט ואותו פורמט תשובה, ולכן הקוד הקורא נשאר ללא שינוי. את ההרצה הראשונה עושים על מאגרים היסטוריים ומשווים ליומני החישובים הקודמים: כך רואים היכן המודל משתפר והיכן סוטה מהישן.
כדאי למחזר כמעט הכול — דסקריפטורים מחושבים, תוצאות ביניים, תיוג וכללי מומחים: הם משמשים גם כמאפיינים וגם כתקן להשוואה. מודלים ישנים לא זורקים: הם נשארים כבורר במקרים שנויים במחלוקת, עד שהחדש יציג איכות יציבה וטובה יותר.
משימה נפרדת — לשמר את הכללים המצטברים: ספים, הגבלות לפי תת-מבנים, חריגים לפי סדרות. מעבירים אותם לשכבת עיבוד-בת מפורשת ומתארים אותם כקוד עם בדיקות, אחרת הידע נשען על מהנדס אחד ואובד בשינוי הראשון.
המעבר ההדרגתי נעשה בשלבים: תחילה מצב צל, שבו המודל החדש מחשב וההחלטה מתקבלת על ידי הישן; אחר כך הפעלה על קבוצות תרכובות נבחרות; ורק לבסוף — המסלול הראשי עם אפשרות חזרה לחישוב הקודם.
ספקות טכניים: נתונים, דיוק, תקפות
בניתוח המשימה הספקות הטכניים הם בדרך כלל אותם ספקות: האם יספיקו הנתונים, האם אין דליפה בין האימון לבדיקה, כיצד לאחד מדידות ממעבדות שונות ומה לעשות עם תרכובות לא מוכרות. את הפרטים מפרקים על המערך שלכם.
כמה נתונים דרושים כדי שהחיזוי יהיה מהימן?
אנחנו מסתכלים לא על המספר הכולל של רשומות, אלא על מספר הסדרות ועל מגוון המרחב הכימי. אלפי תרכובות עם מדידות עקביות נותנות חיזוי יציב לתכונה אחת, ומאות אנלוגים מאותו סוג לא יחליפו אותן.
כיצד בודקים את המודל מפני אימון יתר ודליפות?
מפצלים את המדגם לפי סדרות כימיות, ולא באופן אקראי, ומסירים מהמאפיינים רמזים עקיפים לתשובה. אם האיכות על סדרות מושהות צונחת בחדות, המודל לא נכנס לפרודקשן.
הנתונים נאספו בשיטות מדידה שונות — מה עושים עם זה?
כל שיטה מסומנת כמקור נפרד ובודקים העברה בין מעבדות. פערים לא מטשטשים על ידי מיצוע, אלא מוצגים כרווח: רואים היכן החיזוי יציב והיכן הוא תלוי במקור.
מה עם תרכובות שמחוץ למערך האימון?
לכל מולקולה מחשבים מרחק מנתוני האימון. אם היא מחוץ לתחום התקפות, המודל מחזיר לא מספר אלא דגל — התרכובת נשלחת לניסוי או למחזור אימון משלים נפרד.
האם המודל יכול להתעדכן באופן עצמאי?
אוטומציה מלאה לא נעשית: הסטה בנתונים עלולה לשבור את החיזוי בשקט. מדידות חדשות מצטברות, האימון מחדש נעשה לפי תקנון, ורק גרסה עם מדדים שאינם גרועים מהקודמת נכנסת לפרודקשן.
נדון במשימה ונחזור עם הערכה ותוכנית
ניתוח המשימה הראשון אורך כשעה ומתנהל לגופו של עניין: מה בדיוק צריך לחזות, על איזה מרחב כימי ואיזו החלטה אתם מקבלים לפי התוצאה. אנחנו לא מתחילים מבחירת המודל — תחילה מקבעים היכן חיזוי ADMET משתלב בתהליך סינון התרכובות שלכם ואיזו שגרה הוא מסיר. להלן מה שמועיל שיהיה בהישג יד בפגישה הזו מצד הלקוח.
- מאגרי נתונים: מבנים עם ערכי תכונות ידועים, באיזו צורה הם מאוחסנים וכמה מכוסים נקודות הקצה הנדרשות.
- רשימת תכונות ADMET הקריטיות לסינון שלכם: מסיסות, חדירות, יציבות מטבולית, רעילות — את סדרי העדיפויות קובעים אתם.
- דרישות לפלט: טבלה עם ערכים ורווחי סמך, דירוג ספריות או פסילה בינארית של מועמדים.
- הגבלות על נתונים: היכן מאוחסנים, מה מותר להעביר, האם נדרשת עבודה בתוך הקונטור שלכם.
- מדד הצלחה במונחים שלכם: שיעור המועמדים הפסולים שאינם ראויים מראש, התאמה של החיזוי לתוצאות המעבדה.
- דוגמאות לתרכובות שהסינון הנוכחי טועה בהן — הן מגדירות את גבולות התקפות של המודל העתידי.
לאחר הניתוח אנחנו חוזרים עם הערכה ותוכנית עבודה: שלבים, מה בודקים על מדגם מושהה, אילו תכונות סוגרים ראשונות. כסעיף נפרד בתוכנית מופיעים גבולות התקפות של הפתרון — לאיזו מחלקת תרכובות החיזוי יציב, היכן המודל יוצא מתחום התפלגות האימון והתוצאה צריכה אישור מעבדתי. התשלום והיקף השלבים נקבעים לפני ההתחלה.
תארו את משימת החיזוי — נחזור עם הערכה ותוכנית.