שילוב צ'אטבוט AI עם Jivo, LiveChat ו-Carrot Quest

השקתם צ'אט חי באתר שלכם; לקוחות שואלים את אותן שאלות, והנציגים טובעים בשגרה. ראינו את זה בעשרות פרויקטים: בוט AI מטפל ב-70-80% מהפניות בקו הראשון, ומשאיר משימות מורכבות לבני אדם. אינטגרציה עם Jivo, LiveChat או Carrot Quest היא לא רק "חיבור" API—זה בניית צינור: מקבלת הודעה ועד למתן תשובה משמעותית שמתחשבת בהיסטוריה ובחוקים עסקיים. יש לנו 5 שנות ניסיון באינטגרציות AI ולמעלה מ-100 פרויקטים שהושלמו.

בעיות שאנחנו פותרים

אובדן הקשר בהעברה לנציג

לקוח שוחח עם הבוט במשך 10 דקות—הבוט יודע את כל ההיסטוריה. בהסלמה לנציג, הבוט שולח סיכום קצר, לא את היומן הגולמי. אנו מיישמים זאת עם ConversationSummaryMemory של LangChain הדוחס את השיחה ל-3-4 משפטים. ללא מנגנון זה, הנציג מבזבז זמן בקריאת היומן, ו-NPS יורד ב-15-20%.

זמן תגובה p99 מעל 3 שניות

אם המודל לוקח יותר מ-2.5 שניות להגיב, הלקוח עוזב. הפתרון—קוונטיזציה ל-INT4 ו-vLLM עם אצווה רציפה. בבדיקות עם LLaMA 3 70B, p99 ירד מ-4.2 שניות ל-1.2 שניות—vLLM מספק זמן תגובה נמוך פי 3 מהסקה סטנדרטית. עבור Carrot Quest, אנו מוסיפים מטמון לבקשות תכופות עם Redis (TTL 30 דקות)—מכסה 40% מהשיחות ללא קריאה ל-LLM.

חוקי הסלמה מורכבים

אי אפשר פשוט להעביר הכל. אנו משתמשים במערכת חוקים: אם משתמש שואל "איפה ההזמנה שלי?" שלוש פעמים—הסלמה מיידית, גם עם ביטחון גבוה. או אם הסנטימנט שלילי (ספריית cardiffnlp/twitter-roberta-base-sentiment), הבוט מגיב בנימוס ומציע נציג. תוצאה: הנציג מקבל רק 20% מהלקוחות, כבר עם הקשר.

איך אנו משלבים בוט AI עם Jivo, LiveChat ו-Carrot Quest

מהניסיון שלנו: עבור חנות מקוונת אחת, פרסנו בוט על FastAPI בתוך Kubernetes. מחסנית:

• מודל: OpenAI GPT-4o (טמפרטורה 0.3) עם הנחיית מערכת המתארת את קטלוג המוצרים
• אמבדינגים: text-embedding-3-small (1536 ממדים) עבור RAG על הקטלוג (ChromaDB)
• הסלמה: חוקים המבוססים על langchain עם סף ביטחון של 0.7 ומילות עצירה
• פריסה: SageMaker עם Triton Inference Server המריץ שני מודלים (LLM + אמבדינג)

Jivo שולח וובהוק (ראה להלן), FastAPI מעבד אותו, ומפעיל את שרשרת LangChain. התשובה היא JSON עם שדות event, chat_id, message. זמן עיבוד—1.8 שניות ב-p95.

from fastapi import FastAPI
app = FastAPI()

@app.post("/jivo-webhook")
async def handle_jivo(data: dict):
    event = data.get("event")
    if event == "client_message":
        client_message = data["message"]["text"]
        chat_id = data["chat_id"]
        response = await ai_bot.process(client_message)
        return {
            "event": "bot_message",
            "chat_id": chat_id,
            "message": {"type": "text", "text": response}
        }
    return {"event": "ignore"}

Jivo תומך בכפתורי תשובה מהירה, העברה לנציג (הסלמה), וסטטוס הקלדה. הבוט AI פועל עד שמתקיים תנאי הסלמה.

Carrot Quest API

Carrot Quest היא פלטפורמה פונקציונלית יותר עם בונה בוטים ללא קוד משלה ו-Python SDK. ללוגיקה מותאמת אישית: Webhook Triggers + API לשליחת הודעות.

התכונה של Carrot Quest: נתוני משתמש עשירים—היסטוריית גלישה, אירועי אתר. הבוט AI יכול להתחשב: "צפיתם במוצר X מספר פעמים—רוצים לשאול שאלה?"

מצבי AI בצ'אט חי

כלל מעבר לנציג: בקשה מפורשת + ביטחון AI נמוך + סנטימנט שלילי + תג VIP לקוח מ-CRM.

השוואת מודלים לצ'אט חי

בחירת המודל תלויה בעדיפויות שלכם: איכות מקסימלית או פרטיות נתונים. עבור נתונים סודיים אנו משתמשים במודלים בקוד פתוח עם פריסה מקומית.

איך הבוט AI מחליט מתי להעביר לנציג

מערכת ניקוד: המודל מחזיר ביטחון בתשובה (logprobs). אם מתחת ל-0.7—הסלמה. בנוסף: מילות עצירה ("נציג", "אדם אמיתי"), סנטימנט שלילי (מודל from fastapi import FastAPI app = FastAPI() @app.post("/jivo-webhook") async def handle_jivo(data: dict): event = data.get("event") if event == "client_message": client_message = data["message"]["text"] chat_id = data["chat_id"] response = await ai_bot.process(client_message) return { "event": "bot_message", "chat_id": chat_id, "message": {"type": "text", "text": response} } return {"event": "ignore"} ), יותר משתי שאלות חוזרות של לקוח. הכל ניתן להגדרה לפי החוקים שלכם.

אילו מודלי LLM אנו משתמשים ולמה

קנייניים (GPT-4o, Claude 3.5) לאיכות מקסימלית. קוד פתוח (LLaMA 3 70B, Mistral Large) לנתונים סודיים או להפחתת עלויות. בייצור אנו פורסים דרך vLLM עם קוונטיזציה INT4: זמן תגובה p99 מתחת ל-1.5 שניות על מודלים של 70B. אם יש צורך בכיוונון עדין לתחום ספציפי, אנו משתמשים ב-LoRA ל-2-3 עידנים. בפועל, GPT-4o מטפל ב-90% מהפניות ללא הסלמה, בעוד LLaMA 3 רק ב-75%.

תהליך העבודה

1. אנליטיקה וארכיטקטורה—אנו מנתחים את מאגר הידע שלכם, מגדירים RAG, מתכננים שרשראות LangChain.
2. פיתוח—כותבים קוד אינטגרציה, מגדירים מודלים (כיוונון עדין או LoRA אם צריך), בודקים על שיחות היסטוריות.
3. בדיקות—בדיקת A/B של AI מול נציגים (מדדים: שיחות שנפתרו, CSAT, זמן ממוצע).
4. פריסה—לשרת שלכם או לאשכול הענן שלנו, הגדרת צינור CI/CD דרך GitHub Actions.
5. הדרכה—הוראות לנציגים כיצד להשתלט על הצ'אט וכיצד AI משנה תשובות סטנדרטיות.

הערכות זמנים

אינטגרציה בסיסית (ערוץ אחד, מודל אחד)—החל משבועיים. אם צריך RAG על קטלוג, שני מודלים, מספר ערוצים—עד 4 שבועות. העלות מחושבת באופן אישי, לפי מורכבות ונפח נתונים. אנו מספקים אחריות על קוד (30 ימי תמיכה חינם) ותעודה לפתרונות שבהם השתמשנו, ומבטיחים SLA (זמן תגובה p99 < 2 שניות, זמינות 99.9%).

מה כלול

• תוכנית ארכיטקטונית (PDF)
• קוד מקור של הבוט עם הערות
• הוראות פריסה (Docker Compose, Kubernetes)
• לוח מדדים (Grafana + Prometheus)—טופל/הוסלם/זמן ממוצע
• 30 ימי תמיכה לאחר ההשקה

רוצים לבצע אוטומציה לתמיכה שלכם? צרו קשר לייעוץ והערכת פרויקט ראשונית. הזמינו פיילוט על ערוץ אחד תוך שבועיים.