קלט מולטימודאלי בינה מלאכותית (טקסט+אודיו) באפליקציות מובייל

סקירת קלט מולטימודלי

לעתים קרובות אנו רואים לקוחות שרוצים להוסיף קלט קולי עם תגובת AI לאפליקציה שלהם, אך הם נתקלים במגבלות טכניות לא ברורות. לדוגמה, בעיה נפוצה: המשתמש מכתיב הודעה, אבל המודל לא מבין את ההקשר כי האודיו קטוע או שקצב הדגימה שגוי. נסביר כיצד אנו פותרים בעיות אלה ב-iOS וב-Android באמצעות Whisper API ומודלים מולטימודליים (GPT-4o Audio, Gemini 1.5 Pro). הטמעת קלט מולטימודלי (טקסט+אודיו) באפליקציות AI ניידות דורשת בחירה קפדנית של ממשקי תמלול אודיו וקלט קולי. הניסיון שלנו מראה שבחירת מחסנית נכונה מקצרת את זמן הפיתוח ב-30%. צרו קשר לייעוץ — נעזור לכם לבחור את הנתיב האופטימלי.

מהם שני הנתיבים הארכיטקטוניים?

נתיב 1: STT + LLM. Whisper API או דומה ממיר אודיו לטקסט, שנכנס ל-messages[]. עובד עם כל LLM, זול, צפוי. החיסרון: השהיה כפולה — קודם ממתינים לתמלול (1–3 שניות לקליפ של 30 שניות), ואז לתגובת המודל. המשתמש בוהה במסך 5–10 שניות.

נתיב 2: קלט אודיו טבעי. GPT-4o Audio Preview, Gemini 1.5 Pro מקבלים input_audio ישירות ב-content[]. השהיה נמוכה יותר, המודל "שומע" אינטונציה, הפסקות, מבטא. מגבלה: פורמט — OpenAI דורש PCM16 או MP3, Gemini — FLAC, MP3, WAV, OGG. נדרשת המרה במכשיר.

קלט אודיו טבעי עולה על STT+LLM פי 2–3 בהשהיית תגובה לשיחה חיה. במדדים שלנו, קלט אודיו טבעי מהיר ב-60% מ-STT+LLM לפקודות קוליות טיפוסיות.

איך לבחור בין STT+LLM לבין קלט אודיו טבעי?

אם האפליקציה שלכם זקוקה לעוזר קולי מהיר עם מודעות לאינטונציה — בחרו בקלט אודיו טבעי. לתמלול הקלטות ארוכות או כשהמודל עדיין לא תומך באודיו — השתמשו ב-STT+LLM. אנו עוזרים להחליט בשלב הביקורת.

איך להקליט אודיו ללא באגים?

ב-Android

לכידה באמצעות MediaRecorder היא פשוטה, אבל AudioRecord נדרש כשצריך PCM בזמן אמת (סטרימינג ל-Whisper דרך WebSocket). MediaRecorder שומר לקובץ — נוח להודעות קוליות קצרות, לא נוח לסטרימינג חי. קריסה טיפוסית: IllegalStateException: start called in invalid state — קריאה ל-start() לפני prepare() או start() חוזר ללא reset(). אל תשכחו לשחרר ב-onPause(), אחרת אפליקציות אחרות יאבדו את המיקרופון.

ב-iOS

AVAudioEngine לסטרימינג PCM, AVAudioRecorder לקבצים. הבעיה שכולם נתקלים בה היא הגדרת AVAudioSession. לפי Apple Developer Documentation, אם לא מגדירים את קטגוריית .record לפני ההתחלה, ההקלטה תהיה שקטה או תעבור דרך הרמקול במקום המיקרופון. וכבר מ-iOS 17, נדרש NSMicrophoneUsageDescription אפילו לסימולטור. הפורמט ברירת המחדל של AVAudioRecorder הוא CAF. Whisper לא מקבל את זה. צריך להמיר דרך AVAssetExportSession (אסינכרוני, מוסיף השהיה) או להגדיר AVAudioRecorder לשימוש ב-M4A/FLAC מההתחלה.

הטמעת STT בסטרימינג

לתמלול חי (המשתמש מדבר — טקסט מופיע על המסך), אנו משתמשים ב-WebSocket ל-Whisper Streaming או Deepgram. ב-Android:

val audioRecord = AudioRecord(
    MediaRecorder.AudioSource.MIC,
    16000, // 16kHz — оптимум для Whisper
    AudioFormat.CHANNEL_IN_MONO,
    AudioFormat.ENCODING_PCM_16BIT,
    bufferSize
) // чанки по 100мс → WebSocket → partial transcripts

קצב דגימה של 16 קילו-הרץ מספיק לדיבור ומשתמש בחצי מהנתונים בהשוואה ל-44.1 קילו-הרץ. ב-iOS המקבילה היא val audioRecord = AudioRecord( MediaRecorder.AudioSource.MIC, 16000, // 16kHz — оптимум для Whisper AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT, bufferSize ) // чанки по 100мс → WebSocket → partial transcripts עם AVAudioEngine.

חשוב: יש להקים מחדש את ה-WebSocket בעת אובדן רשת. installTap(onBus:) ב-Android כולל קריאה חוזרת OkHttp WebSocket — הטמיעו exponential backoff עם מקסימום 3 ניסיונות, אחרת המשתמש לא יבין שהחיבור נותק.

שליחת קובץ אודיו למודל מולטימודלי

// iOS — отправка аудио в GPT-4o Audio
let audioData = try Data(contentsOf: recordingURL)
let b64 = audioData.base64EncodedString()
let payload: [String: Any] = [
    "model": "gpt-4o-audio-preview",
    "messages": [[
        "role": "user",
        "content": [
            ["type": "text", "text": userText],
            ["type": "input_audio", "input_audio": [
                "data": b64,
                "format": "mp3"
            ]]
        ]
    ]]
]

מגבלת גודל האודיו של OpenAI היא 25 MB. הקלטה של 30 דקות ב-MP3 128kbps היא ~28 MB — זה לא נכנס. לתוכן ארוך, צריך לחתוך לקטעים של 10–15 דקות או לתמלל מראש עם Whisper. פרטים ב-OpenAI Audio API.

מה כלול בעבודת האינטגרציה?

• ביקורת של המחסנית הנוכחית ופלטפורמות היעד
• בחירת נתיב ארכיטקטוני (STT+LLM או קלט אודיו טבעי)
• פיתוח לכידת אודיו תוך התחשבות במאפייני הפלטפורמה
• אינטגרציה של STT או API מולטימודלי עם טיפול בשגיאות
• ממשק משתמש לתמלולים חלקיים ומצב הקלטה
• תיעוד והוראות להמשך פיתוח
• בדיקות על מכשירים אמיתיים עם מיקרופונים שונים

הוראות שלב-אחר-שלב ל-MVP

1. בחרו את הנתיב הארכיטקטוני (STT+LLM או קלט אודיו טבעי) לפי התרחיש שלכם.
2. הטמיעו לכידת אודיו עם שיקולים ספציפיים לפלטפורמה (קטגוריות סשן, פורמט, סטרימינג).
3. שלבו STT או API מולטימודלי עם טיפול בשגיאות והקמת חיבור מחדש.
4. הוסיפו ממשק משתמש להצגת תמלולים חלקיים ומצב הקלטה.
5. בדקו על מכשירים אמיתיים עם מיקרופונים ורמות רעש שונות.