NER באפליקציות מובייל: חילוץ ישויות מטקסט

import spacy
from spacy.training import Example

# Загрузка базовой русской модели
nlp = spacy.load("ru_core_news_lg")

# Добавление кастомных типов сущностей
ner = nlp.get_pipe("ner")
ner.add_label("PRODUCT_SIZE")
ner.add_label("PRODUCT_COLOR")
ner.add_label("ARTICLE")

# Пример обучения
TRAIN_DATA = [
    ("Хочу найти кроссовки размер 42 в синем цвете артикул 98765", {"entities": [(33, 35, "PRODUCT_SIZE"), (43, 49, "PRODUCT_COLOR"), (59, 64, "ARTICLE")]}),
]

optimizer = nlp.resume_training()
for text, annotations in TRAIN_DATA:
    doc = nlp.make_doc(text)
    example = Example.from_dict(doc, annotations)
    nlp.update([example], sgd=optimizer)

תיעוד רשמי של אימון NER ב-spaCy: https://spacy.io/usage/training#ner

NER מבוסס טרנספורמר דרך Hugging Face

לדיוק גבוה בתחומים מורכבים, אנו משתמשים ב-import spacy from spacy.training import Example # Загрузка базовой русской модели nlp = spacy.load("ru_core_news_lg") # Добавление кастомных типов сущностей ner = nlp.get_pipe("ner") ner.add_label("PRODUCT_SIZE") ner.add_label("PRODUCT_COLOR") ner.add_label("ARTICLE") # Пример обучения TRAIN_DATA = [ ("Хочу найти кроссовки размер 42 в синем цвете артикул 98765", {"entities": [(33, 35, "PRODUCT_SIZE"), (43, 49, "PRODUCT_COLOR"), (59, 64, "ARTICLE")]}), ] optimizer = nlp.resume_training() for text, annotations in TRAIN_DATA: doc = nlp.make_doc(text) example = Example.from_dict(doc, annotations) nlp.update([example], sgd=optimizer) מכוונן עדין עם ראש סיווג טוקנים ומנגנוני קשב. גישה זו איטית יותר מ-spaCy אך מתמודדת עם תלות קונטקסטואלית טוב יותר באופן משמעותי.

from transformers import pipeline

ner_pipeline = pipeline(
    "token-classification",
    model="DeepPavlov/rubert-base-cased-ner",
    aggregation_strategy="simple"
)

def extract_entities(text: str) -> list[Entity]:
    raw_entities = ner_pipeline(text)
    return [
        Entity(
            text=e["word"],
            label=e["entity_group"],
            confidence=e["score"],
            start=e["start"],
            end=e["end"]
        )
        for e in raw_entities
        if e["score"] > 0.7
    ]

כיצד ליישם מחלץ היברידי?

import re
from typing import NamedTuple

class EntityExtractor:
    PHONE_PATTERN = re.compile(r'(?:\+7|8)[\s\-]?\(?\d{3}\)?[\s\-]?\d{3}[\s\-]?\d{2}[\s\-]?\d{2}')
    EMAIL_PATTERN = re.compile(r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b')
    DATE_PATTERN = re.compile(r'\b(\d{1,2})[./](\d{1,2})(?:[./](\d{2,4}))?\b')

    def extract_all(self, text: str) -> dict:
        phones = self.PHONE_PATTERN.findall(text)
        emails = self.EMAIL_PATTERN.findall(text)
        ner_entities = extract_entities(text)
        locations = [e.text for e in ner_entities if e.label in ("LOC", "GPE")]
        persons = [e.text for e in ner_entities if e.label == "PER"]
        return {
            "phones": phones,
            "emails": emails,
            "locations": locations,
            "persons": persons
        }

אינטגרציה ניידת

iOS: NER למילוי טפסים חכמים

// iOS: NER через серверный API с автозаполнением формы
class AddressFormViewModel: ObservableObject {
    @Published var street = ""
    @Published var building = ""
    @Published var apartment = ""
    @Published var deliveryTime = ""

    func parseFromText(_ userText: String) {
        Task {
            let entities = try await nerApi.extract(text: userText)
            await MainActor.run {
                if let address = entities.first(where: { $0.label == "ADDRESS" }) {
                    parseAddressComponents(address.text)
                }
                if let time = entities.first(where: { $0.label == "TIME" }) {
                    deliveryTime = time.text
                }
            }
        }
    }
}

NER במכשיר דרך CoreNLP או TFLite

עבור ישויות תחום פשוטות (SKUs, מידות, צבעים), ניתן לפרוס מודל TFLite NER קומפקטי (< 20 MB) ישירות על המכשיר. זה מסיר השהיה ועובד לא מקוון.

ה-DeepPavlov/rubert-base-cased של אפל עם from transformers import pipeline ner_pipeline = pipeline( "token-classification", model="DeepPavlov/rubert-base-cased-ner", aggregation_strategy="simple" ) def extract_entities(text: str) -> list[Entity]: raw_entities = ner_pipeline(text) return [ Entity( text=e["word"], label=e["entity_group"], confidence=e["score"], start=e["start"], end=e["end"] ) for e in raw_entities if e["score"] > 0.7 ] תומך בסוגי ישויות בסיסיים מחוץ לקופסה עבור טקסטים לטיניים:

let tagger = NLTagger(tagSchemes: [.nameType])
tagger.string = userInput
tagger.enumerateTags(in: userInput.startIndex..<userInput.endIndex, unit: .word, scheme: .nameType, options: [.omitWhitespace]) { tag, range in
    if let tag = tag {
        print("Entity: \(userInput[range]), type: \(tag.rawValue)")
    }
    return true
}

עבור רוסית, import re from typing import NamedTuple class EntityExtractor: PHONE_PATTERN = re.compile(r'(?:\+7|8)[\s\-]?\(?\d{3}\)?[\s\-]?\d{3}[\s\-]?\d{2}[\s\-]?\d{2}') EMAIL_PATTERN = re.compile(r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b') DATE_PATTERN = re.compile(r'\b(\d{1,2})[./](\d{1,2})(?:[./](\d{2,4}))?\b') def extract_all(self, text: str) -> dict: phones = self.PHONE_PATTERN.findall(text) emails = self.EMAIL_PATTERN.findall(text) ner_entities = extract_entities(text) locations = [e.text for e in ner_entities if e.label in ("LOC", "GPE")] persons = [e.text for e in ner_entities if e.label == "PER"] return { "phones": phones, "emails": emails, "locations": locations, "persons": persons } מתפקד גרוע יותר באופן ניכר — אנו משתמשים בו רק כמסנן מקדים או לאפליקציות עם טקסט לטיני.

מה כלול בעבודה

אנו מציעים אינטגרציית NER מלאה לאפליקציה הניידת שלך:

• ניתוח תחום הנושא והגדרת ישויות יעד.
• איסוף וסימון נתוני אימון (מ-500 דוגמאות לכל ישות).
• בחירת ארכיטקטורה: spaCy, טרנספורמר או היברידי.
• פיתוח ואימון מודל.
• אינטגרציה ללקוח הנייד (iOS/Android) דרך API או במכשיר.
• יצירת רכיבי UI חכמים: מילוי אוטומטי של טפסים, הדגשת ישויות, מסנני חיפוש.
• בדיקות על נתונים אמיתיים ואופטימיזציית השהיה.
• תוצרים: תיעוד, ארטיפקטים של מודל (צינורות spaCy או קבצי TFLite), נקודות קצה של API ל-NER, SDK נייד (עטיפות Swift/Kotlin), מפגשי הדרכה לצוות שלך ו-3 חודשי תמיכה.

הערכות לוחות זמנים

אנו עוקבים אחר תהליך אינטגרציה ברור:

1. ניתוח תחום הנושא והגדרת ישויות — יום אחד.
2. איסוף וסימון נתונים — שבוע אחד.
3. בחירת ארכיטקטורה — יום אחד.
4. פיתוח ואימון מודל — שבוע אחד.
5. אינטגרציה ניידת — שבוע אחד.
6. יצירת רכיבי UI — 3 ימים.
7. בדיקות ואופטימיזציה — יומיים.
8. תיעוד והדרכה — יומיים.

• NER בסיסי עם מודל רוסי מוכן + API — 3–5 ימים.
• כוונון עדין על ישויות מותאמות אישית — 1–2 שבועות.
• אינטגרציה מלאה ל-UI הנייד (טפסים חכמים, חיפוש, צ'אטבוט) — 2–3 שבועות.
• מודל במכשיר (TFLite/CoreML) — תוספת של 1–2 שבועות.

יש לנו ניסיון של למעלה מ-6 שנים בפיתוח נייד והשלמנו יותר מ-30 פרויקטי NLP. אנו מבטיחים דיוק גבוה עם מודלים מוסמכים ומספקים אחריות על כל התוצרים. אם אתה צריך אינטגרציית NER לאפליקציה הניידת שלך — צור קשר להערכת פרויקט. נחשב את העלות ולוח הזמנים עבור המקרה שלך ונציע את הפתרון האופטימלי. קבל ייעוץ.