ייבוא יעיל של CSV, Excel ו-XML עם אימות ודוחות

ייבוא CSV, Excel ו-XML: הגדרה עם ולידציה ודוחות

ייצוא אלפי פריטים מ-Excel למסד נתונים: ה-INSERT הסטנדרטי נכשל בשורה 500, המשתמש רואה "שגיאת שרת." הספק שולח מחירון ב-XML — המערכת לא מצליחה לנתח תגים לא סטנדרטיים. אם אתם נתקלים בבעיות כאלה, צרו קשר — נמצא פתרון עבור המחסן הטכנולוגי שלכם. אנו מגדירים ייבוא עם תצוגה מקדימה, ולידציה לכל שורה, ודוח שגיאות מפורט. בפרויקטים עם יותר מ-100,000 שורות, אנו משתמשים בעיבוד מקובץ ותורים ברקע כדי לא לחסום את השרת. כתוצאה מכך, המשתמש מקבל משוב ברור ויכול לתקן שגיאות תוך דקות. מקרים טיפוסיים: ייבוא קטלוג מוצרים מקובץ Excel של ספק, טעינת אנשי קשר מ-CSV, סנכרון מחירים ממחירוני XML של 1C.

בעיות שאנו פותרים

נתונים הטרוגניים. קובץ CSV אחד מכיל רווחים מיותרים, אחר משתמש בנקודה-פסיק במקום פסיקים. קובצי Excel עשויים להכיל נוסחאות, תווים נסתרים וקידודים לא סטנדרטיים. XML של 1C כולל לעיתים מבנה תגים משלו. ללא הכנה, לא ניתן לעבד קבצים אלה.

נפחים עצומים. ייבוא 100,000 שורות באמצעות INSERT פשוט הורג את השרת. יש צורך בטעינה מקובצת ותורי רקע. אנו משתמשים בקבוצות של 500 שורות ותורים כמו RabbitMQ או Redis, ומטפלים בעד 200,000 שורות בבת אחת ללא פסקי זמן.

חוסר משוב. המשתמש מעלה את הקובץ ומחכה. אם משהו משתבש, לא ברור אילו שורות נכשלו ולמה. אנו מוסיפים דוח שלב-אחר-שלב: מספר שיובאו, מספר עם שגיאות, פירוט לכל שורה. לדוגמה, דוח עשוי להראות 100 שיובאו בהצלחה ו-5 שגיאות עם פרטי שורה ושדה.

איך אנחנו עושים את זה

Laravel: ייבוא באמצעות Laravel Excel

// Импорт пользователей из CSV/Excel
class UsersImport implements ToModel, WithHeadingRow, WithValidation, SkipsOnError
{
    use Importable, SkipsErrors;

    private int $imported = 0;
    private int $failed = 0;

    public function model(array $row): ?User
    {
        $this->imported++;

        return User::firstOrCreate(
            ['email' => $row['email']],
            [
                'name' => $row['name'],
                'phone' => $row['phone'] ?? null,
                'password' => bcrypt(Str::random(16)),
            ]
        );
    }

    public function rules(): array
    {
        return [
            'email' => 'required|email',
            'name' => 'required|string|max:255',
            'phone' => 'nullable|string|max:20',
        ];
    }

    public function customValidationMessages(): array
    {
        return [
            'email.required' => 'Колонка email обязательна',
            'email.email' => 'Некорректный формат email в строке :attribute',
        ];
    }

    public function onError(\Throwable $e): void
    {
        $this->failed++;
        Log::warning('Import row failed', ['error' => $e->getMessage()]);
    }

    public function getStats(): array
    {
        return ['imported' => $this->imported, 'failed' => $this->failed];
    }
}

// Controller
class ImportController extends Controller
{
    public function store(Request $request): JsonResponse
    {
        $request->validate([
            'file' => 'required|file|mimes:csv,xlsx,xls|max:10240',
        ]);

        $import = new UsersImport();
        Excel::import($import, $request->file('file'));

        return response()->json([
            'message' => 'Импорт завершён',
            'stats' => $import->getStats(),
            'errors' => $import->errors()->map(fn($e) => $e->getMessage()),
        ]);
    }
}

ייבוא מקובץ לקבצים גדולים

class LargeProductsImport implements ToModel, WithChunkReading, WithHeadingRow {
    public function chunkSize(): int {
        return 500;
    }

    public function model(array $row): Product {
        return new Product([
            'sku' => $row['sku'],
            'name' => $row['name'],
            'price' => (float) str_replace(',', '.', $row['price']),
            'stock' => (int) $row['stock'],
            'category_id' => Category::getIdByName($row['category']),
        ]);
    }
}

// Асинхронно в очереди
Excel::queueImport(new LargeProductsImport(), $request->file('file'));

Node.js: ניתוח CSV

import { parse } from 'csv-parse';
import { createReadStream } from 'fs';
import { pipeline } from 'stream/promises';

interface UserRow {
  email: string;
  name: string;
  phone?: string;
}

async function importUsersFromCsv(filePath: string): Promise<{ imported: number; failed: number }> {
  let imported = 0;
  let failed = 0;
  const batch: UserRow[] = [];
  const BATCH_SIZE = 100;

  const parser = parse({
    columns: true, // первая строка — заголовки
    skip_empty_lines: true,
    trim: true,
    delimiter: [',', ';'], // автоопределение разделителя
    bom: true, // убрать UTF-8 BOM
  });

  const processBatch = async () => {
    if (batch.length === 0) return;
    const rows = [...batch];
    batch.length = 0;
    try {
      await db.user.createMany({
        data: rows.map(row => ({
          email: row.email.toLowerCase(),
          name: row.name,
          phone: row.phone || null,
        })),
        skipDuplicates: true,
      });
      imported += rows.length;
    } catch (err) {
      failed += rows.length;
      console.error('Batch insert failed:', err);
    }
  };

  for await (const record of createReadStream(filePath).pipe(parser)) {
    if (!record.email || !record.name) {
      failed++;
      continue;
    }
    batch.push(record);
    if (batch.length >= BATCH_SIZE) await processBatch();
  }
  await processBatch(); // последний неполный батч

  return { imported, failed };
}

ייבוא XML (מחירונים, B2B)

class XmlPriceImport {
    public function import(string $filePath): array {
        $xml = simplexml_load_file($filePath, 'SimpleXMLElement', LIBXML_NOCDATA);
        if ($xml === false) {
            throw new \InvalidArgumentException('Некорректный XML файл');
        }
        $products = [];
        foreach ($xml->offers->offer as $offer) {
            $products[] = [
                'sku' => (string) $offer['id'],
                'name' => (string) $offer->name,
                'price' => (float) $offer->price,
                'url' => (string) $offer->url,
            ];
        }
        // Пакетное обновление
        foreach (array_chunk($products, 200) as $chunk) {
            Product::upsert($chunk, ['sku'], ['name', 'price', 'url']);
        }
        return ['total' => count($products)];
    }
}

איך לטפל בכפילויות וליצור דוחות?

כפילויות הן בעיה נפוצה. ב-Laravel אנו משתמשים ב-// Импорт пользователей из CSV/Excel class UsersImport implements ToModel, WithHeadingRow, WithValidation, SkipsOnError { use Importable, SkipsErrors; private int $imported = 0; private int $failed = 0; public function model(array $row): ?User { $this->imported++; return User::firstOrCreate( ['email' => $row['email']], [ 'name' => $row['name'], 'phone' => $row['phone'] ?? null, 'password' => bcrypt(Str::random(16)), ] ); } public function rules(): array { return [ 'email' => 'required|email', 'name' => 'required|string|max:255', 'phone' => 'nullable|string|max:20', ]; } public function customValidationMessages(): array { return [ 'email.required' => 'Колонка email обязательна', 'email.email' => 'Некорректный формат email в строке :attribute', ]; } public function onError(\Throwable $e): void { $this->failed++; Log::warning('Import row failed', ['error' => $e->getMessage()]); } public function getStats(): array { return ['imported' => $this->imported, 'failed' => $this->failed]; } } // Controller class ImportController extends Controller { public function store(Request $request): JsonResponse { $request->validate([ 'file' => 'required|file|mimes:csv,xlsx,xls|max:10240', ]); $import = new UsersImport(); Excel::import($import, $request->file('file')); return response()->json([ 'message' => 'Импорт завершён', 'stats' => $import->getStats(), 'errors' => $import->errors()->map(fn($e) => $e->getMessage()), ]); } } או class LargeProductsImport implements ToModel, WithChunkReading, WithHeadingRow { public function chunkSize(): int { return 500; } public function model(array $row): Product { return new Product([ 'sku' => $row['sku'], 'name' => $row['name'], 'price' => (float) str_replace(',', '.', $row['price']), 'stock' => (int) $row['stock'], 'category_id' => Category::getIdByName($row['category']), ]); } } // Асинхронно в очереди Excel::queueImport(new LargeProductsImport(), $request->file('file')); ; ב-Node.js, import { parse } from 'csv-parse'; import { createReadStream } from 'fs'; import { pipeline } from 'stream/promises'; interface UserRow { email: string; name: string; phone?: string; } async function importUsersFromCsv(filePath: string): Promise<{ imported: number; failed: number }> { let imported = 0; let failed = 0; const batch: UserRow[] = []; const BATCH_SIZE = 100; const parser = parse({ columns: true, // первая строка — заголовки skip_empty_lines: true, trim: true, delimiter: [',', ';'], // автоопределение разделителя bom: true, // убрать UTF-8 BOM }); const processBatch = async () => { if (batch.length === 0) return; const rows = [...batch]; batch.length = 0; try { await db.user.createMany({ data: rows.map(row => ({ email: row.email.toLowerCase(), name: row.name, phone: row.phone || null, })), skipDuplicates: true, }); imported += rows.length; } catch (err) { failed += rows.length; console.error('Batch insert failed:', err); } }; for await (const record of createReadStream(filePath).pipe(parser)) { if (!record.email || !record.name) { failed++; continue; } batch.push(record); if (batch.length >= BATCH_SIZE) await processBatch(); } await processBatch(); // последний неполный батч return { imported, failed }; } ב-class XmlPriceImport { public function import(string $filePath): array { $xml = simplexml_load_file($filePath, 'SimpleXMLElement', LIBXML_NOCDATA); if ($xml === false) { throw new \InvalidArgumentException('Некорректный XML файл'); } $products = []; foreach ($xml->offers->offer as $offer) { $products[] = [ 'sku' => (string) $offer['id'], 'name' => (string) $offer->name, 'price' => (float) $offer->price, 'url' => (string) $offer->url, ]; } // Пакетное обновление foreach (array_chunk($products, 200) as $chunk) { Product::upsert($chunk, ['sku'], ['name', 'price', 'url']); } return ['total' => count($products)]; } } . האסטרטגיה תלויה בלוגיקה העסקית: לפעמים יש לעדכן כפילויות, לפעמים לדלג עליהן. אנו מגדירים טיפול אישית. עבור קטלוג מוצרים, אנו מעדכנים לעיתים קרובות מחיר ומלאי, ויוצרים רשומה רק אם SKU חסר. זה מקטין את זמן הייבוא ב-20% ומבטל כפילויות.

ללא דוח, המשתמש עיוור. ייבוא טוב מחזיר לא רק "הצלחה/שגיאה" אלא רשימה של שורות בעייתיות: "שורה 3: אימייל לא תקין", "שורה 7: מחיר אינו מספר". זה מאפשר תיקון מהיר של קובץ המקור וייבוא מחדש. אנו יוצרים דוח בפורמט JSON או CSV עם שדות: מספר שורה, שדה, הודעת שגיאה. כתוצאה מכך, טעינה טיפוסית של 10,000 שורות אורכת 30 שניות, מתוכן 5 שניות לוולידציה והכנת דוח, וחוסכת 60% מזמן העיבוד בהשוואה לייבוא נאיבי.

דוגמת דוח:

{
  "total": 10005,
  "imported": 10000,
  "failed": 5,
  "errors": [
    {
      "row": 3,
      "field": "email",
      "message": "Некорректный email: not-an-email"
    },
    {
      "row": 7,
      "field": "price",
      "message": "Цена должна быть числом"
    }
  ]
}

איזה מחסן טכנולוגי לבחור: Laravel או Node.js?

לפי ההערכות שלנו, Laravel Excel מהיר פי 3 ליישום מ-Node.js למשימות סטנדרטיות, אבל Node.js נותן שליטה מלאה בזיכרון — קריטי לקבצים מעל 500,000 שורות. בחירת המחסן הטכנולוגי תלויה בנפח הנתונים ובדרישות מהירות הפיתוח.

תהליך ולוח זמנים

1. ניתוח — לימוד מבני קבצים, חוקים עסקיים, תדירות ייבוא.
2. עיצוב — בחירת מחסן טכנולוגי, הגדרת אסטרטגיית טיפול בכפילויות ושגיאות.
3. יישום — כתיבת ייבוא עם ולידציה, קבוצות, דוח.
4. בדיקות — ריצה על נתונים אמיתיים (10–100,000 שורות), בדיקת מקרי קצה.
5. השקה והדרכה — עלייה לייצור, מסירת תיעוד.

ייבוא CSV/Excel עם ולידציה עבור Laravel או Node.js: 2–3 ימים. עם עיבוד מקובץ, דוח שגיאות מפורט ותמיכה ב-XML: 3–5 ימים. לוחות הזמנים עשויים להשתנות בהתאם למורכבות הלוגיקה העסקית. בדרך כלל אנו עומדים ב-4 ימים לפתרון טיפוסי עם שלושה פורמטים.

עלות האינטגרציה מחושבת בנפרד, בהתאם לנפחים ולמורכבות. אנו מפחיתים עלויות עיבוד נתונים בעד 30% באמצעות אוטומציה, וחוסכים ללקוחותינו בממוצע $2,000 לחודש על הזנת נתונים ידנית.

היקף העבודה וההכנה

• תיעוד על פורמטים והגדרות ייבוא.
• הדרכת צוות על ממשק הייבוא.
• תמיכה למשך שבועיים לאחר ההשקה.
• מוכנות לשינויים לתמיכה בפורמטים חדשים.

רשימת בדיקה: הכנה לייבוא

• שדות חובה: קביעה אילו שדות חובה ואילו יכולים להיות ריקים.
• אסטרטגיית טיפול בכפילויות: דילוג, עדכון או חסימה.
• גודל קובץ מקסימלי: האם יש צורך בעיבוד תור ברקע.
• פורמט דוח שגיאות: CSV, JSON או ממשק.
• צורך בתצוגה מקדימה לפני ייבוא.

הניסיון שלנו ביישום ייבוא — מעל 20 פרויקטים, מקטלוגים פשוטים ועד פורטלי B2B עם מחירונים. אנו מבטיחים שלאחר ההגדרה תוכלו לטעון כל נתון ללא כאבי ראש. לקבלת ייעוץ והערכת הפרויקט שלכם — צרו קשר, נגיב תוך יום ונספק דוגמת ארכיטקטורה.