Chunking

التعريف

تشنكينيج هو عملية تقسيم المستندات الكبيرة إلى أجزاء أصغر وأسهل للإدارة قبل تحويلها إلى ترميزات متجهة. يضمن هذا أن النص يناسب نافذة سياق النموذج ويحسن دقة استرجاع المعلومات في أنظمة الاسترجاع المعزز.

أين تسمعه؟

في خطوط أنابيب معالجة البيانات، أو عند بناء تطبيقات الاسترجاع المعزز، أو عند مناقشة إدخال البيانات في قواعد البيانات المتجهة.

أمثلة

• We need to configure the chunking strategy to split documents by paragraph instead of fixed character counts.نحتاج إلى ضبط استراتيجية التقطيع لتقسيم المستندات حسب الفقرات بدلاً من أعداد الحروف الثابتة.
• Poor chunking can cut sentences in half and ruin the semantic meaning of the retrieved context.التقطيع السيئ قد يقطع الجمل إلى نصفين ويفسد المعنى الدلالي للسياق المسترجع.