جهاز استرجاع MCP مستضاف ذاتيًا لأبحاث الويب واستخراج البيانات للعميل
ماستر-فتش، بواسطة Dondai1234، هو خادم بروتوكول سياق النموذج الذي يمنح وكلاء الذكاء الاصطناعي الوصول المحلي إلى محتوى الويب المباشر لسياق النموذج والبحث. يقوم بجلب الصفحات وإرجاع نصوص نظيفة ونتائج بحث بينما يتعامل مع المواقع الثقيلة على JavaScript وجدران الحماية ضد الروبوتات. يبرز التطبيق التشغيل بدون تكوين، وعدم الحاجة إلى مفاتيح، ومعالجة الوثائق على الجهاز. يحصل المطورون ومستخدمو الذكاء الاصطناعي على خط أنابيب استرجاع خاص ومضيف ذاتيًا للتعريب، واستيعاب الوثائق، وعمليات البحث المدفوعة بواسطة الوكلاء.
ما المهام التي يمكنك استخدامها فعليًا من أجلها؟
يعمل master-fetch كأداة استرجاع توفر مواد مصدر قابلة للقراءة للنماذج السفلية، مع التركيز على ai-text-localization ومهام البحث. تشمل النتائج النموذجية استخراج الوثائق للترجمة، واستخراج صفحات الويب لسلاسل محلية، ورسم محتوى الموقع لطلبات النموذج. أنواع المهام العملية:
- جلب وتنظيف HTML لإدخال النموذج
- الزحف على مستوى الموقع عبر خرائط الموقع
- تحويل PDFs والصور إلى نص للمعالجة
ما مدى موثوقية ونظافة المخرجات المستخرجة؟
تنتج الأداة نصًا جاهزًا للنموذج عن طريق استخدام Trafilatura و lxml لإزالة الإعلانات والنصوص الأساسية، ويمكنها إخراج Markdown أو نص عادي مناسب لسياق الطلب. بالنسبة للوثائق الغنية بالصور، تطبق خط أنابيب OCR محلي يعتمد على ONNX لاستخراج الأحرف. يتضمن المشروع أيضًا خطوة إعادة ترتيب عصبية محلية تعيد ترتيب نتائج البحث، مما يساعد على إعطاء الأولوية لأكثر الصفحات المسترجعة صلة لاستهلاك الوكيل.
ما المدخلات والحدود التشغيلية التي يجب أن تتوقعها؟
تشمل المدخلات المقبولة عناوين URLs، وخرائط مواقع الموقع للزحف العميق، وملفات PDFs أو الصور المرفوعة لـ OCR. يتطلب التثبيت بيئة Python 3.10+ والحزمة (pip install hound-mcp)، ويمكن أن يستخدم الجلب الخفي بشكل اختياري ثنائي Chrome أو Chromium محلي. يتكامل الخادم مع مضيفي MCP مثل Claude Desktop وCursor وOpenCode، وتعمل عملية البحث بدون مفاتيح API خارجية من خلال الاعتماد على استخراج محلي ومنطق توجيه.
هل يتناسب مع سير عمل المطورين دون عبء ثقيل؟
يستهدف التصميم المطورين ومستخدمي الذكاء الاصطناعي الذين يمكنهم استضافة أنفسهم ودمج نقطة نهاية MCP في مجموعات الوكلاء. قام المطور بتنفيذ تصعيد تلقائي بين HTTP، وعرض المتصفح، ووضعيات الجلب الخفي لزيادة الاسترجاعات الناجحة من المواقع المحمية، وتلاحظ المجتمع نقاط القوة في التصعيد التلقائي. نظرًا لأن الخدمة تعمل بالكامل محليًا، يمكن للفرق التي تعطي الأولوية لاحتجاز البيانات دمجها في خطوط أنابيب داخلية قائمة لتوليد سياق النموذج.
من يجب أن يعتمد ذلك ومن يجب أن يبحث في مكان آخر
master-fetch هو خيار موجه للمطورين للفرق التي تبني خطوط البحث أو التوطين المدفوعة بالوكيل ويمكنها تشغيل خادم مستضاف ذاتيًا. إنه يناسب المجموعات التي تعطي الأولوية للتحكم في المواد المستخرجة ويمكنها الحفاظ على خدمة قائمة على بايثون. يجب على المنظمات التي لا تمتلك قدرة هندسية داخلية أو تلك التي تفضل خدمة سكرابنج مدارة وجاهزة أن تنظر في البدائل التي تزيل مسؤولية الاستضافة.
