جوجل وأوبن إيه آي تمنعان جمع محتوى المواقع لتدريب الذكاء الاصطناعي
اتفقت شركات جوجل وأنثروبيك وأوبن إيه آي ومايكروسوفت على الالتزام بتوجيه جديد ضمن ملف robots.txt، يتيح لأصحاب المواقع والناشرين تحديد تفضيلاتهم بشأن جمع محتوى مواقعهم واستخدامه في تدريب نماذج الذكاء الاصطناعي التوليدي.
ويأتي هذا الاتفاق بعد اعتماد الشركات مقترحًا يجري النظر فيه حاليًا داخل فريق مهام هندسة الإنترنت IETF، وهي منظمة معنية بوضع المعايير المفتوحة الخاصة بالإنترنت، وقد أعد المقترح كيفن كيلي، المسؤول التقني عن المعايير في شركة أنثروبيك.
توجيه جديد يمنح المواقع التحكم في محتواها
وأوضحت إعلانات شركتي أوبن إيه آي وجوجل أن أصحاب المواقع يضطرون حاليًا إلى تحديد برامج الزحف الخاصة بكل شركة على حدة، وإضافة قواعد منفصلة لكل مزود خدمة، وهو ما سيعمل المقترح الجديد على تغييره من خلال جعل عدة شركات متخصصة في الذكاء الاصطناعي تتعرف على إشارة موحدة وتلتزم بها.
وبموجب النظام الجديد، سيكون على الناشرين إضافة وكيل مستخدم جديد User-Agent داخل ملف robots.txt، بحيث يكون مخصصًا لمنع استخدام المحتوى في تدريب الذكاء الاصطناعي.
ويظهر التوجيه المقترح بالشكل التالي:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
ومن شأن هذا التوجيه منع برامج الزحف المخصصة لجمع البيانات بهدف تدريب نماذج الذكاء الاصطناعي من الوصول إلى المحتوى الذي يحدد أصحاب المواقع عدم السماح باستخدامه.
كيف يمكن للناشرين تحديد المحتوى المسموح بجمعه؟
يتيح قسم Allow لأصحاب المواقع إمكانية السماح بجمع محتوى أجزاء محددة من صفحاتهم لأغراض تدريب الذكاء الاصطناعي، حتى مع منع الوصول إلى بقية المحتوى.
فعلى سبيل المثال، يمكن للموقع السماح بجمع البيانات الموجودة في قسم خاص بالمواد الصحفية Press Kit، مع منع برامج الزحف من الوصول إلى بقية أجزاء الموقع.
لكن التوجيه الجديد لا يعني منع عمليات الزحف إلى المواقع بصورة كاملة، كما أنه لا يمنع ظهور المحتوى في نتائج بحث جوجل.
فعلى سبيل المثال، ستتعامل جوجل مع هذا التوجيه باعتباره إشارة منع مخصصة لوكيل المستخدم Google-Extended، وهو المسؤول عن الزحف إلى المواقع وجمع المواد التي يمكن استخدامها في تدريب نماذج Gemini التابعة للشركة.
وبالتالي، فإن تطبيق القواعد الجديدة يستهدف تحديدًا استخدام المحتوى في تدريب الذكاء الاصطناعي، وليس إخفاء صفحات المواقع من محركات البحث أو منع ظهورها للمستخدمين.
ومن النقاط المهمة التي أوضحها التقرير أن التوجيه الجديد لن يكون قادرًا على التراجع عن عمليات جمع المحتوى التي نفذتها الشركات بالفعل في الماضي.
فإذا كانت برامج الزحف التابعة لإحدى الشركات قد وصلت إلى صفحة معينة وجمعت محتواها سابقًا، فإن البيانات التي تم الحصول عليها تظل موجودة لدى الشركة.
وبالتالي، فإن القواعد الجديدة ستعمل على منع جمع المحتوى من المواقع أو الصفحات المحددة خلال الفترة المقبلة، لكنها لن تستعيد البيانات التي سبق جمعها.
موعد تطبيق قواعد منع جمع المحتوى
بدأت شركة أنثروبيك بالفعل دعم التوجيه الجديد، بينما أعلنت مايكروسوفت أنها ستبدأ دعمه اعتبارًا من الأول من فبراير 2027.
من جانبها، قالت جوجل إنها ستدعم التوجيه خلال أوائل عام 2027، فيما تعهدت أوبن إيه آي بتطبيق الإشارة الجديدة خلال الأشهر المقبلة.
ويمثل الاتفاق خطوة جديدة نحو وضع آلية موحدة تمنح الناشرين وأصحاب المواقع قدرة أكبر على تحديد كيفية استخدام محتواهم في تدريب نماذج الذكاء الاصطناعي التوليدي، بدلًا من الاضطرار إلى إعداد قواعد منفصلة لكل شركة تقدم خدمات الذكاء الاصطناعي.
تابعوا آخر أخبار بوابة الوفد الإلكترونية عبر نبض
