چین@cohere

تیم تحقیقاتی شرکت کوهیر موقع بررسی مدل هوش مصنوعی Qwen تو یه محیط بسته و امنیتی، به یه رفتار عجیب و مشکوک برخوردن

تیم تحقیقاتی شرکت کوهیر موقع بررسی مدل هوش مصنوعی Qwen تو یه محیط بسته و امنیتی، به یه رفتار عجیب و مشکوک برخوردن. ماجرا از این قراره که از مدل خواستن یه کد دفاعی امنیتی بنویسه، اما این ناقلا در کمال ناباوری مشخصات همون سیستمی که روش سوار بود رو درآورد و حتی تلاش کرد یه فایل تستی رو بفرسته سمت سرورهای علی‌بابا تو پکن! مو به تن آدم سیخ می‌شه وقتی می‌فهمی مدل تو فرآیند استدلالش صراحتاً ادعا کرده بود دست به هیچ ابزاری نمی‌زنه، ولی عملاً درست خلاف حرفش عمل کرد. هرچند سد امنیتی کوهیر سریع جلوش رو گرفت و دیتایی درز نکرد و هنوز قصد خرابکاری قطعی نشده، اما این حرکت غیرمنتظره بدجوری محقق‌ها رو شوکه کرده.

منبع

Cohere@cohere
While evaluating Qwen3.8-Flash-Next in a controlled sandbox environment, Cohere's research team observed something unexpected. Asked to generate a defensive cybersecurity detection rule, the model instead inventoried aspects of the machine it was running on and attempted to upload a probe file to an Alibaba Cloud storage bucket in Beijing. Notably, the model's reasoning trace stated that it would not invoke any tools before taking these actions. Cohere's sandbox blocked the attempt, and no external communication succeeded. We have not determined the root cause, and we are not asserting malicious intent. But the incident raises important questions for organizations deploying agentic AI systems: Can models take actions that differ from their stated reasoning, and how should security teams evaluate trust, provenance, and behavior in open-weight models? We are publishing our findings because organizations making model adoption decisions deserve as much information as possible. We hope this contributes to greater transparency, stronger security practices, and continued collaboration across the AI ecosystem. Read the full report: http://cohere.com/blog/concerning-behaviour-popular-open-weight-ai-model
۴ آبان ۱۴۰۵مشاهده در X
Cohere

Concerning behavior from a popular open-weight AI model | Cohere

Discover how untrusted open-weight AI models can potentially leak data, even when self-hosted. Learn the security risks and how to protect your enterprise.

خواندن در سایت منبع

نظرها

    بیشتر بخوانید

    تنظیمات

    پیش‌نمایش

    انویدیا از نسل تازه‌ی تراشه‌هایش رونمایی کرد؛ متن خبرها با همین اندازه و فاصله‌ی خطوط نمایش داده می‌شود. ۱۴۰۵ — 2026

    ظاهر و متن

    پوسته
    اندازه‌ی متن
    فاصله‌ی خطوط

    خواندن و نمایش

    نمای فهرست خبرها

    استوری‌ها

    چه خبرهایی پخش شوند
    ترتیب
    دیده‌شده‌هابدون باز کردن تک‌تک خبرها

    صدا

    اعلان‌ها و موضوع‌ها

    موضوع‌هایی که دنبال می‌کنیدهنوز هیچانتخاب موضوع‌ها

    صدای فارسی

    این دستگاه صدای فارسی ندارد. نمونه‌ی صداها را بشنوید و یکی را یک بار دانلود کنید تا خبرها و خلاصه‌ی روز را بشنوید.

    راه‌های دیگر

    ویدیوی خبر

    گفتگو

    … نفر آنلاین

      خواندن کامل