عیب‌یابی هوش مصنوعی؛ ابزاری تازه، خطاهای پنهان در آموزش مدل‌های پیچیده را کشف می‌کند

شفقنا – تصور کنید در حال ساختن یک مدل هوش مصنوعی قدرتمند هستید و ساعت‌ها و هزینه‌های زیادی را صرف آموزش آن می‌کنید، اما بدون اینکه متوجه شوید، خطایی کوچک و پنهان در پس‌زمینه در حال کار است. این خطاهای «خاموش» عملکرد مدل را به‌آرامی کاهش می‌دهند و منابع باارزش شما را هدر می‌دهند. اکنون، پژوهشگران، یک ابزار منبع‌باز جدید به نام «ترین‌چک» توسعه داده‌اند که دقیقاً برای شناسایی این خطاهای دشوار طراحی شده است.

به گزارش سرویس ترجمه شفقنا، «ترین‌چک» که در دانشگاه میشیگان توسعه یافته است، رویکردی نوین برای شناسایی این خطاهای پنهان ارائه داده است. رایان هوانگ، استاد علوم کامپیوتر و مهندسی در دانشگاه میشیگان و نویسنده ارشد این مطالعه می‌گوید: با توسعه ترین‌چک، هدف ما این است که توسعه‌دهندگان را به ابزارهای بهتری برای رفع خطاهای خاموش مجهز کنیم و در نهایت، سیستم‌های هوش مصنوعی قوی‌تری را ممکن سازیم.

روش‌های فعلی برای نظارت بر آموزش یادگیری عمیق، به سیگنال‌های سطح بالا مانند «Loss» (میزان خطای پیش‌بینی‌های مدل نسبت به پاسخ صحیح)، «Accuracy» (درصد پاسخ‌های صحیح) و «Gradient Norms» (میزان تغییر پارامترهای مدل در هر گام آموزشی) متکی هستند. مشکل اینجاست که این معیارها «پر سر و صدا» هستند؛ به طور طبیعی در طول آموزش نوسان می‌کنند و همین امر تمایز بین تغییرات عادی و یک مشکل واقعی را بسیار دشوار می‌سازد.

به عنوان مثال، در آموزش مدل BLOOM-176B LLM شرکت هاگینگ‌فیس، یک خطای خاموش به دلیل عدم ایجاد تغییرات آشکار در Loss یا Accuracy نادیده گرفته شد. این باگ باعث شد مدل‌های نهایی آموزش‌دیده غیرقابل استفاده شوند، در نتیجه ماه‌ها محاسبات پرهزینه به هدر رفت.

رویکرد جدید ترین‌چک بر «ثبات آموزشی» تکیه دارد؛ این‌ها قوانینی هستند که باید در طول فرآیند آموزش ثابت بمانند. این چارچوب به طور مداوم مواردی که باید ثبات داشته باشند را پایش می‌کند، بلافاصله در مورد انحرافات به توسعه‌دهندگان هشدار می‌دهد و اطلاعات اشکال‌زدایی دقیقی را برای کمک به یافتن ریشه مشکل ارائه می‌دهد. این یک گام بزرگ رو به جلو نسبت به روش‌های سطح بالا قبلی است که حتی اگر مشکلی شناسایی می‌شد، نمی‌توانستند علت اصلی آن را پیدا کنند.

تیم تحقیقاتی ترین‌چک را روی ۲۰ خطای خاموش واقعی آزمایش کرد و عملکرد آن را با چهار روش تشخیص موجود مقایسه نمود. ترین‌چک با موفقیت ۱۸ مورد از ۲۰ خطای خاموش را شناسایی کرد، در حالی که با روش‌های قبلی تنها دو مورد را شناسایی کردند. تشخیص‌ها نشان داد که از ۱۸ خطای شناسایی شده توسط ترین‌چک، گزارش‌های نقض در ۱۰ مورد ریشه دقیق مشکل را پیدا کرده و در ۸ مورد دیگر نزدیک به ریشه مشکل را بومی‌سازی کرده‌اند.

نتایج قوی نشان می‌دهد که ترین‌چک می‌تواند در چارچوب‌های مختلف یادگیری ماشین ادغام شود و ابزاری فعال را برای جلوگیری از خطاها در اختیار توسعه‌دهندگان قرار دهد. با ارائه تشخیص زودهنگام خطاهای خاموش، این ابزار هدر رفت منابع را به حداقل می‌رساند و دقت و پایداری مدل را افزایش می‌دهد.

این خبر را اینجا ببینید.