چکانش دانش با هدف ساخت مدلهای دانشآموز کمحجم تحت هدایت مدلهای معلم بزرگمقیاس به کار میرود و از این طریق امکان استفاده از شبکههای کارآمدتر را فراهم میسازد. با وجود این، فاصله عملکردی میان معلم و دانشآموز همچنان چشمگیر است، زیرا بخش مهمی از دانش موجود در معلم بهطور کامل به دانشآموز منتقل نمیشود. برای حل این مشکل، در این مقاله مدل چکانش دانش پیشنهادی چندمرحلهای پیشنهاد شده که بهصورت همزمان دانش را از مسیر همترازی ویژگیها و تطبیق لاجیتها منتقل کرده و وابستگیهای میانلایهای شبکه را نیز مدلسازی میکند. این رویکرد سیگنالهای نظارتی دقیقتری تولید کرده و دانشآموز را قادر میسازد بازنماییهای معلم را کاملتر فرا بگیرد. روش پیشنهادی از سه مؤلفه مکمل تشکیل شده است: ماژول توجه سهبعدی که نواحی مهم فضایی و کانالی را برجسته میکند؛ ماژول ماسک خصمانه که زیرفضاهای مفید و غیرمفید را بهصورت تطبیقی جدا میسازد؛ و ماژول تنظیم فضای کروی که توزیع ویژگیهای معلم و دانشآموز را روی ابرکره همراستا میکند. ترکیب این سه ماژول باعث میشود دانشآموز بتواند فضای ویژگی و فضای خروجی معلم را دقیقتر کاوش کند و به بازنماییهای عامتر و پایدارتر دست یابد. آزمایشهای گسترده روی CIFAR-100، STL-10 و TinyImageNet نشان میدهند که روش پیشنهادی در بیشتر پیکربندیها عملکردی بهتر از روشهای پیشرفته موجود ارائه میکند.
