Tensor Cores چیست؟

Tensor Cores یکی از نوآوری‌های مهم شرکت NVIDIA در معماری پردازنده‌های گرافیکی (GPU) است که از معماری Volta (مثل V100) معرفی شد و در نسل‌های بعدی مثل Turing، Ampere و Hopper بهبود یافت.

این هسته‌ها (Cores) به‌طور ویژه برای انجام محاسبات ماتریسی و عملیات ریاضی پیچیده‌ای که در هوش مصنوعی (AI)، یادگیری عمیق (Deep Learning) و محاسبات علمی استفاده می‌شوند طراحی شده‌اند.

ویژگی‌ها و عملکرد Tensor Cores

1. عملیات اصلی
   Tensor Cores در اصل برای محاسبات ماتریس × ماتریس (Matrix Multiply and Accumulate – MMA) طراحی شده‌اند.

   • محاسبه ضرب دو ماتریس

   • جمع نتایج در یک ماتریس خروجی
     این دقیقاً همان چیزی است که در لایه‌های شبکه‌های عصبی (مثل لایه Fully Connected و Convolution) زیاد استفاده می‌شود.

2. دقت‌های مختلف (Precision)

   • FP16 (Half Precision) → سرعت بسیار بالا با مصرف انرژی کمتر

   • TF32 (TensorFloat-32) → دقت بیشتر از FP16، سرعت بالاتر از FP32

   • BF16 (Brain Float-16) → تعادل دقت و سرعت برای یادگیری عمیق

   • INT8 و INT4 → برای استنتاج (Inference) شبکه‌های عصبی با سرعت فوق‌العاده بالا

   • FP64 (در معماری‌های جدید برای HPC)

3. تفاوت با CUDA Cores

   • CUDA Cores: برای محاسبات عمومی روی GPU استفاده می‌شوند.

   • Tensor Cores: بهینه‌سازی شده برای محاسبات ماتریسی و یادگیری عمیق → سرعت بسیار بیشتر در AI/ML.

4. کاربردها

   • آموزش (Training) مدل‌های بزرگ هوش مصنوعی

   • استنتاج (Inference) سریع شبکه‌های عصبی

   • شتاب‌دهی محاسبات علمی (HPC)

   • شبیه‌سازی‌ها و محاسبات عددی سنگین

به زبان ساده:
Tensor Cores شتاب‌دهنده‌های ویژه‌ای در GPUهای NVIDIA هستند که به جای پردازش تک‌به‌تک اعداد مثل CUDA Coreها، می‌توانند کل بلوک‌های ماتریسی را در یک چرخه پردازشی محاسبه کنند. این کار باعث می‌شود الگوریتم‌های یادگیری عمیق چندین برابر سریع‌تر اجرا شوند.