الذكاء الاصطناعي والاستدلال
استدلال موزَّع مع حماية النموذج
يُشفّر FPGA الأوزان أثناء النقل، ويُنسّق CPU تقديم النموذج (model serving)، وينفّذ GPU الاستدلال.
FPGA
حماية الأوزان والتفعيلات
أعباء العمل
- ▸ تشفير الأوزان أثناء النقل
- ▸ علامة مائية للنموذج
- ▸ مواجهة استخراج النموذج
الأداء
تحميل الأوزان في أقل من 5 ثوانٍ لنموذج 70B
CPU
تقديم النموذج والتوجيه
أعباء العمل
- ▸ vLLM / TensorRT-LLM
- ▸ مُجدوِل الدفعات (Batch scheduler)
- ▸ واجهة برمجية متوافقة مع OpenAI
الأداء
1 000 طلب/ثانية لكل جهاز
GPU
استدلال LLM/الرؤية الحاسوبية
أعباء العمل
- ▸ نماذج Transformer لفك الترميز بحجم 70B
- ▸ نماذج الانتشار (Diffusion models)
- ▸ نماذج LLM متعددة الوسائط
الأداء
300 رمز (token) / ثانية على نموذج 70B
سيناريو متعدّد الوكلاء
يُرسل عميل مُحثّا (prompt): يوجّه CPU الطلب إلى النموذج المناسب، ويفكّ FPGA تشفير الأوزان داخل ذاكرة GPU، ويُجري GPU الاستدلال، ويُعيد FPGA تشفير الاستجابة قبل إرسالها.