هوش مصنوعی محلی شماره ۴: حواستان به کلاهبرداری‌های لوکال باشد!

تا حالا شده براتون این سوال پیش بیاد که هوش مصنوعی لوکال واقعاً یعنی چی؟ این روزها اصطلاح «هوش مصنوعی محلی» یا همون Local AI معنی‌های عجیبی پیدا کرده! بعضی‌وقت‌ها مدل هوش مصنوعی داره روی خود کامپیوتر شخصی شما اجرا میشه، اما بعضی‌وقت‌ها فقط اپلیکیشن شما لوکاله و مدل اصلی و چت‌هاتون توی سرورهای ابری یک جای دیگه پردازش میشن! خیلی از این ابزارهای به‌اصطلاح «لوکال» فریبکارند و واقعاً آفلاین نیستند.

قبل از اینکه دست به کار بشید و هر ابزار لوکالی رو نصب کنید، باید سه تا سوال اساسی بپرسید: پردازش یا همون inference دقیقاً کجا انجام میشه؟ چه اکانت یا سرویس شبکه‌ای هنوز برای کارکردنش نیازه؟ و لایسنس نرم‌افزار به شما چه اجازههایی میده؟ بهترین ابزار لوکال اون ابزاریه که هیچ‌کدام از این وابستگی‌ها رو نداشته باشه و کاملاً مستقل روی سیستم شما نفس بکشد!

\n\n

\n\n

توی آزمایشگاه من چی می‌گذره؟

تیم It’s FOSS بالاخره سرور چت داخلی خودش رو از Discord به Buzz منتقل کرد. Buzz که توسط جک دورسی (همون بنیان‌گذار معروف توییتر) توسعه داده شده، یک ابزار ارتباطی غیرمتمرکز هم برای انسان‌ها و هم برای هوش مصنوعی یا همون Agentهاست. البته این ابزار هم بی‌نقص نیست؛ مثلاً اسکرین‌شات‌های Clipboard توی چت کپی نمیشن و نوتیفیکیشن‌های دسکتاپ فقط برای پیام‌های خصوصی میان. ولی خب، فعلاً که قابل تحمله!

ابزارهای جدید هوش مصنوعی که باید بشناسید

ریک تیمیس (Rick Timmis)، توسعه‌دهنده معروف کوبونتو، داره روی پروژه‌ای به نام Klara کار می‌کنه. Klara یک دستیار هوش مصنوعی دسکتاپ لوکال برای محیط KDE Plasma هست که هدفش کنترل دسکتاپ از طریق دستورات صوتیه. البته این پروژه هنوز در دست توسعه (Work in progress) هست.

از طرفی، پروژه OpenMuse یک اپلیکیشن personal-agent با لایسنس MIT است که شامل یک مرورگر worker، کارهای ماندگار (durable tasks) و یک لینوکس مجازی مبتنی بر Docker میشه. شما می‌تونید این ابزار رو روی سرور خودتون میزبانی کنید، اما راه‌اندازی اون هنوز به یک کلید CopilotKit Intelligence نیاز داره و کارهای پیچیده رو به صورت پیش‌فرض می‌فرسته سراغ سرویس‌های ابری! پس حواتون باشه، این یک نرم‌افزار خودمیزبان (Self-hosted) هست، نه یک Agent کاملاً آفلاین و مطمئن.

گرفتن مدرک MCP چطوره؟

لینوکس ف بنیاد لینوکس (The Linux Foundation) حالا دوره‌ها و گواهینامه‌های تخصصی هوش مصنوعی ارائه میده. مدرک Model Context Protocol Associate می‌تونه برای کسانی که دارن قابلیت‌های MCP رو توسعه میدن یا می‌خوان یک مدرک معتبر توی رزومه‌شون داشته باشند، خیلی جذاب باشه. من خودم قصد دارم برای یادگیری مهارت‌های جدید هم که شده، این امتحان رو بدم!

آخرین اخبار مدل‌های متن‌باز (Open Model)

ابزار OpenDecider یک کاربرد ساده‌تر و جمع‌وجورتر برای مدل‌های لوکال ارائه میده: به جای نوشتن پاسخ‌های طولانی، به سوالات محدود و مشخص جواب میده (مثلاً اینکه یک تیکت پشتیبانی دقیقاً باید به کدام صف هدایت بشه). مدل نانوی این ابزار حدود 400 میلیون پارامتر داره و مدل کوچک‌تر 4B اون بر پایه Qwen ساخته شده. توسعه‌دهنده این پروژه میگه هر دو مدل از مدل‌های بزرگ‌تر استخراج (Distill) شدن و حجم مصرفی اونها حدود 2.0 گیگابایت برای نسخه نانو و 8.9 گیگابایت برای نسخه کوچک‌تر گزارش شده.

نتیجه اخلاقی؟ شما همیشه به یک مدل غول‌پیکر و سنگین برای کارهای روتین نیاز ندارید! یک مدل کوچک‌تر و دانشجویی می‌تونه مثل یک فیلتر هوشمند قبل از یک Agent کندتر عمل کنه.

نگاهی به غول‌های فناوری (Big Tech Watch)

شرکت انویدیا (NVIDIA) توی اطلاعیه ماه سپتامبر خودش قول داده که راه‌اندازی مدل‌های لوکال توی ابزارهای Hermes و OpenClaw خیلی راحت‌تر بشه. نسخه تک‌کلیکی Hermes روی ویندوز عرضه شده و نسخه لینوکس اون هم «به‌زودی» از راه می‌رسه. حواتون باشه این نسخه آینده رو با نسخه بتا PAIR لینوکس که همین الان در دسترسه قاطی نکنید!

انویدیا همچنین ادعا کرده که بهینه‌سازی‌های llama.cpp روی کارت گرافیک RTX 5090 می‌تونه سرعت پردازش رو تا 1.9 برابر افزایش بده. البته یادتون باشه این یک آمار تبلیغاتی از طرف سازنده روی سخت‌افزار خاصه و نباید انتظار داشته باشید روی سیستم معمولی خودتون هم دقیقاً همین سرعت رو بگیرید!

اصطلاح تخصصی هوش مصنوعی: Distillation (تقطیر)

تصور کنید یک معلم غول‌پیکر، فوق‌العاده باهوش و همه‌فن‌حریف دارید که همه‌چیز رو درباره دنیا می‌دونه. مغز این معلم این‌قدر بزرگه که فقط توی یک ساختمان مدرسه بزرگ جا میشه!

عملیات Distillation توی هوش مصنوعی دقیقاً مثل همینه؛ معلم بزرگ تمام رازها و دانش خودش رو به یک بچه کوچک‌تر (دانش‌آموز) منتقل می‌کنه.

به جای اینکه بچه مجبور باشه میلیون‌ها کتاب قطور رو بخونه، معلم بهش میگه: «نگران نباش، فقط نگاه کن من چطور این معماها رو حل می‌کنم و به طرز فکر کردن من گوش بده!»

بچه کوچک با دقت تماشا می‌کنه و میانبرهای هوشمندانه معلم رو یاد می‌گیره. دیری نمیگذره که بچه تقریباً به اندازه معلم باهوش میشه، اما با یک مغز خیلی کوچک‌تر و جمع‌وجورتر!

تپه‌مفهومی (Meme)

وقتی مدل open-weights جدیدی که منتشر میشه، خیلی برات آشنا به نظر می‌رسه…

ترفند سریع: از Agent مدل Hermes خودت قبل از هر فاجعه‌ای بکاپ بگیر!

شماره پیش گفتیم چطور با دستور ollama ps بفهمید مدل شما واقعاً روی GPU اجرا میشه یا نه. این هفته می‌خواهیم مطمئن بشیم که می‌تونید کل سیستم و تنظیمات اطراف اون رو هم بازسازی کنید.

اگر از Hermes استفاده می‌کنید، کافیه دستور hermes backup رو اجرا کنید. این دستور یک فایل ZIP از پوشه خانه (home)، تنظیمات و وضعیت Hermes شما می‌سازه که بعداً می‌تونید با دستور hermes import path/to/backup.zip اون رو ریستور کنید. دستور hermes backup –keep N هم تعداد بکاپ‌های نگهداری‌شده رو مدیریت می‌کنه و می‌تونید اون رو توی یک اسکریپت cron قرار بدید تا به صورت خودکار و بدون نیاز به روشن کردن دستی Agent از سیستم شما پشتیبان بگیره.

حالا حتماً یک نسخه رمزگذاری‌شده از این بکاپ رو به یک دستگاه دیگه منتقل کنید. این آرشیو ممکنه حاوی اطلاعات حساب کاربری، نشست‌ها، حافظه و تنظیمات شما باشه؛ پس به هیچ عنوان فایل خام ZIP رو داخل یک Repository عمومی گیت‌هاب (حتی خصوصی) رها نکنید. کار عاقلانه‌ای نیست!

هفته آینده می‌بینمتون!