هفته هوش مصنوعی محلی شماره ۷: حباب ترکید یا هنوز زنده‌ایم؟

خبرگزاری رویترز اعلام کرده که حباب هوش مصنوعی در چین رسماً ترکیده و سهام شرکت‌های سخت‌افزاری و هوش مصنوعی این کشور چیزی حدود ۴۸۰ میلیارد دلار ارزش‌شان را از دست داده‌اند. از اون طرف توی دنیای غرب هم آمازون اکثر مدل‌های Nova خودش رو گذاشته رو حالت «فقط چراغ‌ها روشن باشن» تا خرج اضافی نکنه.

اما جالب اینجاست که شرکت غول‌پیکر SK Hynix سود سرسام‌آور ۲۹.۷ میلیارد دلاری رو در سه ماهه سوم ثبت کرده و مدیرعاملش میگه کمبود رم و حافظه تا سال ۲۰۳۰ ادامه داره! پس حباب شاید واسه خیليا ترکیده باشه، اما نه واسه اونایی که دارن به شما RAM می‌فروشن. حالا حالاها باید صبر کنیم تا شاید قیمت قطعات سخت‌افزاری برای ارتقای homelabمون پایین بیاد.

🔎 کشف ابزارهای هوش مصنوعی جدید

LokalBot جلسات شما رو روی کامپیوتر ضبط و پیاده‌سازی (transcribe) می‌کنه. هیچ بات مزاحمی توی ویدیوکال شرکت نمی‌کنه و از طریق مدل‌های local روی Vulkan یا پردازنده (CPU)، قابلیت دیکته کردن و جستجو رو هم بهتون میده.

OpenNoteTaker هم همین کار رو دقیقاً توی یک تب مرورگر انجام میده. مدل Whisper به صورت WebAssembly اجرا میشه و صداهای شما اصلاً آپلود نمೋದن. ضبط، فایل متنی و خروجی‌ها کاملاً رایگان هستن و نیازی به ساخت اکانت هم ندارید؛ البته خلاصه جلسات و ترجمه که توسط هوش مصنوعی انجام میشن جزو موارد پولی هستن و متن رو می‌فرستن به سرور توسعه‌دهنده. این ابزار فعلاً فقط برای مرورگرهای Chrome و Edge عرضه شده.

Subtitld 26.10 بزرگ‌ترین نسخه عرضه شده از این ویرایشگر زیرنویس تحت مجوز GPL-3.0 هست. با این ابزار می‌تونید توی یک پنجره واحد، ویدیوی خام رو بگیرید و براش زیرنویس زمان‌بندی‌شده، ترجمه‌شده و دوبله آماده کنید. این نرم‌افزار از whisper.cpp یا Vosk برای تشخیص گفتار و از Piper و Kokoro برای صداها استفاده می‌کنه که خیلیاشون کاملاً آفلاین اجرا میشن.

🤖 ایجنت‌ها همچنان جولان میدن

گریگوری کورتزر (Gregory Kurtzer)، همون کسی که پشت پروژه‌های CentOS و Rocky Linux بود، تونست تنها در عرض ۱۱ روز ابزار Ginux رو بسازه. این یک Kernel جدیده که بیشترش با زبان Rust نوشته شده و البته لینوکس نیست.

یک ایجنت بر پایه Codex حدود ۱۳۹ هزار خط کد نوشته در حالی که کورتزر معماری سیستم رو مشخص کرده و کارها رو چک می‌کرده. جالبه بدونید حرف «G» توی این اسم مخفف GPT هست نه GNU! فعلاً می‌تونیم به عنوان یک پروتوتایپ تحقیقاتی بهش نگاه کنیم.

توماس دومکه (Thomas Dohmke)، مدیرعامل سابق گیت‌هاب، از پروژه‌ای به نام Entire رونمایی کرده که یک Git forge برای همکاری انسان‌ها و ایجنت‌هاست. توی این پلتفرم، پول‌ریکوئست‌ها تبدیل به «Trails» میشن که امتیازهای ارزیابی دارن و ایجنت‌ها با هر بار push اون‌ها رو آپدیت می‌کنن. پلاگین‌های حافظه این ابزار کاملاً open source و local-first هستن، اما خود پلتفرم میزبانی میشه پس منتظر نباشید بتونید خودتون اون رو روی سرور شخصی خودتون اجرا کنید.

🗞️ اخبار مدل‌های متن‌باز

شرکت Block متعلق به جک دورسی (Jack Dorsey)، بنیان‌گذار توییتر، از مدل صوتی Dessa رونمایی کرده که می‌تونه هم‌زمان گوش بده و صحبت کنه. این مدل برخلاف اکثر مدل‌های هوش مصنوعی که با متن آموزش دیدن، صرفاً روی صدای انسان تمرین داده شده. شرکت Block میگه این مدل روی مک‌بوک پرو با تراشه M4 Max یا قوی‌تر اجرا میشه. فعلاً هیچ حرفی از وزن‌ها (weights) یا لایسنس اون به میان نیومده و فقط لیست انتظار داره.

مدل Mistral Large 4 هم قراره ۳۱ اکتبر یعنی دقیقا مصادف با هالووین منتشر بشه.

👀 نگاهی به فعالیت غول‌های فناوری

شاخص STAR 50 چین که شامل سهام شرکت‌های هوش مصنوعی و سخت‌افزار میشه، به گزارش رویترز در کمتر از چهار ماه ۴۰ درصد افت داشته. سازندگان GPU یعنی MetaX و Moore Threads هم از ماه جولای به این طرف حدود نصف ارزش خودشون رو از دست دادن. تریدرها دلیل این سقوط رو ارزش‌گذاری‌های نجومی و خطر تحریم سیستم‌های چینی در دیتاسنترهای خارجی می‌دونن.

آمازون بیشتر مدل‌های Nova خودش رو برده روی حالت «روشن نگه داشتن چراغ‌ها»، همون طور که Futurism گزارش داده. حالا بودجه‌ها دارن روی یک مدل پیشرو و قدرتمند متمرکز میشن.

شرکت SK Hynix گزارش مالی رکوردشکنی ثبت کرده: سود عملیاتی ۸۳.۳ تریلیون وون با درآمد ۱۰۴.۶ تریلیون وونی که یعنی حاشیه سود ۸۰ درصدی! این شرکت پیش‌بینی می‌کنه تقاضا تا سال ۲۰۳0 از عرضه جلو بزنه و قراردادهای بزرگ، از الان بیش از نیمی از ظرفیت تولید سال‌های ۲۰۲۷ و ۲۰۲۸ رو پیش‌خرید کردن. رم‌های مصرفی و معمولی هم هر چی ته انبار مونده رو باید بپذیرن، پس منتظر DDR5 ارزون قیمت نباشید 😭

🗂 اصطلاحات هوش مصنوعی: Open weights

تو این خبرنامه بارها به این اصطلاح برخوردید. اصطلاح Open weights به این معنیه که فایل‌های مدل آموزش‌دیده عمومی و قابل دانلود هستن و می‌تونید اون‌ها رو روی سخت‌افزار شخصی خودتون اجرا کنید. اما این موضوع به طور خودکار به این معنی نیست که مدل کاملاً open source است؛ چرا که معمولاً داده‌های آموزشی و کدهای ساخت مدل خصوصی می‌مونن و این لایسنس است که مشخص می‌کنه چه کارهایی مجازید با مدل انجام بدید.

با این حال، نکته مثبت اینجاست که وقتی وزن‌ها روی دیسک سیستم شما ذخیره بشن، هیچ شرکتی نمی‌تونه اون‌ها رو به زور از روی سیستم شما جمع‌آوری یا بازنشسته کنه.

😆 میم روز

⚡ ترفند سریع: از مدل‌هایی که بهشون وابسته هستید بک‌آپ بگیرید

اگر از ابزار Ollama برای کارهای هوش مصنوعی local استفاده می‌کنید، دستور ollama list رو اجرا کنید تا لیست مدل‌ها و شناسه‌های اون‌ها رو ببینید. بعد از اون می‌تونید پوشه مدل‌ها رو برای نگهداری امن کپی کنید توی درایو پشتیبان. این پوشه معمولاً برای نصب‌های معمولی توی مسیر ~/.ollama/models قرار داره یا اگر Ollama به عنوان یک system service در حال اجراست، مسیرش /usr/share/ollama/.ollama/models خواهد بود.

ماجراجویی توی دنیای هوش مصنوعی local رو ادامه بدید. هفته آینده می‌بینمتون.