منابع سخت افزاری لازم
برای راه اندازی و تست این مدل چقدر منابع سخت افزاری لازم است؟
با سلام و وقت بخیر.
برای استفاده از مدل با بک اند huggingface حدود 17 گیگ حافظه نیاز است.
طبیعتا برای سرعت بیشتر میتوانید از کارت گرافیک قوی تر استفاده کنید. اما یک گزینه مناسب A100 40GB است.
همچنین میتوانید با استفاده از Quantization مقدار حافظه مورد نیاز را کاهش دهید.
حافظه مورد نیاز اعلام شده با دقت bfloat16 بیان شده است.
با تشکر
با سلام مجدد.
همچنین میتوانید از لینک زیر به نسخه هایی با دقت های مختلف کوانتایز شده از مدل ۸ میلیاردی درنا دسترسی داشته باشید:
من با 32 گیگ حافظه مدل اصلی درنا را لود کردم کرش کرد
ممنون میشوم کدی که لود کردید رو به همراه ورژن کتابخانه های مهم بفرستید تا بهتر بتوانیم مشکل را بررسی کنیم.
با تشکر
اگر بخوایم با استفاده از این مدل یک ربات تلگرام پشتیبان ایجاد کنیم، سروری که باید تهیه کنیم چه منابع سخت افزاری نیاز داره؟
اگر بخوایم با استفاده از این مدل یک ربات تلگرام پشتیبان ایجاد کنیم، سروری که باید تهیه کنیم چه منابع سخت افزاری نیاز داره؟
سروری انتخاب کنید که VRAM GPU متناسبی با سایز و نسخه مدل داشته باشد.
نسخه های کوانتایز شده بهینه هستند که از این لینک میتونید استفاده کنید
https://huggingface.co/PartAI/Dorna-Llama3-8B-Instruct-GGUF