Question 1

RAG چگونه توهم مدل‌های زبانی را کاهش می‌دهد؟

Accepted Answer

توهم زمانی رخ می‌دهد که مدل پاسخی می‌سازد که در داده‌ی واقعی پشتوانه ندارد. در RAG، مدل پیش از پاسخ‌دادن، قطعه‌های مرتبط از اسناد معتبر سازمان را بازیابی می‌کند و موظف می‌شود پاسخ را تنها بر همان قطعه‌ها استوار کند و به آن‌ها ارجاع دهد. با طراحی درست پرامپت و افزودن سازوکار رد پاسخ هنگام نبود منبع کافی، مدل به‌جای حدس‌زدن، صادقانه اعلام می‌کند که پاسخ در منابع موجود نیست. این ترکیب، توهم را به‌شدت کاهش می‌دهد.

Question 2

تفاوت RAG با fine-tune کردن مدل چیست؟ کدام بهتر است؟

Accepted Answer

در fine-tune، دانش به‌صورت وزن‌های مدل آموخته می‌شود؛ این کار برای آموختن سبک، لحن و قالب پاسخ عالی است اما به‌روزرسانی دانش پرهزینه و کند است و منبع پاسخ روشن نیست. در RAG، دانش بیرون از مدل در یک پایگاه نگه‌داری می‌شود و در لحظه بازیابی می‌گردد؛ پس به‌روزرسانی آن آسان است و پاسخ‌ها قابل استناد می‌مانند. این دو رقیب هم نیستند؛ ما اغلب RAG را برای دانش متغیر و fine-tune را برای لحن و قالب با هم به کار می‌بریم.

Question 3

چرا گاهی RAG پاسخ نامرتبط می‌دهد و چطور آن را بهبود می‌دهید؟

Accepted Answer

کیفیت RAG بیش از همه به کیفیت بازیابی وابسته است؛ اگر قطعه‌های نامرتبط بازیابی شوند، پاسخ هم نامرتبط خواهد بود. ما کیفیت بازیابی را با چند اهرم بهبود می‌دهیم: قطعه‌بندی هوشمند با حفظ زمینه، انتخاب مدل embedding مناسب زبان فارسی، بازیابی ترکیبی برداری و کلیدواژه‌ای، و افزودن مرحله‌ی بازرتبه‌بندی که مرتبط‌ترین قطعه‌ها را پیش از تولید پاسخ برمی‌گزیند. هر تغییر را با مجموعه‌ی آزمون می‌سنجیم تا بهبود واقعی اثبات شود.

Question 4

کیفیت یک سامانه‌ی RAG را چگونه به‌صورت کمی می‌سنجید؟

Accepted Answer

ما کیفیت را در دو سطح جدا می‌سنجیم. در سطح بازیابی، اندازه می‌گیریم که آیا قطعه‌های درست و کافی برای پاسخ بازیابی شده‌اند یا نه. در سطح تولید، استنادپذیری پاسخ به منابع، صحت محتوا و مرتبط‌بودن آن با پرسش را ارزیابی می‌کنیم. برای این کار یک مجموعه‌ی آزمون از پرسش‌ها و پاسخ‌های مرجع می‌سازیم و سنجه‌های کمی را به‌صورت خودکار محاسبه می‌کنیم تا هر تغییر در سامانه را عینی بسنجیم و از پسرفت پنهان جلوگیری کنیم.

مهندسی RAG و جست‌وجوی معنایی

نتایج کلیدی

آنچه ارائه می‌دهیم

پردازش و قطعه‌بندی اسناد

embeddings و پایگاه برداری

بازیابی ترکیبی و بازرتبه‌بندی

مهندسی پرامپت و تولید پاسخ

کاهش توهم و نرده‌های محافظ

ارزیابی و بهبود مستمر

چگونه پیش می‌رویم

شناخت دانش و کاربرد هدف

ساخت خط لوله‌ی بازیابی

تولید پاسخ و کنترل کیفیت

استقرار و پایش پیوسته

چه چیزی تحویل می‌گیرید

سوالات رایج

برای مهندسی RAG و جست‌وجوی معنایی با ما صحبت کنید