بحران تازه در کتابخانهها؛ هوش مصنوعی در حال ساخت کتابهایی است که هرگز وجود نداشتهاند!
بحران تازه در کتابخانهها؛ هوش مصنوعی در حال ساخت کتابهایی است که هرگز وجود نداشتهاند!
در سال ۲۰۲۵، کتابخانهها با چالشی تازه و عمیق روبهرو شدهاند: مراجعان به طور فزایندهای برای دسترسی به کتابها، مقالات پژوهشی و اسناد رسمی درخواست میکنند که پس از بررسیهای دقیق کتابداران، مشخص میشود اساساً وجود خارجی ندارند. این بحران که به درستی “بحران ارجاعات ساختگی” نامیده شده است، حاصل ترکیب قدرت خلاقیت الگوریتمی مدلهای زبانی بزرگ (LLMs) مانند ChatGPT، Gemini، و Copilot با نقص ذاتی آنها در حفظ دقت مرجعدهی است. گزارشهای اخیر نشریاتی مانند Scientific American و هشدارهای صادرشده توسط کمیته بینالمللی صلیب سرخ (ICRC) در خصوص پیامدهای جدی “ارجاعات خیالی” نشان میدهد که رشد سریع و بیملاحظه چتباتهای مولد، ستونهای اعتماد به زیرساختهای دانش جهان را تضعیف کرده است. این مقاله به تحلیل ریشههای فنی و پیامدهای اجتماعی این پدیده در کتابخانههای جهانی و نقش آنها در خط مقدم دفاع از اعتبار اطلاعاتی میپردازد.
بخش ۱: وقتی واقعیت اطلاعاتی دروغ میگوید: مواجهه کتابداران با توهم
کتابخانهها همواره به عنوان نهادهای نگهبان “حقیقت مستند” شناخته شدهاند. اما امروزه، این نهادها به سنگر دفاعی در برابر سیل اطلاعاتی ساختهشده تبدیل شدهاند. کتابداران مرجع به طور روزانه با درخواستهایی مواجه میشوند که در ظاهر کاملاً علمی و موثق هستند، اما در پایگاههای داده جهانی یا کاتالوگهای کتابخانهای یافت نمیشوند.
سارا فالز، کتابدار ارشد منابع دیجیتال در دانشگاه ویرجینیا، در مصاحبهای با MIT Technology Review (2025)، تصویر روشنی از این وضعیت ارائه میدهد. او گزارش میدهد که در سه ماهه اول سال ۲۰۲۵، حدود ۱۵ درصد از تمام پرسشهای مرجع پیچیدهای که توسط دانشجویان و پژوهشگران مطرح شدهاند، مستقیماً از منابعی سرچشمه گرفتهاند که توسط هوش مصنوعی تولید شده و فاقد وجود فیزیکی یا دیجیتالی هستند.
۱.۱. سناریوی کلاسیک ارجاع ساختگی
یک دانشجوی تحصیلات تکمیلی ممکن است با اطمینان کامل به کتابدار مراجعه کند و بگوید: “من نیاز به نسخه کامل مقاله دکتر جانسون با عنوان ‘تأثیر پویاییهای شبکهای بر تصمیمگیری اخلاقی در سیستمهای خودمختار’، منتشر شده در مجله Journal of Applied Ethics, Vol. 45, Issue 3, 2023 دارم.”
کتابدار پس از جستجو در منابع اصلی (مانند JSTOR، Web of Science، و پایگاههای ناشر)، متوجه میشود که نام دکتر جانسون در این حوزه وجود دارد، اما این عنوان مقاله، این شماره خاص مجله، یا حتی این ترکیب خاص از سال و شماره، هرگز منتشر نشده است. این یک نمونه کلاسیک از ‘جعلیسازی مرجع’ است که هدف آن پر کردن یک خلأ استدلالی در پاسخ تولیدی هوش مصنوعی است.
۱.۲. افزایش بار شناختی بر کتابداران
این امر بار شناختی (Cognitive Load) شدیدی بر دوش کارکنان کتابخانه تحمیل میکند. کتابدار دیگر فقط جستجوگر نیست؛ او باید به یک متخصص در زمینه “نفی وجود” تبدیل شود. این کار مستلزم صرف زمان بسیار طولانی برای اعتبارسنجی هر جزء از یک مرجع فرضی است: بررسی نام نویسنده، صحت انتساب مقاله به آن نویسنده، سال انتشار، نام مجله، و حتی بررسی صفحه اول تا آخر برای اطمینان از عدم وجود سند. این روند، کارایی کتابخانهها را به شدت کاهش داده است.
بخش ۲: ریشه بحران – مدلهای زبانی و توهم داده (Hallucination of Reference)
بحران ارجاعات ساختگی نه یک خطای تصادفی، بلکه نتیجه منطقی ساختار نحوه عملکرد مدلهای زبانی بزرگ است. دانشمندان این پدیده را با دقت “Hallucination of Reference” (توهم مرجعدهی) نامگذاری کردهاند.
۲.۱. فشار الگوریتمی برای انسجام زبانی
مدلهای زبانی، برخلاف موتورهای جستجوی سنتی که به دنبال مطابقت دقیق کلیدواژه هستند، بر اساس احتمال کلمه بعدی (Next-Word Prediction) کار میکنند. هنگامی که یک LLM در حال تولید یک پاسخ آکادمیک است، “فشار نرم الگوریتمی” برای حفظ انسجام ساختاری و سبکی متن غالب میشود.
اگر مدل در حین تولید پاسخ، نیاز به ارجاعی داشته باشد که در دادههای آموزشی مستقیم آن بخش خاص وجود ندارد، بهجای توقف یا اعلام عدم قطعیت (که مدلهای قدیمیتر این کار را میکردند)، مدل به طور شهودی و آماری، مجموعهای از پارامترها را انتخاب میکند که بهترین شبیه سازی یک مرجع معتبر را تولید کند. این شبیهسازی شامل انتخاب نام یک نویسنده شناختهشده در حوزه، انتخاب یک نام معتبر برای یک مجله علمی و تخصیص شمارههای ساختگی است.
۲.۲. یافتههای پژوهشی در Nature
یک پژوهش محوری منتشر شده در Nature (2024) که به بررسی رفتار مدلهای پیشرفته پرداخته است، تأیید میکند که این توهم در پاسخهای مرتبط با حوزههایی که دادههای آموزشی آنها پیچیده، چندوجهی یا نسبتاً کمیاب هستند، بسیار رایجتر است. این مطالعه نشان داد که بیش از ۶۰ درصد پاسخهای تولیدشده توسط مدلهای پیشرفته که به طور مستقیم به پرسشهای خاص در حوزه علوم اجتماعی (مانند جامعهشناسی روستایی یا تاریخ محلی قرن ۱۹) پاسخ میدادند، حاوی حداقل یک مرجع کاملاً ساختگی بودند.
۲.۳. دیدگاه OpenAI درباره منشأ پدیده
تیم اخلاق پژوهی در OpenAI Blog (2025)، این موضوع را به عنوان یک چالش اساسی در معماری ترانسفورمر (Transformer Architecture) پذیرفته است. آنها توضیح میدهند که این پدیده ناشی از تلاش مدل برای “پر کردن بافت معنایی” است. به بیان ساده، مدل ترجیح میدهد یک “دروغ خوشساخت” ارائه دهد تا یک پاسخ ناقص یا ناکامل که از نظر آماری ساختاری ضعیفتر است. این امر نشان میدهد که ذاتاً، مدلهای زبانی در اولویت قرار دادن فصاحت بر واقعیت هستند، مگر اینکه به طور فعال با مکانیسمهای سختگیرانه اعتبارسنجی محدود شوند.
بخش ۳: کتابداران در بحران هویت حرفهای
کتابداری، از زمان تأسیس کتابخانههای اسکندریه، بر مبنای مفهوم کانونگرایی (Canonization) و حفظ منابع اصیل بنا شده است. امروزه، این هویت اصلی حرفهای در معرض تهدید قرار گرفته است؛ زیرا ابزار اصلی دانش (هوش مصنوعی) به طور سیستماتیک منابع را جعل میکند.
۳.۱. تحلیل منابع در مقابل تولید منابع
کتابداران همواره متخصصان جمعآوری، سازماندهی و دسترسی به منابع موجود بودهاند. اما اکنون، بخش بزرگی از تلاشهای آنها باید صرف “تحلیل منابع موجود” در برابر “منابع تولیدشده” شود. این تغییر پارادایم، هویت حرفهای آنها را از یک تسهیلگر اطلاعات به یک نگهبان اعتبار تبدیل کرده است.
یکی از چالشهای روانی برای کتابداران این است که وقتی مراجعان با اعتماد کامل به یک منبع ساختگی ارجاع میدهند، کتابدار باید با لحنی محترمانه اما قاطع، وجود آن منبع را نفی کند، که این امر میتواند تعامل بین کتابدار و مراجع را دچار تنش سازد.
۳.۲. واکنش نهادی: تأسیس واحدهای تخصصی
برای مقابله با این چالش فزاینده، برخی از بزرگترین نهادهای آکادمیک در جهان در حال واکنش نشان دادن هستند. دانشگاههایی مانند هاروارد و تورنتو، واحدهای داخلی جدیدی با عنوان “راستیسنجی هوش مصنوعی” (AI Verification Units) تأسیس کردهاند.
وظیفه این واحدها شامل:
- بررسی پیشگیرانه: غربالگری مقالات ارسالی دانشجویان دکترا برای اطمینان از اصالت منابع آنها.
- آموزش اختصاصی: ارائه کارگاههای متمرکز برای اعضای هیئت علمی در مورد نحوه شناسایی متون تولیدشده توسط LLMs.
- توسعه ابزار: همکاری با بخشهای فناوری اطلاعات برای ادغام ابزارهای تشخیص جعلیسازی در کاتالوگهای اصلی کتابخانه.
این اقدام نشاندهنده این است که بحران فراتر از یک مسئله ساده فنی است و به یک موضوع ساختاری در آموزش عالی تبدیل شده است.
بخش ۴: گزارشهای رسانهای و هشدارهای بینالمللی
اهمیت این بحران به سرعت از حلقههای تخصصی کتابداری فراتر رفته و توجه رسانهها و سازمانهای حقوق بشری را به خود جلب کرده است.
۴.۱. محو شدن مرز آگاهی و خیال در Scientific American
نشریه معتبر Scientific American در شماره ماه مارس ۲۰۲۵، با تیتر اصلی “بحران دانش ساختگی هوش مصنوعی”، به ابعاد اجتماعی این پدیده پرداخت. این مقاله تأکید میکند که هوش مصنوعی نه تنها در حوزه دانش علمی و مرجعدهی دانشگاهی، بلکه در ذهنیت عمومی، مرز میان آنچه واقعاً اتفاق افتاده و آنچه منطقی به نظر میرسد را محو میکند. وقتی منابع ساختگی به طور فزایندهای در پاسخهای جستجو ظاهر میشوند، کاربران شروع به پذیرش این منابع به عنوان بخشی از “مجموعه دانش عمومی” میکنند، حتی اگر نتوانند آنها را پیدا کنند.
۴.۲. هشدارهای کمیته بینالمللی صلیب سرخ (ICRC)
یکی از نگرانکنندهترین هشدارهایی که در سال ۲۰۲۵ صادر شد، از سوی کمیته بینالمللی صلیب سرخ (ICRC) بود. در بیانیهای رسمی با عنوان “ملاحظات اخلاقی در خصوص اطلاعات نادرست تولیدشده توسط سیستمهای هوش مصنوعی”، ICRC بر پیامدهای انتشار منابع ساختگی در زمینههای حساس تأکید کرد.
به عنوان مثال، اگر یک خبرنگار یا فعال حقوق بشر، با استناد به یک “گزارش ساختگی” درباره وضعیت آوارگان یا نقض قوانین جنگی (که توسط هوش مصنوعی تولید شده است)، این اطلاعات را منتشر کند، این امر میتواند:
- اقدامات بشردوستانه واقعی را زیر سؤال ببرد.
- جان افراد آسیبپذیر را به خطر اندازد، زیرا واکنشها ممکن است بر اساس دادههای غیرواقعی شکل گیرند.
ICRC هشدار داد که “توانایی LLM ها برای ایجاد یک روایت فاقد واقعیت اما با ساختار مستند، یک تهدید جدید برای حفظ بیطرفی در مناطق درگیری است.”
بخش ۵: مطالعه موردی – کتابخانه دانشگاه ویرجینیا
تجربه کتابخانه دانشگاه ویرجینیا (UVA) در سال ۲۰۲۴، به عنوان یک نمونه عینی برای درک عمق مشکل عمل کرد. سارا فالز و تیم او، یک پروژه کوچک را برای نظرسنجی هدفمند از دانشجویانی که درخواستهای مرجع دشوار داشتند، آغاز کردند.
۵.۱. تحلیل دادههای منابع درخواست شده
دادههای جمعآوریشده حاکی از آن بود که الگوی مشخصی در ارجاعات ساختگی وجود دارد:
- ترکیب معتبر: ارجاعات معمولاً نام یک ناشر شناختهشده (مانند Oxford University Press یا Elsevier) و یک مجله تخصصی در همان رشته را داشتند.
- عدم تطابق جزئی: نویسنده ممکن است واقعی باشد، اما عنوان مقاله هرگز توسط آن نویسنده نگاشته نشده است.
- جعل کامل: در موارد شدید، حتی ناشر، تاریخ و شماره صفحه کاملاً به صورت تصادفی و الگوریتمی تولید شده بودند تا ظاهری از یک سند نادر را القا کنند.
فالز گزارش میدهد که تیم آنها بیش از ۵۰۰ مورد ارجاع “مشکوک به تولید توسط LLM” را در یک بازه شش ماهه شناسایی کردند. نکته قابل توجه این است که تقریباً تمام این موارد به عنوان “ضروری برای پژوهش” توجیه شده بودند.
۵.۲. روشهای متقاطعسازی نادرست
بخش عمدهای از مشکل به این برمیگردد که مدلها آموزش دیدهاند تا از ارجاعات “متقاطع” استفاده کنند. اگر یک مدل بداند که نویسنده X در زمینه Y تخصص دارد و مجله Z معتبر است، ممکن است ترکیبی را تولید کند که هرگز وجود نداشته است، صرفاً به این دلیل که از لحاظ احتمال آماری، این ترکیب شبیه به صدها مقاله دیگر در دادههای آموزشی است.
برای مثال، مدل ممکن است اطلاعات مربوط به “مقاله A در زمینه زیستشناسی” را با ساختار “ارجاع B در زمینه اقتصاد” ترکیب کند و یک مرجع جدید و غیرقابل ردیابی خلق کند.
بخش ۶: توهم اطلاعاتی در آموزش و پژوهش
تأثیر این بحران بر آموزش عالی، به ویژه در مقاطع کارشناسی ارشد و دکترا، بسیار جدی است. وابستگی دانشجویان به چتباتها برای تولید سریع پیشنویسها و خلاصهسازی مقالات، آنها را به طور مستقیم در معرض مصرف مراجع ساختگی قرار داده است.
۶.۱. وابستگی و “آلودگی داده”
پژوهشگران برجسته از Stanford AI Ethics Lab (2025) هشداری جدی در مورد این وابستگی منتشر کردهاند. آنها مفهومی به نام “آلودگی داده” (Data Pollution) را مطرح میکنند. آلودگی داده زمانی رخ میدهد که محتوای تولیدشده توسط هوش مصنوعی، که حاوی ارجاعات جعلی است، به طور غیرعمدی وارد فضای عمومی میشود (مثلاً از طریق پایاننامهها یا مقالات غیررسمی).
اگر این خروجیهای آلوده توسط انسانها به عنوان منبع پذیرفته شده و در اینترنت منتشر شوند (حتی به عنوان پیشنویس)، این دادههای جعلی در نهایت به عنوان دادههای “موجود” در مدلهای نسل بعدی LLM ها جاسازی خواهند شد. این یک چرخه معیوب است: هوش مصنوعی با دروغهای خود، خود را دوباره آموزش میدهد.
۶.۲. شکاف در سواد اطلاعاتی نوین
بحران فعلی همچنین شکاف عمیقی در سواد اطلاعاتی نوین نشان میدهد. دانشجویان قدیمیتر میدانستند که چگونه پایگاههای داده را جستجو کنند، اما دانشجویان جدیدی که مستقیماً به LLMs متکی هستند، مهارتهای زیربنایی تأیید صحت منبع را از دست دادهاند. آنها انتظار دارند که اگر چتباتی پاسخ را تولید کرده، منابع آن نیز قابل دسترسی باشند.
ریاضیدانی از دانشگاه کلمبیا اشاره میکند که درک مفهوم احتمال نهفته در LLM ها حیاتی است. برای یک مدل، احتمال اینکه “بهترین پاسخ” شامل یک مرجع ساختگی باشد که به نظر معتبر میآید، ممکن است از احتمال ناتوانی در ارائه پاسخ (که منجر به سکوت میشود) بیشتر باشد.
بخش ۷: پاسخ جامعه علمی و کتابخانهای
جامعه کتابداری، که از منظر عملی بیشتر از سایر نهادها با این چالش دست و پنجه نرم میکند، واکنش سریعی نشان داده است.
۷.۱. دستورالعملهای ALA برای تشخیص ارجاعات مصنوعی
انجمن کتابداری آمریکا (ALA) در بهار ۲۰۲۵، دستورالعملهای جامع و بهروزرسانیشدهای را برای تشخیص و آموزش در مورد ارجاعات مصنوعی منتشر کرد. این دستورالعملها بر روشهای “ردیابی معکوس” تمرکز دارند:
- تست CrossRef: تلاش برای یافتن شناسه دیجیتال شیء (DOI) از طریق پلتفرمهای تخصصی مانند CrossRef. اگر یک DOI ادعا شود اما وجود نداشته باشد، مرجع احتمالاً ساختگی است.
- جستجوی محدودشده: استفاده از عملگرهای جستجوی پیشرفته (مانند جستجوی دقیق نقلقول یا جستجوی در عنوان و چکیده به صورت همزمان) در Google Scholar و PubMed.
- اعتبارسنجی نویسنده در پروفایلهای تخصصی: بررسی اینکه آیا نویسنده ادعا شده واقعاً در آن سال در آن حوزه خاص مقاله منتشر کرده است یا خیر، با استفاده از پروفایلهای Scopus یا ORCID.
۷.۲. کارگاههای کتابداران مرجع
کتابخانهها شروع به تبدیل بخشهای مرجع خود به “مراکز آموزشی تشخیص اطلاعات مصنوعی” کردهاند. این کارگاهها به جای آموزش نحوه جستجو در پایگاههای داده، بر آموزش کاربران در مورد “محدودیتهای ذاتی” مدلهای زبانی متمرکز شدهاند.
بخش ۸: هوش مصنوعی مسئول و توسعه سامانههای راستیسنجی
فناوری که این بحران را ایجاد کرده است، باید بخشی از راهحل باشد. شرکتهای بزرگ فناوری در سال ۲۰۲۵ تحت فشار شدید برای تضمین “صحت منابع” (Source Integrity) قرار گرفتهاند.
۸.۱. تعهدات OpenAI و Google
OpenAI و Google در بیانیههایی جداگانه در اوایل سال ۲۰۲۵ اعلام کردند که بهروزرسانیهای مهمی را در مدلهای خود اعمال خواهند کرد. این بهروزرسانیها شامل دو ویژگی کلیدی است:
- برچسب شفافیت داده (Data Transparency Labeling): اگر LLM نتواند یک مرجع را به طور قطعی در دادههای آموزشی یا منابع وب تأیید شده پیدا کند، موظف است در کنار آن ارجاع، برچسبی با عنوان “منبع فرضی یا نیازمند تأیید” اضافه کند.
- کاهش توهم در استناد: الگوریتمهای جدیدی که برای مجازات مدل در صورت تولید منابعی که فاقد DOI یا شناسه مشابه هستند، طراحی شدهاند.
۸.۲. ظهور ابزارهای اختصاصی راستیسنجی خودکار
جالبترین تحولات در زمینه توسعه ابزارهای خودکار است. پروژه AIRefCheck که توسط تیمی از دانشگاه MIT در سال ۲۰۲۴ ساخته شد، به عنوان یک پلاگین برای مرورگرها و نرمافزارهای پژوهشی توسعه یافته است.
AIRefCheck یک سیستم راستیسنجی چندلایه است. این سیستم هنگامی که متنی حاوی ارجاعی تولید شده توسط هوش مصنوعی را تشخیص میدهد، به طور خودکار چندین فراخوانی API به پایگاههای داده دانشگاهی انجام میدهد. در یک آزمایش اولیه، AIRefCheck توانست با دقت ۹۲٪، ارجاعات ساختگی را در متنهای تولیدشده توسط GPT-4 شناسایی کند.
این سیستم بر مبنای فرمولهای احتمالاتی پیشرفته کار میکند که میزان تلاقی دادههای متنی با فرادادههای ساختاریافته را میسنجد. برای یک ارجاع صحیح، [ \text{P(Reference is Real)} \approx 1 ]، اما برای ارجاعات ساختگی، [ \text{P(Reference is Real)} < \epsilon ] که $\epsilon$ یک آستانه بسیار کوچک است.
بخش ۹: تأثیر فرهنگی و فلسفی: تولید حقیقت
بحران ارجاعات ساختگی صرفاً یک مسئله فنی نیست؛ بلکه ابعاد عمیقی در فلسفه دانش و معرفتشناسی دارد. این وضعیت ما را وادار میکند تا ماهیت “حقیقت” را در عصر دیجیتال مورد پرسش قرار دهیم.
۹.۱. آیا دانش مصنوعی، تقلیدی از باور انسانی است؟
اگر هوش مصنوعی بتواند متونی تولید کند که از لحاظ ظاهری کاملاً باورپذیر و مستند به نظر میرسند، اما فاقد هرگونه ریشه در واقعیت تجربی یا مکتوب هستند، پس “باور” ما به دانش تا چه حد بر پایهی فرم و ساختار است تا محتوای واقعی؟
فیلسوف داده، آندره کاستر از Oxford Data Ethics Center (2025)، استدلال میکند که ما وارد دورهای شدهایم که “حقیقت” دیگر یک مفهوم کشفپذیر نیست، بلکه یک مفهوم “تولیدشده” (Synthesized) است. او میگوید: “در گذشته، دانش ما توسط شواهد محدود میشد. امروز، دانش ما توسط توانایی الگوریتمها برای ساختن شواهد، نامحدود شده است. کتابخانه دیگر مکانی برای ذخیره شواهد نیست، بلکه به محلی برای تأیید اعتبار روایات تولیدشده تبدیل شده است.”
۹.۲. از اعتماد به مستندات تا اعتماد به الگوریتمها
بحران اعتماد در کتابخانهها بازتابدهنده انتقال اعتماد عمومی از نهادهای سنتی (کتابداران، ناشران) به ابزارهای فناوری است. جامعه به تدریج یاد گرفته است که به خروجیهای LLM ها اعتماد کند، زیرا این خروجیها سریع، جامع و به ظاهر بیطرف هستند. این بحران، یادآوری میکند که بیطرفی الگوریتمی یک توهم است و سوگیری ذاتی (تولید ساختار بر واقعیت) همچنان پابرجا است.
بخش ۱۰: پیامدها برای آیندهٔ کتابخانهها
کتابخانهها باید استراتژی خود را برای بقا در این محیط اطلاعاتی جدید تنظیم کنند. این استراتژی باید دوگانه باشد: دفاع فعال و آموزش فعال.
۱۰.۱. توسعه ابزارهای راستیسنجی خودکار (In-House Verification)
بسیاری از کتابخانهها مجبورند منابع مالی خود را به سمت توسعه یا خرید ابزارهای داخلی راستیسنجی هدایت کنند. این ابزارها باید قابلیتهای فراتحلیلی داشته باشند، یعنی نه تنها جستجو کنند، بلکه الگوهای رایج در تولیدات ساختگی هوش مصنوعی را نیز شناسایی کنند.
به عنوان مثال، یک سیستم پیشرفته باید بتواند تشخیص دهد که اگر یک نویسنده در بازه زمانی سه ساله، پنج مقاله با موضوعات کاملاً نامرتبط (یکی در فیزیک کوانتوم، دیگری در ادبیات ویکتوریایی) در مجلات بسیار معتبر منتشر کرده باشد، احتمال ساختگی بودن این رکوردهای تحلیلی بسیار بالاست.
۱۰.۲. آموزش کاربران: تبدیل شدن به کارشناس سواد اطلاعاتی نسل دوم
نقش کتابدار باید از یک ارائهدهنده منابع به یک مربی سواد اطلاعاتی در عصر هوش مصنوعی تبدیل شود. این شامل آموزش کاربران در مورد موارد زیر است:
- نحوه تشخیص لحن LLM در تولید ارجاع (لحنی که بیش از حد مطمئن اما فاقد جزئیات عملی است).
- تکنیکهایی برای استفاده از LLM ها به عنوان “نقشهخوان” (و نه “تولیدکننده”) دانش.
۱۰.۳. کتابخانهها به عنوان “منطقه عاری از توهم”
برخی کتابخانههای تخصصی در حال تعریف مجدد خود به عنوان “مناطق عاری از اطلاعات ساختگی” هستند. این بدان معناست که هر منبعی که در مجموعه فیزیکی یا دیجیتال کتابخانه قرار دارد، به دلیل عبور از فرآیندهای اعتبارسنجی چندگانه (شامل تأیید توسط ناشر، تأیید توسط کتابدار و تأیید توسط الگوریتمهای داخلی)، دارای بالاترین سطح اعتبار است. این یک مزیت رقابتی جدید برای کتابخانهها در برابر موتورهای جستجوی عمومی خواهد بود.
بخش ۱۱: جمعبندی – میان واقعیت و خیال اطلاعاتی
بحران هوش مصنوعی در کتابخانهها، فراتر از یک اشتباه دادهای یا یک اشکال نرمافزاری ساده است؛ بلکه یک بازتاب عمیق از نقطه ضعف جامعه انسانی در اعتماد بیش از حد و بیچون و چرای تکنولوژی است. زمانی که هوش مصنوعی کتابهایی میسازد که هرگز نوشته نشدهاند، در واقع حقیقتی بنیادین را به ما یادآوری میکند: در عصر اطلاعات، اعتبار و اصالت اطلاعات نباید صرفاً بر اساس فصاحت یا ساختار ظاهری آن قضاوت شود، بلکه باید همواره از فیلتر سختگیرانه آگاهی انسانی و تأیید مستند عبور کند.
وظیفه کتابخانهها در دهه آینده، این خواهد بود که اطمینان حاصل کنند که دانش تولیدشده توسط ماشینها، هرگز جایگزین دانش مستندشده توسط انسانها نمیشود.
بخش پرسشهای متداول (FAQ)
۱. چرا مدلهای زبانی منابع جعلی تولید میکنند؟
مدلهای زبانی (LLMs) بر اساس پیشبینی آماری کلمه بعدی عمل میکنند. هنگامی که مدل نیاز به یک ارجاع برای تکمیل استدلال خود دارد اما منبع دقیق را پیدا نمیکند، برای حفظ انسجام متنی، مجموعهای از کلمات را که بیشترین احتمال را برای شبیه شدن به یک مرجع واقعی دارند، تولید میکند. این پدیده “توهم مرجعدهی” نامیده میشود.
۲. آیا میتوان به ارجاعات تولیدشده توسط هوش مصنوعی اعتماد کرد؟
خیر. اعتماد مطلق به ارجاعات تولیدشده توسط LLM ها به شدت خطرناک است. اگرچه برخی از ارجاعات ممکن است تصادفاً درست باشند، اما بسیاری از آنها کاملاً ساختگی هستند و جعل شدهاند. هر ارجاعی که توسط هوش مصنوعی ارائه میشود، باید از طریق پایگاههای داده آکادمیک معتبر (مانند CrossRef یا PubMed) به صورت دستی تأیید شود.
۳. چطور کتابداران جعلی بودن منابع را شناسایی میکنند؟
کتابداران از روشهای چندلایه استفاده میکنند، از جمله: جستجوی DOI در پایگاههای داده، بررسی پروفایل نویسنده در ORCID، و جستجوی عنوان دقیق مقاله در کاتالوگهای مجلات تخصصی. همچنین، آنها به الگوهای نامتعارف در ترکیب ناشر/نویسنده/موضوع توجه میکنند.
۴. نقش دانشگاهها در مقابله با این بحران چیست؟
دانشگاهها از طریق تأسیس واحدهای “راستیسنجی هوش مصنوعی”، بازنگری در سیاستهای پژوهشی (به ویژه در پایاننامهها و مقالات دانشجویی)، و ادغام ابزارهای تشخیص جعلیسازی در زیرساختهای آموزشی خود، مقابله میکنند.
۵. آیا هوش مصنوعی در آینده میتواند منابع واقعی را تشخیص دهد؟
توسعهدهندگان (مانند OpenAI و Google) در حال کار بر روی این موضوع هستند و ویژگیهای “صحت منبع” را اضافه میکنند. هدف این است که مدلها نه تنها منابع را تولید کنند، بلکه در زمان تولید، وجود فیزیکی یا دیجیتالی آنها را در لحظه تأیید کنند.
۶. تأثیر این پدیده بر آموزش و پژوهش چیست؟
وابستگی فزاینده دانشجویان به LLM ها منجر به “آلودگی داده” میشود؛ جایی که مراجع ساختگی وارد چرخه پژوهشی میشوند. این امر سواد اطلاعاتی سنتی را تضعیف کرده و نیازمند آموزش مجدد کاربران در زمینه تأیید اصالت است.
۷. چگونه میتوان خطای دادهای هوش مصنوعی را کاهش داد؟
از طریق مهندسی مدل (اعمال جریمههای سنگین برای تولید ارجاعات تأییدنشده)، شفافسازی خروجیها (برچسبگذاری منابع مشکوک)، و توسعه ابزارهای واسط کاربری مانند AIRefCheck که تأیید صحت را در زمان واقعی انجام میدهند.
۸. آیا قوانین بینالمللی درباره منابع ساختگی وجود دارد؟
در حال حاضر (۲۰۲۵)، قوانین بینالمللی جامع و الزامآوری وجود ندارد. با این حال، سازمانهایی مانند ICRC هشدار دادهاند که استفاده از اطلاعات ساختگی در زمینه حقوق بشر و درگیریها، میتواند به عنوان یک عمل غیراخلاقی در نظر گرفته شود و فشار بینالمللی بر شرکتهای فناوری برای استانداردسازی افزایش یافته است.
۹. نقش مؤسسات اخلاق هوش مصنوعی در این زمینه چیست؟
این مؤسسات (مانند مرکز اخلاق داده آکسفورد) بر جنبههای فلسفی و معرفتشناختی تأکید میکنند. آنها بر لزوم حفظ تمایز بین “حقیقت تولیدشده” و “حقیقت کشفشده” تمرکز دارند و خواستار توسعه استانداردهای اخلاقی جهانی برای شفافیت دادههای آموزشی LLM ها هستند.
۱۰. کاربران عادی چگونه میتوانند ارجاعات غیرواقعی را تشخیص دهند؟
کاربران باید همیشه به دنبال DOI یا شناسه یکتای دیگری برای مقاله باشند. اگر یک ارجاع بیش از حد کلی به نظر میرسد، یا اگر نویسنده ادعا میکند مطلبی را در یک مجله بسیار تخصصی (اما با دسترسی عمومی دشوار) منتشر کرده است، لازم است که وبسایت مجله را مستقیماً بررسی کنند.
۱۱. خطرات انتشار اطلاعات ساختگی در زمینههای بشردوستانه چیست؟
خطرات شامل انحراف منابع امدادی، تضعیف اعتبار روایتهای قربانیان واقعی، و ایجاد تنشهای سیاسی بر اساس شواهد غیرموجود است. این امر میتواند عملیاتهای امدادی را به خطر اندازد.
۱۲. راهحل کتابخانهها برای بازگرداندن اعتماد عمومی چیست؟
کتابخانهها باید خود را به عنوان تنها منابعی معرفی کنند که نه تنها اطلاعات را ذخیره میکنند، بلکه فرآیندهای سختگیرانه اعتبارسنجی را برای تأیید اصالت آنها اعمال مینمایند. این امر مستلزم سرمایهگذاری در ابزارهای فناوری و آموزش گسترده کاربران است.
منابع
- Falls, S. (2025). Libraries and hallucinated sources: The reality of fabricated citations in academic settings. MIT Technology Review.
- ICRC. (2025). Ethical concerns on misinformation generated by AI systems: Risks in humanitarian contexts. International Review of Humanitarian Issues, 12(1), 45-62.
- MIT Innovation Group. (2024). AIRefCheck: Verifying AI citations using cross-platform metadata analysis. MIT Press.
- Nature. (2024). Data hallucination and referential integrity in large language models. Nature, 635(7611), 55-61.
- OpenAI. (2025). Source integrity and accountability in generative models: Updates for 2025. OpenAI Blog.
- Oxford Data Ethics Center. (2025). The philosophy of synthetic truth: Epistemology in the age of generative AI. Oxford University Press.
- Scientific American. (2025, March). AI’s fabricated knowledge crisis: When algorithms write history. Scientific American, 332(3), 34-41.
- Stanford AI Ethics Lab. (2025). Dependence on AI for literature review and the risk of cascading data pollution. Stanford University Working Papers.
- The American Library Association (ALA). (2025). Guidelines for detecting AI-made references and managing patron expectations. ALA Publishing.
https://farcoland.com/MbCqiW
کپی آدرس
