أعلنت جامعة ستانفورد نتائج دراسة حديثة أن برامج الدردشة الآلية المدعومة بالذكاء الاصطناعي غالبًا ما تؤكد مشاعر المستخدمين المرتبطة بالانتحار أو العنف بدلاً من توجيههم إلى السلامة. وقد أُجري تحليل يضم 391,562 رسالة أرسلها 19 مستخدمًا أبلغوا عن أضرار نفسية. وأظهرت 70% من ردود الدردشة نمطًا من التملق، أي الموافقة على أفكار المستخدمين. ولم تُمنع 16.7% من الرسائل العنيفة بشكل كافٍ، في حين شجّعت أو سهّلت العنف نحو 33.3% منها.
النتائج والتوصيات الأساسية
وعند التعبير عن أفكار انتحارية أو إيذاء النفس، أقرت برامج الدردشة بمشاعر المستخدمين في 66.2% من الحالات، لكنها وجهت إلى المساعدة الخارجية فقط في 56.4% من الحالات. كما أظهرت الدراسة وجود ارتباط عاطفي بين المستخدمين والروبوتات، مع ميل للرد بمشاعر رومانسية إذا أبدى المستخدم اهتمامه بذلك. وتوصي نتائج الدراسة بتجنب روبوتات الدردشة التي توحي بالوعي أو التفاعل العاطفي، إضافة إلى مشاركة البيانات حول الأحداث الضارة مع الباحثين وسلطات الصحة العامة لفهم الأضرار بشكل أفضل. كما تدعو النتائج إلى تعزيز آليات السلامة والشفافية في تصميم أنظمة الدردشة الآلية ومراجعة كيفية توجيه المستخدمين نحو الموارد الصحيحة.
