نکات کلیدی:
- نگرانی در مورد خود هوش مصنوعی نیست – بی دقتی است
- تحقیقات جدید باعث ایجاد ترس در مورد هوش مصنوعی در کلاس درس می شود
- پر کردن شکاف دیجیتال: چرا هوش مصنوعی پهنای باند جدید است؟
- برای اطلاعات بیشتر درباره ایمنی هوش مصنوعی، از مرکز یادگیری دیجیتالی eSN دیدن کنید
زمانی که Gramms AI را به App Store ارسال کردم، دقیقاً با این سوال مواجه شدم که هر ساختمان توسعه دهنده برای کودکان در نهایت با آن مواجه خواهد شد: “مناسب با سن” در عمل به چه معناست؟ و چگونه می‌توانید سیستم‌هایی بسازید که به طور قابل اعتماد آن را اجرا کنند؟
Grams یک برنامه داستان قبل از خواب است. داستان‌های شخصی‌سازی شده با صدای شبیه‌سازی‌شده پدربزرگ و مادربزرگ را تولید می‌کند. به اندازه کافی ساده به نظر می رسد. اما معماری ایمنی پشت آن چیزی جز این بود.
این یک گزارش تمرین‌کننده از راه‌حل‌های پشت Gramms است که برای هر کسی که محصولات مبتنی بر هوش مصنوعی را برای کودکان 3 تا 10 ساله ایجاد می‌کند مفید باشد. هیچ کدام از اینها مشاوره حقوقی نیست، اما به سختی به دست می آید.
1. گروه های سنی: همه کودکان مخاطب یکسان نیستند
مهم‌ترین تصمیمی که برای طراحی می‌گیرید این است که ایده یک سطح محتوایی «ایمن برای بچه‌ها» را کنار بگذارید. داستانی که برای یک کودک 9 ساله کار می کند (درگیری خفیف، تنش روایی، استدلال اخلاقی چند مرحله ای) واقعا می تواند یک کودک 3 ساله را بترساند. و یک کودک 9 ساله در حدود 30 ثانیه بررسی می کند که آیا محتوای آنها برای یک کودک 4 ساله ایجاد شده است یا خیر.
Grams از سه گروه سنی رشدی استفاده می کند که هر کدام دارای لایه مهندسی خاص خود هستند:
- سنین 3 تا 5: واژگان ساده، داستان های 200 تا 400 کلمه، روایت های تک شخصیت، ساختار تکراری، بدون درگیری که نیاز به حل دارد. موضوعاتی مانند دوستی، حیوانات، کمک های جادویی. پیچیدگی زبان محدوده لکسی را در مهدکودک هدف قرار می دهد.
- سنین 6 تا 8 سال: واژگان غنی تر، چالش و وضوح ملایم، پویایی دو تا سه شخصیت، تعلیق ملایمی که با خوشی به پایان می رسد. داستان ها 400 تا 600 کلمه هستند. اخلاق علّی ساده را معرفی می کند.
- سنین 9 تا 10 سال: ساختاری شبیه به یک کتاب فصلی، طرح‌های چند مرحله‌ای، طنزی که نیاز به نتیجه‌گیری دارد، عمل قهرمان داستان و نتیجه. داستان ها می توانند به 600 تا 800 کلمه برسند. شروع به معرفی موقعیت های مبهم با وضوح ظریف می کند.
این باندها مستقیماً در خط سیستم ارسال شده به مدل زبان کدگذاری می شوند. سن کودک فقط ابرداده نیست. این یک محدودیت سخت است که هر عنصر نسل را شکل می دهد: انتخاب کلمه، ساختار جمله، دامنه موضوعی، و روایت.
2. معماری رضایت والدین برای انطباق با COPPA
COPPA (قانون محافظت از حریم خصوصی آنلاین کودکان) قبل از جمع‌آوری اطلاعات شخصی از کودکان زیر 13 سال به رضایت قابل تأیید والدین نیاز دارد. در یک برنامه هوش مصنوعی، “اطلاعات شخصی” به طور گسترده تفسیر می‌شود. نام، سن و علایق کودک شرایط را برآورده می کند.
اپل این را با دستورالعمل‌های بررسی فروشگاه App خود (بخش 5.1.4) تقویت می‌کند، که نیازمند افشای صریح این است که کدام سرویس‌های هوش مصنوعی شخص ثالث داده‌های کاربر را پردازش می‌کنند. Gramms این را در زمان رضایت والدین فاش می کند. قبل از ذخیره هر نمایه، والدین صفحه‌ای را مشاهده می‌کنند که OpenAI و Cartesia را به‌عنوان ارائه‌دهندگان هوش مصنوعی ما معرفی می‌کند و توضیح می‌دهد که هر کدام چه داده‌هایی دریافت می‌کنند و نیاز به تأیید فعال دارد. این یک چک باکس در شرایط خدمات نیست. این دروازه ای برای مسدود کردن عمل است.
دو نکته کاربردی برای توسعه دهندگانی که چیزی شبیه به این می سازند:
ابتدا، ابتدا با طراحی به عنوان جریان اصلی موافقت کنید. ایجاد نمایه کودک باید پشت حسابی بسته شود که بزرگسال کنترل می کند. این یک فرآیند سوار شدن بدون درز نیست که یک کودک هفت ساله بتواند به تنهایی آن را انجام دهد.
دوم، مُهر زمانی رضایت و فهرست‌های ارائه‌دهنده سمت سرور را ذخیره کنید. اگر ارائه‌دهنده هوش مصنوعی شما تغییر کند (ما ارائه‌دهنده متن به گفتار خود را در میانه توسعه انتقال دادیم)، به دنباله حسابرسی و مکانیزمی برای نمایش مجدد افشای رضایت به کاربران فعلی نیاز دارید.
3. تعدیل خودکار محتوا: دفاع در عمق
مهندسی سریع ریسک را کاهش می دهد، اما آن را از بین نمی برد. الگوهای زبان سیستم های احتمالی هستند. یک اعلان با دقت ساخته شده همچنان می تواند نتیجه ای ایجاد کند که از بین می رود. برای یک محصول کودکان، “بیشتر ایمن” یک نوار کیفیت قابل قبول نیست.
گرامز یک سیستم دو طرفه را پیاده سازی می کند. اولین پاس در سطح سریع است: سیستم فرمان برای هر گروه سنی به طور خاص خشونت، مخالفان ترس آور، محتوای عاشقانه و ارجاعات جغرافیایی یا سیاسی در دنیای واقعی را ممنوع می کند. پاس دوم اعتدال به نسل است. قبل از اینکه داستانی به والدین یا فرزند تحویل داده شود، متن کامل توسط Content Moderation API در برابر خط‌مشی‌های محتوای کودک ارزیابی می‌شود.
هنگامی که یک داستان در تعدیل ناموفق است، کاربر یک پیام ساده “ایجاد داستان جدید” را می بیند. بدون وضعیت خطا، بدون توضیح. بازسازی خاموش است. والدین هرگز نباید با زمانی مواجه شوند که برنامه آنها را در معرض محتوایی قرار دهد که نیاز به فیلتر دارند.
الگویی که باید به آن اشاره کرد: تعدیل فیلمنامه گوینده جدا از متن داستان تفاوت ایجاد می کند. فیلمنامه روایت (که نشانه‌های سرعت دراماتیک و نشانه‌های احساسی را به صداگذاری اضافه می‌کند) می‌تواند عناصر تونالیستی را معرفی کند که در داستان خام وجود ندارند. اگر خط لوله شما نسل را از قالب بندی متن روایت جدا می کند، همانطور که ما انجام می دهیم، اعتدال را برای هر دو خروجی جداگانه اعمال کنید.
4. بررسی فروشگاه App Apple: Kids AI Data Apps Tutorials
فرآیند بررسی اپل برای برنامه‌های دسته‌بندی کودکان به‌طور قابل‌توجهی سخت‌گیرانه‌تر از برنامه‌های عمومی است و ویژگی‌های هوش مصنوعی نیاز به بررسی دقیق‌تری دارند.
هر ارائه دهنده هوش مصنوعی را به طور خاص نام ببرید. اپل خواهد پرسید. خط‌مشی رازداری شما، توضیحات فروشگاه App شما و افشای‌های درون برنامه‌ای شما باید به شرکت‌های خاصی که APIهایشان داده‌های کاربر را پردازش می‌کنند، اشاره داشته باشد. نه فقط مقوله فناوری. “ما از هوش مصنوعی استفاده می کنیم” کافی نیست. «ما از GPT-4o-mini OpenAI برای تولید داستان و Cartesia Sonic برای ترکیب صدا استفاده می‌کنیم» چیزی است که منتقدان باید ببینند.
داده های کودکان را از آموزش دور نگه دارید. تأیید کنید (در صورت درخواست به بازبینان) که قراردادهای فروشنده هوش مصنوعی شما شامل توافق نامه های پردازش داده است که استفاده از داده های مربوط به کودک را برای آموزش مدل ها ممنوع می کند. هر دو ارائه دهنده بزرگ این را ارائه می دهند. ممکن است لازم باشد سطح API مناسب را انتخاب کنید.
حساب‌های فرزند را از حساب‌های بزرگسال در لایه داده جدا کنید. حساب والدین مالک نمایه‌های فرزند است. داده های کودک هرگز نباید به طور مستقل قابل آدرس دهی باشند. فقط باید در زمینه یک جلسه والد تأیید شده قابل دسترسی باشد. این معماری هم بهترین روش COPPA و هم یک درخواست رایج بررسی برنامه است.
قبل از ارسال با بچه های واقعی تست کنید. نه به این دلیل که بررسی برنامه آن را ایجاب می‌کند، بلکه به این دلیل که سنجش سن از نظر تجربی آسان‌تر از نظری است. واکنش یک کودک 4 ساله به داستانی که فکر می کنید حساس است، سیگنال بهتری نسبت به هر موضوع ممیزی محتوا است.
تصویر بزرگتر
ساختن محصولات هوش مصنوعی برای کودکان دشوارتر از ساخت آنها برای بزرگسالان نیست. متفاوت سخت است. محدودیت های فنی قابل مدیریت هستند. همدلی طراحی مورد نیاز قابل توجه است. هر تصمیم گروه سنی، هر جریان رضایت، و هر آستانه تعدیل بیانگر قضاوتی در مورد اینکه چه چیزی برای یک کودک خاص در مرحله خاصی از رشد مناسب است، است.
اما خبر خوب اینجاست: خانواده ها برای محصولات بچه های هوش مصنوعی آماده هستند. نگرانی در مورد خود هوش مصنوعی نیست. این در مورد بی احتیاطی است. نشان دادن اینکه معماری ایمنی خود را به دقت در نظر گرفته‌اید، فروشندگان خود را مشخص کرده‌اید، با اعتدال واقعی ساخته‌اید، و رضایت والدین را به‌جای ثبت‌نام‌های یکپارچه طراحی کرده‌اید، این اعتماد را به دست می‌آورید.
