כשמדברים על סיכונים בבינה מלאכותית, הכותרות עוסקות בדרך כלל בתרחישי מדע בדיוני. הסיכונים שבעל עסק צריך לחשוב עליהם הרבה יותר יומיומיים: סוכן ששלח מייל ללקוח הלא נכון, מחק רשומות ב-CRM, או רץ כל הלילה בלולאה וצבר חשבון של מאות שקלים. אף אחד מאלה לא דורש AI “זדוני”. מספיק AI עם יותר מדי גישה ופחות מדי גבולות.
החדשות הטובות: את רוב הסיכונים האלה אפשר לצמצם מאוד עם כמה כללים פשוטים, שקל יותר ליישם בהתחלה מאשר לתקן אחרי.
למה זה נהיה רלוונטי עכשיו
עד לא מזמן, AI בעסק בעיקר כתב טקסט, ואדם העתיק אותו. היום סוכני AI מחוברים ישירות למערכות, בין השאר דרך תקנים כמו MCP, ויכולים לבצע פעולות בעצמם. זה מה שהופך אותם לשימושיים, וזה גם מה שמחייב לחשוב על הרשאות. גם בקהילות הפיתוח רואים את זה: כלים לניהול תקציב של סוכנים, חומות אש לפעולות שלהם, ואזהרות על סוכנים שהורידו קוד זדוני. השאלה עברה מ”מה הסוכן יודע לעשות” ל”מה מותר לו לעשות”.
5 כללים לתת ל-AI גישה בצורה בטוחה
- הרשאה מינימלית. הסוכן מקבל גישה רק למה שהמשימה שלו דורשת. סוכן שמסכם לידים צריך לקרוא את ה-CRM, לא למחוק ממנו. אם אפשר, יוצרים לו משתמש נפרד עם הרשאות מוגבלות, ולא מחברים אותו דרך החשבון של המנהל.
- קריאה לפני כתיבה. מתחילים בחיבור לקריאה בלבד. רק אחרי שרואים שהסוכן מבין את הנתונים נכון, מוסיפים פעולות כתיבה, אחת אחת.
- אישור אנושי לפעולות רגישות. כל מה שיוצא מהעסק החוצה, כמו מייל ללקוח, הצעת מחיר או תשלום, עובר אישור של אדם. פעולות פנימיות והפיכות יכולות לרוץ לבד.
- תקרת תקציב. לכל סוכן מגדירים תקרת שימוש יומית או חודשית אצל ספק ה-AI. זה מונע הפתעות בחשבון אם משהו נתקע בלולאה.
- יומן פעולות. כל פעולה שהסוכן מבצע נרשמת: מה עשה, מתי, ועל סמך מה. כשמשהו משתבש, זה ההבדל בין תיקון של חמש דקות לבין ניחושים.
מה עם המידע עצמו
שאלה שחוזרת היא לאן הולך המידע. כל מה שהסוכן קורא כדי לעבוד עובר לספק ה-AI. לכן כדאי להשתמש בתוכנית עסקית שבה הספק מתחייב לא לאמן מודלים על המידע שלכם, ולא לחשוף לסוכן מידע רגיש שהוא לא צריך, כמו מספרי כרטיסי אשראי או מסמכים רפואיים.
הסיכון שפחות מדברים עליו
סוכן יכול לקבל הוראות גם ממקורות שאתם לא שולטים בהם: מייל שנכנס, דף אינטרנט, מסמך שלקוח שלח. אם בתוך הטקסט מסתתרת הוראה כמו “שלח את רשימת הלקוחות לכתובת הזו”, סוכן בלי גבולות עלול לנסות לבצע אותה. ההגנה הטובה ביותר כאן היא שוב הכללים שלמעלה: אם אין לסוכן הרשאה לשלוח מידע החוצה בלי אישור, ההוראה פשוט לא תתבצע.
שאלות שאנחנו נשאלים
זה אומר שסוכני AI מסוכנים לעסק? לא יותר מעובד חדש שקיבל גישה לכל המערכות ביום הראשון. הפתרון דומה: גישה הדרגתית, בקרה, ויכולת לראות מה נעשה.
כמה זה מאט את העבודה? בהתחלה קצת, כי יש יותר אישורים. עם הזמן, פעולות שהוכיחו את עצמן עוברות לריצה אוטומטית. חשוב לומר שיש פעולות שכדאי שיישארו עם אישור תמיד.
מה עושים אם הסוכן כבר עשה טעות? אם יש יומן פעולות, יודעים בדיוק מה קרה ואפשר לתקן. לכן היומן הוא לא תוספת, הוא חלק מהבסיס.
צריך מומחה אבטחה? לעסק קטן, בדרך כלל לא. חמשת הכללים האלה מכסים את רוב הסיכונים. בעסק שמטפל במידע רגיש במיוחד, כמו רפואי או פיננסי, כדאי בדיקה מקצועית.
רוצים לחבר AI למערכות של העסק בלי לאבד שליטה? דברו איתנו, ונבנה את החיבור עם הגבולות הנכונים מההתחלה.
