לקוחה של אמזון בשם בדוי, @fangirlinmegan, מספרת שמערכת הפרופיילינג הפנימית של החברה הסיקה שהיא בעלת 'עכוז שטוח' מתוך היסטוריית הרכישות שלה. היא שיתפה את הגילוי ברשתות החברתיות, והפוסט הפך לוויראלי, ומשך תשומת לב לאופן שבו פלטפורמות מסחר אלקטרוני משתמשות בלמידת מכונה כדי לבנות פרופילים מפורטים של קונים.
התווית לא הייתה משהו שהיא סיפקה מרצונה. היא הופיעה בין נקודות מידע אחרות שאמזון אספה עליה, לפי עדותה. המנגנון המדויק מאחורי ההסקה לא נחשף, אך הוא מצביע על פרקטיקה רחבה יותר: קמעונאים המשתמשים בדפוסי רכישה כדי לחזות מאפיינים שלקוחות מעולם לא חשפו במפורש.
מה חשפה היסטוריית הרכישות
מנוע ההמלצות והאנליטיקה הפנימית של אמזון נשענים על למידת מכונה ועיבוד שפה טבעית כדי לסנן את מה שאנשים קונים, מחפשים וצופים בו. מהנתונים הגולמיים הללו, המערכת יכולה להסיק מסקנות—חלקן אישיות באופן מפתיע. במקרה זה, ההסקה נגעה לצורת הגוף, תכונה שאין לה קשר ברור לפריטים בעגלת הקניות.
התווית צצה באופן שאיפשר ללקוחה לראות אותה ישירות, וזה יוצא דופן. רוב הפרופיילינג מתרחש מאחורי הקלעים, בלתי נראה לאנשים שהוא מתאר. אי-הנראות הזו היא חלק ממה שהופך את הפרשה למטרידה עבור תומכי פרטיות: אינך יכול לתקן או לערער על אפיון שאתה לא יודע שקיים.
אמזון לא הגיבה בפומבי על המקרה הספציפי. מדיניות הפרטיות של החברה אמנם מזכירה שהיא משתמשת בנתונים כדי להתאים אישית המלצות ולשפר שירותים, אך היא אינה מפרטת את מלוא טווח ההסקות שהמערכות שלה יכולות לייצר.
כיצד למידת מכונה מסיקה תכונות פיזיות
מודלים של למידת מכונה מתוכננים למצוא דפוסים. כאשר מזינים להם שנים של רשומות עסקאות, התנהגות גלישה ואותות דמוגרפיים, הם יכולים לקבץ לקוחות לקבוצות שמתכתבות עם מאפיינים כמו גיל, הכנסה, או אפילו מצב בריאותי. תכונות פיזיות אינן יוצא מן הכלל. מודל עשוי לשים לב שאנשים שקונים מידות או מותגים מסוימים של בגדים נוטים גם לחלוק סוג גוף מסוים, ואז ליישם את המתאם הזה על לקוחות חדשים.
עיבוד שפה טבעית מוסיף שכבה נוספת. ביקורות על מוצרים, שאילתות חיפוש וצ'אטים עם שירות לקוחות מכילים מילים שרומזות על מאפיינים פיזיים. גם ללא הצהרות ישירות, ניתן לנתח את השפה שאנשים משתמשים בה לאותות. עם הזמן, המערכת בונה פרופיל שחורג בהרבה ממה שהלקוח משתף בכוונה.
הבעיה אינה שהטכנולוגיה זדונית מטבעה. הבעיה היא שההסקות יכולות להיות שגויות, והן לרוב בלתי נראות. סוג גוף שסומן בטעות עשוי להשפיע על אילו בגדים מומלצים, אך הוא יכול גם להזין מערכות אחרות—ביטוח, אשראי או תעסוקה—אם הנתונים ייחשפו או ידלפו אי פעם.
שאלת ה-GDPR המרחפת ברקע
עבור משתמשים באיחוד האירופי, תקנת הגנת הנתונים הכללית (GDPR) מעניקה לאנשים את הזכות לגשת לנתונים אישיים, לתקן אותם ולמחוק אותם. מאפיינים שהוסקו נחשבים לנתונים אישיים לפי ה-GDPR, גם אם החברה מעולם לא ביקשה אותם במפורש. המשמעות היא שלקוח באיחוד האירופי במצב דומה יכול לדרוש לדעת אילו תוויות הוחלו עליו ולבקש לתקן תוויות לא מדויקות.
האם שיטות הפרופיילינג של אמזון עומדות במלואן בזכויות אלו היא שאלה פתוחה. התקנה גם מחייבת חברות להסביר את ההיגיון מאחורי החלטות אוטומטיות שמשפיעות באופן משמעותי על individuals. תווית כמו 'עכוז שטוח' אולי לא נראית משמעותית בפני עצמה, אך היא חלק מפרופיל גדול יותר שיכול להשפיע על מה שלקוח רואה, מה שמציעים לו וכמה הוא משלם.
אמזון אינה הקמעונאית היחידה שמשתמשת בסוג כזה של ניתוח. הפרקטיקה נפוצה ברחבי המסחר האלקטרוני, המדיה החברתית והפרסום. מה ששונה כאן הוא שלקוחה הציצה אל תוך המכונה והחליטה לשתף אותה.
מה קורה הלאה ללקוחה ולחברה
הפוסט של @fangirlinmegan עורר שיחות על שקיפות נתונים, אך לא ברור אם היא מתכננת להגיש תלונה רשמית. אמזון עלולה לעמוד בפני בחינה של רגולטורים אם התקרית תוביל לחקירה, במיוחד באירופה. לעת עתה, החברה לא אותתה על שינויים בשיטות הפרופיילינג שלה.
השאלה הגדולה יותר היא האם לקוחות יתחילו לדרוש יותר שקיפות לגבי התוויות שמוצמדות להם. רוב האנשים אין להם מושג אילו הסקות הוסקו מהרגלי הקניות שלהם. המקרה הזה מראה כמה קל להסקות אלו לחצות קו—וכמה קשה לדעת שהן קיימות עד שמישהו נתקל בהן במקרה.
