2.3: Алгоритмічний ухил

Last updated
Save as PDF

Page ID: 53966

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

«Хоча імпульс полягає в тому, щоб вірити в об'єктивність машини, ми повинні пам'ятати, що алгоритми були побудовані людьми» (Chmielinski, qtd. в Head et al. 38).

Огляд та приклади

Оскільки ми часто припускаємо, що алгоритми є нейтральними та об'єктивними, вони можуть неточно проектувати більший авторитет, ніж людський досвід. Таким чином, всепроникність алгоритмів - і їх неймовірний потенціал впливати на наше суспільство, політику, інститути та поведінку - викликає все більшу стурбованість.

Алгоритмічний ухил - одна з цих ключових проблем. Це відбувається, коли алгоритми відображають неявні цінності людей, які беруть участь у їх створенні або використанні, систематично «тиражуючи або навіть посилюючи упередження людини, особливо ті, що впливають на захищені групи» (Лі та ін.). У пошукових системах, наприклад, алгоритмічний упередження може створювати результати пошуку, які відображають расистські, сексистські або інші соціальні упередження, незважаючи на передбачувану нейтральність даних. Ось лише кілька прикладів алгоритмічного упередженості (Lee et al. ):

Алгоритм, який використовували судді для прогнозування того, чи повинні бути засуджені у в'язницю або звільнені під заставу, був визнаний упередженим проти афро-американців.
Амазонці довелося припинити використання алгоритму рекрутингу після виявлення гендерної упередженості: Алгоритм карав будь-яке резюме, яке містило слово «жіноче» у тексті, оскільки дані базувалися на резюме, історично поданих Amazon, які були переважно від білих чоловіків.
Дослідники Прінстонського університету проаналізували алгоритми і виявили, що вони підхопили існуючі расові та гендерні упередження: європейські імена сприймалися як більш приємні, ніж у афроамериканців, а слова «жінка» і «дівчина» частіше асоціювалися з мистецтвом замість науки і математики.
У численних статтях розглядалася роль, яку алгоритм рекомендацій YouTube може відігравати у радикалізації глядачів.

Оскарження алгоритмів пригнічення

Д-р Сафія У. Нобл, доцент UCLA (Департаменти інформаційних досліджень та афроамериканських досліджень), є автором книги «Алгоритми пригнічення: як пошукові системи підсилюють расизм». Вона також є співдиректором Центру критичних Інтернет-запитів UCLA та співзасновником Інституту інформаційної етики та справедливості. У відео нижче [3:43] доктор Ноубл обговорює свої висновки щодо алгоритмічного упередженості в результатах пошуку Google, особливо для кольорових жінок.

Мініатюра вбудованого елемента «Алгоритми пригнічення: Сафія Умоджа Шляхетний»

Елемент YouTube був виключений з цієї версії тексту. Ви можете переглянути його онлайн тут: http://pb.libretexts.org/collegeresearch/?p=49

Примітка: Це відео автоматично підписано. Точні підписи доступні у версії Amara. Використовуйте стенограму тексту, якщо ви віддаєте перевагу читати.

Боротьба з упередженістю в

Джой Буоламвіні, дослідник MIT, стипендіат Родса, стипендіат Фулбрайта, поет коду та засновник Алгоритмічної Ліги Справедливості, виявила, що алгоритми, що живлять програмні системи розпізнавання обличчя, не можуть розпізнати темніші кольори обличчя, оскільки вони базувалися на наборах даних, які були в основному білий і чоловічий. Тепер вона прагне боротися з упередженістю в машинному навчанні, яке вона називає «закодованим поглядом». У наступному відео [8:44] вона пояснює свою роботу з розпізнаванням обличчя, а також задає важливі питання про те, як алгоритми впливають на критичні рішення, наприклад: Кого наймають або звільняють? Ви отримуєте цей кредит? Чи отримуєте страховку? Ви прийняті до коледжу, в який хотіли потрапити? Чи платите ми з вами однакову ціну за той самий товар, придбаний на тій же платформі?

Мініатюра для вбудованого елемента «Joy Buolamwini: Як я борюся з упередженням в алгоритмах»

Елемент TED було виключено з цієї версії тексту. Ви можете переглянути його онлайн тут: http://pb.libretexts.org/collegeresearch/?p=49

Примітка. Увімкніть закриті підписи за допомогою кнопки субтитрів або використовуйте інтерактивну стенограму тексту, якщо бажаєте читати.

Зброя математичного знищення

Кеті О'Ніл написала кілька книг з науки про дані, включаючи зброю математичного знищення. Вона була колишнім директором програми Lede з практики даних у Вищій школі журналістики Колумбійського університету. У наступному відео [13:11] вона пояснює, як алгоритми не є справедливими та об'єктивними, і насправді можуть «автоматизувати статус-кво» та «кодифікувати» сексизм і фанатизм. Вона робить висновок, що ці секретні алгоритми «чорного ящика», створені приватними компаніями, можуть приховувати потворні істини, часто з руйнівними результатами.

Мініатюра вбудованого елемента «Кеті О'Ніл: Ера сліпої віри у великі дані повинна закінчитися»

Джерела

«Алгоритми пригнічення, фокус факультету: Сафія Умоджа Шляхетний». YouTube, завантажений ОСК Анненберг, 28 лютого 2018 року.

«Ера сліпої віри у великі дані повинна закінчитися: Кеті О'Ніл» TED ліцензується відповідно до CC BY-NC-ND 4.0

Голова, Елісон Дж., Барбара Фістер та Маргі Макміллан. «Інформаційна грамотність в епоху алгоритмів». Інформаційна грамотність проекту, 15 січня 2020 року. Ліцензія на умовах CC BY-NC-SA 4.0

«Як я борюся з упередженістю в алгоритмах: Joy Buolamwini» від TED ліцензується відповідно до CC BY-NC-ND 4.0

Лі, Ніколь Тернер, Пол Резник та Джині Бартон. «Алгоритмічне виявлення та зменшення упередженості: найкращі практики та політики щодо зменшення шкоди споживачам». Брукінгс, 22 травня 2019 року.

Текст адаптований з «Цифрове громадянство» Алохи Сарджент та Джеймса Глапа-Гроссклага для @ONE, ліцензованого відповідно до CC BY 4.0