Еволюція концепції викидів

Сучасна наука про дані зробила революцію в розумінні відхилень, перетворивши їх з просто "помилок", які потрібно усунути, на цінні джерела інформації. Паралельно з цим, книга Малкольма Гладуелла "Outliers: The Story of Success" ("Винятки: історія успіху")"пропонує нам додатковий погляд на людський успіх як на статистично аномальне, але значуще явище.

‍

Від простих інструментів до складних методів

У традиційній статистиці викиди визначалися за допомогою відносно простих методів, таких як такі як бокс-діаграми, Z-критерій (який вимірює, наскільки значення відхиляється від середнього) та міжквартильний розмах (IQR).

‍

Ці методи, хоч і корисні, але мають суттєві обмеження. Достатньо лише одного викиду, щоб повністю спотворити лінійну регресійну модель - наприклад, збільшити нахил з 2 до 10. Це робить традиційні статистичні моделі вразливими в реальних умовах.

Машинне навчання запровадило більш досконалі підходи, які долають ці обмеження:

• Ізоляційний ліс: алгоритм, який "ізолює" викиди шляхом побудови випадкових дерев рішень. Викиди, як правило, ізолюються швидше, ніж нормальні точки, і потребують меншої кількості поділів.
• Локальний фактор викиду: Цей метод аналізує локальну щільність навколо кожної точки. Точка в регіоні з низькою щільністю порівняно з її сусідами вважається викидом.
• Автокодер: нейронні мережі, які навчаються стискати та відновлювати нормальні дані. Якщо точку важко відновити (з великою похибкою), вона вважається ненормальною.

Типи викидів у реальному світі

La наука про дані розрізняє різні категорії викидів, кожна з яких має унікальні наслідки:

• Глобальні викиди: значення, які явно виходять за рамки всього набору даних, наприклад, температура -10°C, зафіксована в тропічному кліматі.
• Контекстуальні відхилення: Значення, які здаються нормальними загалом, але є відхиленнями в конкретному контексті. Наприклад, витрати в розмірі 1000 євро в районі з низьким рівнем доходу або раптове збільшення веб-трафіку о 3 годині ночі.
• Колективні відхилення: Групи значень, які, взяті разом, демонструють аномальну поведінку. Класичним прикладом є синхронізовані сплески мережевого трафіку, які можуть свідчити про кібератаку.

Паралель з теорією успіху Гладуелла

Правило 10 000 годин та його обмеження

У своїй книзі Гладуелл вводить знамените "правило 10 000 годин", стверджуючи, що експертиза вимагає саме такої кількості цілеспрямованої практики. Він наводить такі приклади, як Білл Гейтс, який мав привілейований доступ до комп'ютерного терміналу, коли був ще підлітком, накопичуючи цінні години програмування.

‍

Ця теорія, хоч і захоплююча, але з часом зазнала критики. Як зазначив Пол Маккартні: "Є багато гуртів, які провели 10 000 годин практики в Гамбурзі і не досягли успіху, тому це не бездоганна теорія".

‍

Сама концепція, що лежить в основі цього правила, була оскаржена кількома авторами та науковцями, і ми самі маємо сильні сумніви щодо обґрунтованості теорії та її універсальності. Для тих, хто зацікавлений у вивченні питань, що розглядаються в книзі, я вказую на цей прикладале ви можете знайти набагато більше, якщо вам цікаво.

‍

Так само і в науці про дані ми зрозуміли, що важлива не просто кількість даних, а їхня якість і контекст. Алгоритм не стає кращим автоматично зі збільшенням кількості даних - він потребує контекстуального розуміння та відповідної якості.

‍

Важливість культурного контексту

Гладуелл підкреслює, як культура глибоко впливає на ймовірність успіху. Наприклад, він обговорює, як нащадки азійських фермерів, що вирощують рис, досягають успіхів у математиці не через генетичні причини, а через лінгвістичні та культурні фактори:

• Китайська система числення є більш інтуїтивно зрозумілою і вимагає меншої кількості складів для вимови чисел
• Вирощування рису, на відміну від західного сільського господарства, вимагає постійного і копіткого вдосконалення існуючих технологій, а не експансії на нові землі

Це культурне спостереження резонує з контекстуальним підходом до відхилень у сучасній науці про дані. Подібно до того, як значення може бути аномальним в одному контексті, але нормальним в іншому, успіх також глибоко контекстуальний.

‍

Стратегії пом'якшення наслідків: що ми можемо зробити?

У сучасній науці про дані використовуються різні стратегії для роботи з викидами:

1. Видалення: виправдане лише для очевидних помилок (наприклад, від'ємний вік), але ризиковане, оскільки може усунути важливі сигнали
2. Трансформація: Такі методи, як "вінсоризація" (заміна екстремальних значень менш екстремальними), зберігають дані, зменшуючи їхній спотворюючий вплив.
3. Алгоритмічний відбір: Використовуйте моделі, які є стійкими до викидів, такі як випадкові ліси, замість лінійної регресії.
4. Генеративний ремонт: використання передових методів, таких як GAN (Generative Adversarial Networks), для синтезу правдоподібних замін для викидів

‍

Реальні кейси з виявлення відхилень у машинному навчанні та штучному інтелекті

Нещодавнє застосування методологій виявлення відхилень та аномалій докорінно змінило те, як організації виявляють незвичні закономірності в різних галузях:

‍

Банківська справа та страхування

‍

‍

‍

Особливо цікавий кейс стосується застосування методів виявлення відхилень, заснованих на навчанні з підкріпленням, для аналізу детальних даних, наданих голландськими страховими та пенсійними фондами. Відповідно до нормативної бази Solvency II та FTK, ці фінансові установи повинні подавати великі масиви даних, які потребують ретельної перевірки. Дослідники розробили ансамблевий підхід, який поєднує кілька алгоритмів виявлення відхилень, включаючи аналіз міжквартильного діапазону, метрики відстані до найближчого сусіда та обчислення локальних коефіцієнтів відхилень, доповнений навчанням з підкріпленням для оптимізації вагових коефіцієнтів ансамблю.. 1.

‍

Система продемонструвала значні покращення порівняно з традиційними статистичними методами, постійно вдосконалюючи свої можливості виявлення з кожною перевіреною аномалією, що робить її особливо цінною для регуляторного нагляду, де витрати на перевірку є значними. Цей адаптивний підхід вирішив проблему зміни шаблонів даних з часом, максимізуючи корисність раніше перевірених аномалій для підвищення точності виявлення в майбутньому.

В іншій вартій уваги реалізації банк впровадив інтегровану систему виявлення аномалій, яка поєднувала історичні дані про поведінку клієнтів з передовими алгоритмами машинного навчання для виявлення потенційно шахрайських транзакцій. Система відстежувала шаблони транзакцій, щоб виявити відхилення від усталеної поведінки клієнтів, такі як раптові географічні зміни в активності або нетипові обсяги витрат.. 5.

‍

Це впровадження заслуговує на особливу увагу, оскільки є прикладом переходу від реактивного до проактивного запобігання шахрайству. Як повідомляється, фінансовий сектор Великобританії відшкодував приблизно 18% потенційних збитків завдяки подібним системам виявлення аномалій у режимі реального часу, впровадженим у всіх банківських операціях. Такий підхід дозволив фінансовим установам негайно зупиняти підозрілі транзакції та позначати рахунки для подальшого розслідування, ефективно запобігаючи значним фінансовим втратам ще до того, як вони матеріалізуються.. 3

‍

Дослідники розробили та оцінили алгоритм виявлення аномалій на основі машинного навчання, розроблений спеціально для перевірки даних клінічних досліджень у численних неврологічних реєстрах. Дослідження продемонструвало ефективність алгоритму у виявленні аномальних патернів у даних, що виникають через неуважність, систематичні помилки або навмисну фабрикацію значень.. 4.

Дослідники оцінили кілька метрик відстані і виявили, що комбінація обчислень відстані Канберри, Манхеттена і Махаланобіса забезпечує оптимальну продуктивність. Реалізація досягла понад 85% чутливості виявлення при перевірці на незалежних наборах даних, що робить її цінним інструментом для підтримки цілісності даних у клінічних дослідженнях. Цей кейс ілюструє, як виявлення аномалій сприяє розвитку доказової медицини, забезпечуючи найвищу можливу якість даних у клінічних дослідженнях і реєстрах. 4.

‍

Система продемонструвала свою універсальність, що свідчить про можливість її впровадження в інші системи електронного збору даних (EDC), окрім тих, що використовуються в оригінальних неврологічних реєстрах. Така адаптивність підкреслює можливість перенесення добре розроблених підходів до виявлення аномалій між різними платформами управління медичними даними.

‍

Виробництво

‍

‍

‍

Виробничі компанії впровадили складні системи виявлення аномалій на основі машинного зору для виявлення дефектів у виготовлених деталях. Ці системи досліджують тисячі подібних компонентів на виробничих лініях, використовуючи алгоритми розпізнавання зображень і моделі машинного навчання, навчені на великих наборах даних, що містять як дефектні, так і бездефектні приклади. 3

‍

Практична реалізація цих систем являє собою значний прогрес порівняно з ручним контролем. Виявляючи навіть найменші відхилення від встановлених стандартів, ці системи виявлення аномалій можуть ідентифікувати потенційні дефекти, які в іншому випадку можуть залишитися невиявленими. Ця здатність особливо важлива в галузях, де відмова компонента може призвести до катастрофічних наслідків, наприклад, в аерокосмічній промисловості, де одна несправна деталь може стати причиною авіакатастрофи..

‍

На додаток до перевірки компонентів, виробники розширили можливості виявлення несправностей до самих машин. Вони постійно контролюють робочі параметри, такі як температура двигуна та рівень палива, щоб виявити потенційні несправності до того, як вони спричинять зупинку виробництва або загрозу безпеці..

‍

Організації з усіх секторів впровадили системи виявлення аномалій на основі глибокого навчання, щоб трансформувати свій підхід до управління продуктивністю додатків. На відміну від традиційних методів моніторингу, які реагують на проблеми після того, як вони вплинули на роботу, ці впровадження дозволяють виявити потенційні критичні проблеми.

‍

Важливим аспектом впровадження є кореляція різних потоків даних з ключовими показниками продуктивності додатків. Ці системи навчаються на великих історичних наборах даних, щоб розпізнавати шаблони і поведінку, які вказують на нормальну роботу програми. Коли виникають відхилення, алгоритми виявлення аномалій виявляють потенційні проблеми до того, як вони перетворяться на переривання роботи.

‍

Технічна реалізація використовує здатність моделей машинного навчання автоматично співвідносити дані з різними показниками продуктивності, що дає змогу точніше виявляти першопричини, ніж традиційні підходи до моніторингу на основі порогових значень. ІТ-команди, які використовують ці системи, можуть швидше діагностувати та вирішувати проблеми, що виникають, значно скорочуючи час простою додатків та його вплив на бізнес.

EN

‍

‍

‍

Реалізації комп'ютерної безпеки з виявленням аномалій зосереджені на безперервному моніторингу мережевого трафіку і моделей поведінки користувачів для виявлення ледь помітних ознак вторгнення або аномальної активності, які можуть обійти традиційні заходи безпеки. Ці системи аналізують шаблони мережевого трафіку, поведінку користувачів і спроби доступу до системи, щоб виявити потенційні загрози безпеці.

‍

Реалізації особливо ефективні у виявленні нових шаблонів атак, які системи виявлення на основі сигнатур можуть не виявити. Встановлюючи базову поведінку користувачів і систем, виявлення аномалій може відмічати дії, які відхиляються від цих норм, що потенційно може вказувати на поточне порушення безпеки. Ця здатність робить виявлення аномалій важливим компонентом сучасних архітектур комп'ютерної безпеки, доповнюючи традиційні превентивні заходи.3.

‍

З цих тематичних досліджень випливає кілька загальних підходів до впровадження. Організації зазвичай використовують поєднання описової статистики та методів машинного навчання, причому конкретні методи обираються відповідно до характеристик даних і характеру потенційних аномалій. 2.

‍

Висновок

Ці реальні кейси демонструють практичну цінність виявлення відхилень і аномалій у різних галузях. Від запобігання фінансовому шахрайству до перевірки даних у сфері охорони здоров'я, від контролю якості виробництва до моніторингу ІТ-систем - організації успішно впроваджують дедалі складніші методології виявлення незвичайних патернів, які варто дослідити.

‍

Еволюція від суто статистичних підходів до систем виявлення аномалій на основі штучного інтелекту являє собою значний прогрес у можливостях, що дозволяє більш точно ідентифікувати складні аномальні патерни і зменшити кількість помилкових спрацьовувань. Оскільки ці технології продовжують розвиватися і з'являється все більше практичних прикладів, ми можемо очікувати подальшого вдосконалення стратегій впровадження і розширення в додаткові сфери застосування.

‍

Сучасна наука про дані рекомендує гібридний підхід до роботи з викидами, що поєднує статистичну точність з контекстним інтелектом машинного навчання:

1. Використання традиційних статистичних методів для початкового вивчення даних
2. Використання передових алгоритмів ML для більш складного аналізу
3. Підтримувати етичну пильність щодо упереджень, пов'язаних з виключенням
4. Розробити специфічне для кожної галузі розуміння того, що є аномалією

Подібно до того, як Гладуелл пропонує нам розглядати успіх як складний феномен, на який впливають культура, можливості та час, сучасна наука про дані закликає нас розглядати винятки не як прості помилки, а як важливі сигнали в ширшому контексті.

‍

Приймаючи життєві винятки

Подібно до того, як наука про дані перейшла від сприйняття відхилень як просто помилок до визнання їх джерелами цінної інформації, ми також повинні змінити своє ставлення до нетрадиційних кар'єр, тобто перейти від простого числового аналізу до глибшого, більш контекстуального розуміння успіху.

‍

Успіх у будь-якій сфері виникає на унікальному перетині таланту, накопиченого досвіду, мереж контактів і культурного контексту. Як і сучасні алгоритми машинного навчання, які більше не усувають відхилення, а намагаються їх зрозуміти, ми теж повинні навчитися бачити цінність у найрідкісніших траєкторіях.