Введение в понятное ИИ и зачем оно нам нужно

1656551653 vvedenie v ponyatnoe ii i zachem ono nam nuzhno

от Патрика Ферриса

byBedZcaqiptKjJnePYwjsE2plP2-Qb2wZlP
Черный ящик — метафора, представляющая неизвестную внутреннюю механику функций, таких как нейронные сети

Нейронные сети (и все их подтипы) все чаще используются для создания программ, которые могут предусматривать и классифицироваться во множестве различных параметров.

Примеры включают машинный перевод с использованием рекуррентных нейронных сетей и классификацию изображений с помощью сверточной нейронной сети. Исследование, опубликованное Google DeepMind, вызвало интерес к обучению с подкреплением.

Все эти подходы развили многие области и создали удобные модели, которые могут повысить производительность и эффективность.

однако, мы действительно не знаем, как они работают.

В этом году мне удалось посетить конференцию «Открытие знаний и интеллектуальный анализ данных» (KDD). Из докладов, в которых я участвовал, были две основные области исследования, которые, кажется, волнуют многие:

  • Во-первых, найти значимое представление графовых структур для подачи в нейронные сети. Oriol Vinyals из DeepMind рассказала о своих нейронных сетях для передачи сообщений.
  • Вторая область, и в центре внимания настоящей статьи, есть объясняемые модели ИИ. Когда мы создаем новые и инновационные программы для нейронных сетей, вопрос «Как они работают?» становится все более важным.

Почему нужны объясняемые модели?

Нейронные сети не ложны.

Кроме проблем переоборудования и недооборудования, для борьбы с которыми мы разработали много инструментов (например, Dropout или увеличение размера данных), нейронные сети работают непрозрачно.

Мы действительно не знаем, почему они делают такой выбор. Поскольку модели становятся сложнее, задача создания интерпретируемой версии модели становится сложнее.

Возьмем, например, атаку одним пикселем (смотрите здесь отличное видео на бумаге). Это осуществляется с помощью сложного подхода, анализирующего CNN и применяющего дифференциальную эволюцию (член эволюционного класса алгоритмов).

В отличие от других стратегий оптимизации, которые ограничивают дифференцированную целевую функцию, этот подход использует итерационный эволюционный алгоритм для получения лучших решений. В частности, для этой однопиксельной атаки единственной необходимой информацией были вероятности меток классов.

xh9yxzzOW8B7zibKo1JbjkaWOacnxx8mK0kl
Из атаки одним пикселем для обмана глубоких нейронов от Jiawei Su et al.

Относительная легкость обмануть эти нейронные сети вызывает беспокойство. Кроме этого, существует более системная проблема: доверие к нейронной сети.

Лучший пример тому – медицинская сфера. Скажем, вы создаете нейронную сеть (или любую модель черного ящика), чтобы помочь предположить сердечные заболевания с учетом записи пациента.

Когда вы учите и тестируете свою модель, вы получаете хорошую точность и убедительную положительную прогнозную ценность. Вы приносите его в клиницист, и они соглашаются, что это мощная модель.

Но они будут сомневаться, чтобы использовать его, потому что вы (или модель) не можете ответить на простой вопрос: «Почему вы предсказали, что этот человек имеет большую вероятность развития сердечных заболеваний?»

Это отсутствие прозрачности – проблема для клинициста, который хочет понять, как работает модель, чтобы помочь им улучшить свои услуги. Это также проблема для пациента, желающего конкретной причины для этого прогноза.

С нравственной точки зрения, правильно ли говорить пациенту, что у него выше вероятность заболевания, если ваша единственная аргументация заключается в том, что «черный ящик мне так сказал»? Здравоохранение – это также наука, как и сострадание к пациенту.

За последние годы сфера искусственного интеллекта, что можно объяснить, возросла, и эта тенденция, похоже, будет продолжаться.

Ниже приведены некоторые из интересных и инновационных направлений, которые исследуют исследователи и эксперты по машинному обучению в поисках моделей, которые не только хорошо работают, но и могут рассказать, почему они делают этот выбор.

Модель обратного времени внимания (RETAIN)

Модель RETAIN была разработана в Технологическом институте Джорджии Эдвардом Чой и т.д. Он был введен, чтобы помочь врачам понять, почему модель предполагала риск сердечной недостаточности у пациентов.

ezTATi55cPwwF3y4ntYTSiqV0JudbaOVVowa
Модель рекуррентной нейронной сети RETAIN использует механизмы внимания для улучшения интерпретации.

Идея заключается в том, что, учитывая записи посещений пациентов, также содержащих события посещения, они могли бы предусмотреть риск сердечной недостаточности.

Исследователи разделили входные данные на две рекуррентные нейронные сети. Это позволило им использовать механизм внимания на каждом, чтобы понять, на чем фокусируется нейронная сеть.

После учебы модель могла предугадать риск для пациента. Но он может использовать альфа- и бета-параметры, чтобы определить, какие посещения больницы (и какие события в рамках посещения) повлияли на его выбор.

Локальные интерпретированные модели-агностические пояснения (LIME)

Другой подход, который стал достаточно распространенным – это LIME.

Это модель post-hoc – она дает объяснение решения после его принятия. Это означает, что это не чистая стеклянная коробка, прозрачная модель (как деревья решений) от начала до конца.

Одним из главных преимуществ этого подхода есть то, что он не зависит от модели. Его можно применить к любой модели, чтобы получить пояснения по ее предсказаниям.

Ключевая концепция, лежащая в основе этого подхода, это возмущение входных данных и наблюдение за тем, как это влияет на результаты модели. Это позволяет нам построить картину, на которую входные данные сосредотачивается модель и которые использует для прогнозирования.

Например, представьте себе какую-нибудь CNN для классификации изображений. Существует четыре основных шага использования модели LIME для получения объяснения:

  • Начните с обычного изображения и используйте модель черного ящика для создания распределения вероятностей по классам.
  • Затем каким-то образом взбудоражить вход. Для изображений это может быть укрывание пикселей путем окраски их в серый цвет. Теперь проведите их через модель черного ящика, чтобы увидеть, как изменились вероятности для класса, который он изначально предполагал.
  • Используйте интерпретационную (обычно линейную) модель, например дерево решений для этого набора данных возмущений и вероятностей, чтобы выделить ключевые признаки, объясняющие изменения. Модель локально взвешена — это значит, что мы больше заботимся о возмущениях, которые наиболее похожи на исходное изображение, которое мы использовали.
  • Выведите функции (в нашем случае пиксели) с наибольшим весом как наше объяснение.

Послойное распространение релевантности (LRP)

Этот подход использует идею перераспределения и сохранения релевантности.

Мы начинаем с входных данных (скажем, изображения) и их вероятности классификации. Затем потрудитесь назад, чтобы перераспределить это на все входящие данные (в этом случае пиксели).

Процесс перераспределения достаточно прост от слоя к слою.

f5l2bqv5EmPztk1i0dyRMBRdj1AK5HdPMNX8
Не пугайтесь – это уравнение является лишь взвешиванием релевантности на основе активации нейронов и связи веса.

В приведенном выше уравнении каждый термин представляет следующие идеи:

  • x_j — значение активации для нейрона j в слое л
  • w_j,k — взвешивание связи между нейроном j в слое л и нейрон к в слое л + 1
  • R_j — Оценки релевантности для каждого нейрона в слое л
  • R_k — Оценки релевантности для каждого нейрона в слое l+1

Ипсилон — это лишь небольшое значение, чтобы предотвратить деление на ноль.

Как видите, мы можем работать обратно, чтобы определить релевантность отдельных вводимых данных. Кроме того, мы можем отсортировать их в порядке релевантности. Это позволяет нам извлечь значимое подмножество входных данных как самое полезное или мощное для прогнозирования.

Что дальше?

Приведенные выше методы создания объясняемых моделей отнюдь не являются исчерпывающими. Они представляют собой образец некоторых подходов, которые исследователи пытались использовать для создания интерпретированных прогнозов на основе моделей черного ящика.

Надеюсь, эта публикация также проливает свет на то, почему это столь важная область исследования. Нам нужно продолжать исследования этих методов и разрабатывать новые, чтобы машинное обучение приносило пользу как можно большему количеству областей – безопасным и надежным способом.

Если вам нужно больше статей и областей для чтения, попробуйте что-нибудь из нижеприведенного.

  • Исследования DeepMind о векторах активации концепций, а также слайды из доклада Виктории Краковны на конференции Neural Information Processing Systems (NIPS).
  • Статья: Dung Huk Park et al. о наборах данных для измерения моделей, которые можно объяснить.
  • Финал Доши-Велес и статья Been Kim о поле в целом

Искусственный интеллект не должен становиться могучим божеством, которому мы слепо следуем. Но мы также не должны забывать об этом и полезном понимании, которое оно может иметь. В идеале мы создадим гибкие и интерпретированные модели, которые могут работать в сотрудничестве с экспертами и их знаниями в области, чтобы обеспечить светлое будущее для всех.

Добавить комментарий

Ваш адрес email не будет опубликован.