Ни для кого не секрет, что цифровые данные генерируются грузовиком, и что они могут быть на вес золота.
Но это знание не столь важно, как понимание как Вы можете обуздать зверь данных, а затем выжать каждую каплю его ценности.
Конечно, творческие и изобретательные люди в том или ином месте всегда находят новые процессы и программы, лучше использующие их данные. Так что мы исследуем некоторые из доминирующих сегодня тенденций использования данных и оставим прогнозирование технологий завтрашнего дня экспертам.
Этот раздел взят из моей книги Keeping Up: Backgrounds to All the Big Technology Trends You Can’t Afford Ignore. Если вы хотите просмотреть эту главу как видео, не стесняйтесь следовать здесь:
Прежде чем понять наше понимание того, что может помочь нам продуктивно работать с данными, целесообразно сначала определить, что такое данные.
Конечно, мы видели много замечательных индивидуальных примеров в моей предыдущей статье об управлении хранилищем данных, включая огромные объемы информации о производительности и состоянии, созданные цифровыми компонентами сложных систем, таких как автомобили. Но это не то же, что определение.
Тогда давайте определим это. Данные для наших целей – это любая цифровая информация, создаваемая или используемая для ваших вычислительных операций. Это включает сообщения журнала, созданные вычислительным устройством, информацию о погоде, передаваемую через удаленные датчики на сервер, файлы цифровых изображений (например КТ, томография и ультразвуковое сканирование), а также числа, которые вы вводите в электронную таблицу. И все между ними.
Что подводит нас к большие данные – еще одна из звучащих громких фраз, часто без сопроводительного контекста или ясности.
С первого взгляда вы, вероятно, это поймете большие данные описывает наборы данных, объемы которых превышают объем традиционных программных и аппаратных решений для обработки данных.
Действительно, ваш способ определения был бы в основном правильным. Хотя мы могли бы добавить одну-две второстепенные характеристики. The сложность набор данных, например, также может заставить вас рассмотреть решения для больших данных. И наборы данных, которые необходимо потреблять и анализировать во время движения (потоковые данные) также часто лучше решать с помощью инструментов обширных данных.
Следует отметить, что рабочие нагрузки с большими данными часто стремятся решить крупномасштабные проблемы прогнозной аналитики или аналитики поведения. Такие проблемы распространены в таких областях как здравоохранение, Интернет вещей (IoC) и информационные технологии.
Устранив это, теперь мы можем приступить к пониманию того, как и почему используются эти данные.
Что? Обычная старая реальность вдруг стала недостаточной для вас?
Ну да, в некоторых случаях простая старая реальность действительно недостаточна. По крайней мере, если вы сильно заинтересованы в опыте, который сложен или невозможен при нормальных условиях.
Устройство виртуальной реальности (VR) позволяет погрузиться в несуществующую среду.
Самые распространенные примеры доступной на данный момент технологии VR включают определенную гарнитуру, которая проецирует визуальные изображения перед вашими глазами, отслеживая движения вашей головы и, в некоторых случаях, то, как вы двигаетесь по другим частям тела. Визуальные изображения адаптируются к вашим физическим движениям, давая вам ощущение, что вы действительно находится внутри, и управляете виртуальной проекцией.
VR имеет потенциальное применение в образовании, здравоохранении, исследованиях и военной сфере. Способность моделировать удаленные, очень дорогие или теоретические среды может сделать обучение более реалистичным и мгновенным, чем это было бы возможно в противном случае.
Технологии VR появлялись, затем исчезали уже на протяжении десятилетий. В большинстве своем они сосредоточены на обеспечении увлекательных игровых и развлекательных сред. Но они никогда не восхищались в значительной степени вне уровня нишевых продуктов.
Частично это может быть связано с высокими ценами, а также из-за того, что некоторые люди испытывали разные формы укачивания и дезориентацию.
Но, возможно – просто возможно – (вставьте здесь текущий год) наконец-то станет годом, когда виртуальная реальность добьется успеха.
Но где VR может использовать данные действительно значимым образом, это когда вместо блокировки вашего физического окружения накладывается виртуальная среда сверху вашего реального поля зрения.
Представьте, что вы техник, работающий над электрическим коммутационным оборудованием под тротуаром. Вы одеваете очки, которые позволяют видеть оборудование перед вами, а также проецируют текст и значки, четко идентифицирующие метки для каждой части, и показывают, куда должна быть заменена часть и как она подключена. Это дополненная реальность.
Я уверен, вы можете легко представить, насколько мощным может быть такой динамический дисплей в соответствующих условиях.
Хирурги могут получить доступ к истории пациента или даже посмотреть соответствующую медицинскую литературу, не отвлекаясь от операции. Военные пилоты также могут наслаждаться дисплеями «heads up», которые показывают им своевременные отчеты о состоянии, описывающие их собственный самолет и более широкие условия воздушного движения, не отвлекаясь.
Как правило, компьютеры даже лучше выполняют скучные, повторяющиеся задачи снова и снова, чем скучающие подростки, делающие вид, что делают домашнее задание. И они создают меньше шума в процессе.
Хитрость компьютеров состоит в том, чтобы умело объединить много скучных, повторяющихся задач, чтобы они могли приблизить разумное и полезное поведение.
Приз в конце той дороги называется автоматизация. Или, другими словами, состояние, когда компьютеры можно уверенно оставить в одиночестве для выполнения сложных и полезных задач без присмотра.
Во многом мы десятилетиями живем в эру сложной компьютерной автоматизации. Такие разные сферы, как мониторинг безопасности, контроль городского движения, изготовление книг и тяжелая промышленность, уже обрабатываются практически без присмотра человека.
Но искусственный интеллект (ШИ) стремится выйти за рамки относительно простого повторения, чтобы научить компьютеры думать самостоятельно – и таким образом эффективно решать более сложные проблемы.
Великолепная идея. Несколько труднее достичь в реальном мире.
Что на самом деле может сделать ИИ?
Понимание того, как эффективным может быть ИИ, будет зависеть от того, чего вы ожидаете от него. Можете ли вы разработать программное обеспечение для поиска и обозначения нескольких подозрительных финансовых операций среди миллионов операций с кредитными картами, которые обрабатывает крупный банк? Да. (Хотя я не совсем уверен, что это правда ШИ на работе, а не только в автоматизации.)
Можете ли вы развернуть «умные» чат-боты на своем веб-сайте, чтобы помогать клиентам решать их проблемы без необходимости фактического (и дорогостоящего) человеческого взаимодействия? Да. На самом деле я только что провел удивительно эффективный разговор с чат-ботом своего оператора мобильной связи, который быстро решил мою проблему.
Могут ли первые ступени ракеты, которую вы только что использовали для запуска полезного груза в космос, с помощью искусственного интеллекта направить ее к безопасной посадке на подвижную платформу посреди океана? Если бы вы меня спросили, я бы сказал, что это невозможно. Но SpaceX все равно пошла вперед и сделала несколько раз. Хорошо, что меня не спросили.
Но может ли искусственный интеллект надежно принимать стратегические решения, разумно учитывающие все подвижные части и сложность, существующие в вашей отрасли? Может ли машина на основе искусственного интеллекта пройти тест Тюринга (где человек-оценщик не может быть уверен, является ли машина тоже человеком)? Возможно, пока не так. И, может быть, никогда.
Одним из инструментов, используемых во многих процессах ИИ, является нейронная сеть. Оригинальная нейронная сеть состоит из множества нейронов, передающих информацию о состоянии биологической среды в мозг.
Искусственные и виртуальные нейронные сети – это системы для оценки, обработки и реагирования на большие физические или виртуальные наборы данных, питающие системы, управляемые ИИ.
Такие данные могут поступать из камер или других физических датчиков или нескольких источников данных. Обработанные данные иногда можно использовать для прогнозного моделирования, где сравнивается вероятность будущих результатов.
Увлекательная вещь, конечно. Но инструменты, используемые для некоторых наиболее значительных достижений, приписывающих искусственному интеллекту, на самом деле не являются искусственными. Кроме того, они не обязательно требовали столько ума.
Например, Amazon Mechanical Turk (MTurk) – это служба, соединяющая компании-клиенты с дистанционными фрилансерами «человеческого интеллекта». За ужасно низкую оплату работники будут выполнять «механические» задачи, такие как маркировка содержимого сотен или тысяч изображений. Маркировка будет охватывать такие вопросы, как «субъект — мужчина или женщина?» или «тема – это автомобиль или автобус?»
Вполне возможно, что со временем такие сервисы как Mechanical Turk станут менее важными, поскольку усовершенствование методологии искусственного интеллекта однажды может полностью заменить человеческий фактор для такого рода работы. Но между тем MTurk и его конкуренты все еще двигаются на полной скорости, выпуская миллионы единиц искусственного интеллекта.
Одной из методологий, которая может помочь снизить зависимость от вмешательства человека, является машинное обучение (ML).
Как машинное обучение может помочь?
ML работает, используя различные виды ручной помощи, чтобы помочь достичь большей автоматизации задач. Надеемся, система ML может «научиться» управлять нашими задачами с помощью имеющихся обучающих данных. Лишь после того, как система продемонстрирует достаточные навыки решения поставленных перед ней проблем, она будет использована для данных реального мира.
Ниже приведены несколько распространенных подходов к обучению вашей системе машинного обучения:
- Контролируемое обучение позволяет программному обеспечению ML читать наборы данных, содержащие как проблемы (например, изображения), так и их решения (полные метки). Просмотрев достаточное количество примеров, система должна иметь возможность применить свой опыт к подобным проблемам, которые приходят без решения.
- Обучение без контроля просто бросает необработанные данные без каких-либо связанных решений в систему. Цель состоит в том, чтобы программное обеспечение распознало достаточно шаблонов данных, чтобы позволить ему самостоятельно решить проблемы.
- Обучение с подкреплением учится на взаимодействии с окружающей средой. В идеале программное обеспечение распознает и понимает положительные результаты и развивает методологию для надежного и последовательного получения подобных результатов.
- Глубокое обучение алгоритмы используют несколько уровней анализа для преобразования необработанных целевых данных. Полный, многоуровневый процесс глубокого обучения известен как значительный путь назначения кредита (CAP).
Искусственный интеллект в целом и ML в частности эффективны для создания инструментов для таких задач, как автономное вождение, обнаружение лекарств, фильтрация электронной почты и распознавание речи, а также для анализа настроений из массивных наборов данных, состоящих из человеческого общения.
То, что объединяет AI и ML со всеми другими технологиями, такими как виртуальная реальность и дополненная реальность, которые мы обсуждали здесь – и в другой статье «Как управлять хранением данных» – это необходимость контролировать и лучше понимать бесконечность потоков информации, постоянно создают наши цифровые продукты. Чем лучше мы научимся такому контролю, тем больше ценности мы получим от наших данных.
Видео из YouTube всех десяти разделов этой книги доступны здесь. Здесь можно получить множество других технических преимуществ в виде книг, курсов и статей. И подумайте, чтобы пройти здесь мои курсы AWS, безопасности и технологии контейнеров.