Вопрос 7 чем ограничены библиотеки машинного обучения
5 лучших библиотек машинного обучения
Sep 15, 2019 · 3 min read
За последние несколько лет рост машинного обучения достиг стремительных темпов. Это связано с выпуском библиотек машинного обучения (МО)/глубокого обучения (ГО), которые абстрагируются от сложности скаффолдинга или реализации модели МО/ГО.
МО/ГО включает в себя множество математических вычислений и операций, особенно Matrix. С помощью МО/ГО даже простой новичок в МО может начать работу как профессионал.
Машинное обучение использует математические мод е ли общего назначения для ответа на конкретные вопросы с помощью данных. На протяжении многих лет машинное обучение использовалось для обнаружения спам-писем, создания умных ракет, интеллектуальных роботов и домов, обнаружения объектов с помощью компьютерного зрения, распознавания речи, а также для создания системы, которая может писать (романы, стихи и т. д.), рекомендовать продукты клиентам и прогнозировать стоимость товаров.
В этой статье мы обсудим самые популярные библиотеки МО/ГО.
TensorFlow
Это самая популярная библиотека МО/ГО в современном мире. По выходу ее популярность стремительно возросла и превзошла уже существующие библиотеки благодаря простоте API. Google выпустил ее в ноябре 2015 года.
Она написана на Python, но теперь есть и порт JavaScript: tensorflow.js. Его появление связано с ростом популярности JavaScript после релиза Node.js.
TensorFlow — бесплатная open-source библиотека для потоков данных и дифференцированного программирования; это символическая математическая библиотека, которая также используется для приложений машинного обучения, таких как нейронные сети.
Theano
Theano — это библиотека Python для быстрых числовых вычислений, которая может работать на CPU или GPU. Она разработана группой LISA (теперь MILA) в Монреальском университете в Канаде, и названа в честь древнегреческого математика, жены Пифагора, Феано.
Theano — это библиотека Python и оптимизирующий компилятор для манипулирования и оценки математических выражений, в особенности матрично-значных.
PyTorch
Это библиотека глубокого обучения, созданная Facebook и написанная на Python.
По сравнению с Tensorflow она более простая для изучения и использования, однако Tensorflow все равно превосходит ее по популярности. Причина заключается в том, что Tensorflow включает в себя широкий спектр применения в МО/ГО. Тем не менее PyTorch предоставляет более простой API для работы с нейронными сетями.
PyTorch — это библиотека глубокого обучения, основанная на библиотеке Torch и используемая для таких приложений, как компьютерное зрение и обработка естественного языка.
Scikit-learn
Эта популярная библиотека МО создана на NumPy, SciPy и matplotlib. Основное внимание в ней уделяется алгоритмам МО:
Как и PyTorch, эта библиотека менее развита по сравнению с Tensorflow, однако она предоставляет простые и эффективные инструменты для обнаружения и анализа данных.
Keras
Keras — это библиотека ГО, которая объединяет функции других библиотек, таких как Tensorflow, Theano и CNTK, написанная на Python.
У Keras есть преимущество над конкурентами, такими как Scikit-learn и PyTorch, поскольку она работает поверх Tensorflow.
Keras может работать поверх TensorFlow, Microsoft Cognitive Toolkit, Theano или PlaidML. Разработанная для быстрого экспериментирования с глубокими нейронными сетями, она ориентируется на удобство использования, модульность и расширяемость.
9 проблем машинного обучения
Какие сюрпризы преподносит нам машинное обучение? Сложно ли его обмануть? И не закончится ли все это Скайнетом и восстанием машин? Давайте разберемся.
Искусственный интеллект врывается в нашу жизнь. В будущем, наверное, все будет классно, но пока возникают кое-какие вопросы, и все чаще эти вопросы затрагивают аспекты морали и этики. Какие сюрпризы преподносит нам машинное обучение уже сейчас? Можно ли обмануть машинное обучение, а если да, то насколько это сложно? И не закончится ли все это Скайнетом и восстанием машин? Давайте разберемся.
Разновидности искусственного интеллекта: Сильный и Слабый ИИ
Для начала стоит определиться с понятиями. Есть две разные вещи: Сильный и Слабый ИИ. Сильный ИИ (true, general, настоящий) — это гипотетическая машина, способная мыслить и осознавать себя, решать не только узкоспециализированные задачи, но еще и учиться чему-то новому.
Слабый ИИ (narrow, поверхностный) — это уже существующие программы для решения вполне определенных задач: распознавания изображений, управления автомобилем, игры в Го и так далее. Чтобы не путаться и никого не вводить в заблуждение, Слабый ИИ обычно называют «машинным обучением» (machine learning).
Про Сильный ИИ еще неизвестно, будет ли он вообще изобретен. Судя по результатам опроса экспертов, ждать еще лет 45. Правда, прогнозы на десятки лет вперед — дело неблагодарное. Это по сути означает «когда-нибудь». Например, рентабельную энергию термоядерного синтеза тоже прогнозируют через 40 лет — и точно такой же прогноз давали и 50 лет назад, когда ее только начали изучать.
Машинное обучение: что может пойти не так?
Если Сильного ИИ ждать еще непонятно сколько, то Слабый ИИ уже с нами и вовсю работает во многих областях народного хозяйства.
И таких областей с каждым годом становится все больше и больше. Машинное обучение позволяет решать практические задачи без явного программирования, а путем обучения по прецедентам. Подробнее вы можете почитать в статье «Простыми словами: как работает машинное обучение«.
Поскольку мы учим машину решать конкретную задачу, то полученная математическая модель — так называется «обученный» алгоритм — не может внезапно захотеть поработить (или спасти) человечество. Так что со Слабым ИИ никакие Скайнеты, по идее, нам не грозят: алгоритм будет прилежно делать то, о чем его попросили, а ничего другого он все равно не умеет. Но все-таки кое-что может пойти не так.
1. Плохие намерения
Начать с того, что сама решаемая задача может быть недостаточно этичной. Например, если мы при помощи машинного обучения учим армию дронов убивать людей, результаты могут быть несколько неожиданными.
2. Предвзятость разработчиков алгоритма
Даже если авторы алгоритма машинного обучения не хотят приносить вред, чаще всего они все-таки хотят извлечь выгоду. Иными словами, далеко не все алгоритмы работают на благо общества, очень многие работают на благо своих создателей. Это часто можно наблюдать в области медицины — важнее не вылечить, а порекомендовать лечение подороже.
На самом деле иногда и само общество не заинтересовано в том, чтобы полученный алгоритм был образцом морали. Например, есть компромисс между скоростью движения транспорта и смертностью на дорогах. Можно запрограммировать беспилотные автомобили так, чтобы они ездили со скоростью не более 20 км/ч. Это позволило бы практически гарантированно свести количество смертей к нулю, но жить в больших городах стало бы затруднительно.
3. Параметры системы могут не включать этику
По умолчанию компьютеры не имеют никакого представления о том, что такое этика. Представьте, что мы просим алгоритм сверстать бюджет страны с целью «максимизировать ВВП / производительность труда / продолжительность жизни» и забыли заложить в модель этические ограничения. Алгоритм может прийти к выводу, что выделять деньги на детские дома / хосписы / защиту окружающей среды совершенно незачем, ведь это не увеличит ВВП — по крайней мере, прямо.
И хорошо, если алгоритму поручили только составление бюджета. Потому что при более широкой постановке задачи может выйти, что самый выгодный способ повысить среднюю производительность труда — это избавиться от всего неработоспособного населения.
Выходит, что этические вопросы должны быть среди целей системы изначально.
4. Этику сложно описать формально
С этикой одна проблема — ее сложно формализовать. Во-первых, этика довольно быстро меняется со временем. Например, по таким вопросам, как права ЛГБТ и межрасовые / межкастовые браки, мнение может существенно измениться за десятилетия.
Во-вторых, этика отнюдь не универсальна: она отличается даже в разных группах населения одной страны, не говоря уже о разных странах. Например, в Китае контроль за перемещением граждан при помощи камер наружного наблюдения и распознавания лиц считается нормой. В других странах отношение к этому вопросу может быть иным и зависеть от обстановки.
Также этика может зависеть от политического климата. Например, борьба с терроризмом заметно изменила во многих странах представление о том, что этично, а что не очень — и произошло это невероятно быстро.
5. Машинное обучение влияет на людей
Представьте систему на базе машинного обучения, которая советует вам, какой фильм посмотреть. На основе ваших оценок другим фильмам и путем сопоставления ваших вкусов со вкусами других пользователей система может довольно надежно порекомендовать фильм, который вам очень понравится.
Но при этом система будет со временем менять ваши вкусы и делать их более узкими. Без системы вы бы время от времени смотрели и плохие фильмы, и фильмы непривычных жанров. А так, что ни фильм — то в точку. В итоге вы перестаете быть «экспертами по фильмам», а становитесь только потребителем того, что дают.
Интересно еще и то, что мы даже не замечаем, как алгоритмы нами манипулируют. Пример с фильмами не очень страшный, но попробуйте подставить в него слова «новости» и «пропаганда»…
6. Ложные корреляции
Ложная корреляция — это когда не зависящие друг от друга вещи ведут себя очень похоже, из-за чего может возникнуть впечатление, что они как-то связаны. Например, потребление маргарина в США явно зависит от количества разводов в штате Мэн, не может же статистика ошибаться, правда?
Конечно, живые люди на основе своего богатого жизненного опыта подозревают, что маргарин и разводы вряд ли связаны напрямую. А вот математической модели об этом знать неоткуда, она просто заучивает и обобщает данные.
Известный пример: программа, которая расставляла больных в очередь по срочности оказания помощи, пришла к выводу, что астматикам с пневмонией помощь нужна меньше, чем людям с пневмонией без астмы. Программа посмотрела на статистику и пришла к выводу, что астматики не умирают, поэтому приоритет им незачем. А на самом деле такие больные не умирали потому, что тут же получали лучшую помощь в медицинских учреждениях в связи с очень большим риском.
7. Петли обратной связи
Хуже ложных корреляций только петли обратной связи. Это когда решения алгоритма влияют на реальность, что, в свою очередь, еще больше убеждает алгоритм в его точке зрения.
Например, программа предупреждения преступности в Калифорнии предлагала отправлять больше полицейских в черные кварталы, основываясь на уровне преступности — количестве зафиксированных преступлений. А чем больше полицейских машин в квартале, тем чаще жители сообщают о преступлениях (просто есть кому сообщить), чаще сами полицейские замечают правонарушения, больше составляется протоколов и отчетов, — в итоге формально уровень преступности возрастает. Значит, надо отправить еще больше полицейских, и далее по нарастающей.
8. «Грязные» и «отравленные» исходные данные
Результат обучения алгоритма сильно зависит от исходных данных, на основе которых ведется обучение. Данные могут оказаться плохими, искаженными — это может происходить как случайно, так и по злому умыслу (в последнем случае это обычно называют «отравлением»).
Вот пример неумышленных проблем с исходными данными: если в качестве обучающей выборки для алгоритма по найму сотрудников использовать данные, полученные из компании с расистскими практиками набора персонала, то алгоритм тоже будет с расистским уклоном.
В Microsoft однажды учили чат-бота общаться в Twitter’е, для чего предоставили возможность побеседовать с ним всем желающим. Лавочку пришлось прикрыть менее чем через сутки, потому что набежали добрые интернет-пользователи и быстро обучили бота материться и цитировать «Майн Кампф».
Что такое машинное обучение и как оно работает
Что такое машинное обучение?
Единого определения для machine learning (машинного обучения) пока нет. Но большинство исследователей формулируют его примерно так:
Машинное обучение — это наука о том, как заставить ИИ учиться и действовать как человек, а также сделать так, чтобы он сам постоянно улучшал свое обучение и способности на основе предоставленных нами данных о реальном мире.
Вот как определяют машинное обучение представители ведущих ИТ-компаний и исследовательских центров:
Nvidia: «Это практика использования алгоритмов для анализа данных, изучения их и последующего определения или предсказания чего-либо».
Университет Стэнфорда: «Это наука о том, как заставить компьютеры работать без явного программирования».
McKinsey & Co: «Машинное обучение основано на алгоритмах, которые могут учиться на данных, не полагаясь на программирование на основе базовых правил».
Вашингтонский университет: «Алгоритмы машинного обучения могут сами понять, как выполнять важные задачи, обобщая примеры, которые у них есть».
Университет Карнеги Меллон: «Сфера машинного обучения пытается ответить на вопрос: «Как мы можем создавать компьютерные системы, которые автоматически улучшаются по мере накопления опыта и каковы фундаментальные законы, которые управляют всеми процессами обучения?»
История машинного обучения
Дмитрий Ветров, профессор-исследователь, заведующий Центром глубинного обучения и байесовских методов Факультета компьютерных наук ВШЭ, отмечает: изначально компьютеры использовались для задач, алгоритм решения которых был известен человеку. И только в последние годы пришло понимание, что они могут находить способ решать задачи, для которых алгоритма решения нет или он не известен человеку. Так появился искусственный интеллект в широком смысле и технологии машинного обучения в частности.
Как связаны машинное и глубокое обучение, ИИ и нейросети
Нейросети — один из видов машинного обучения.
Глубокое обучение — это один из видов архитектуры нейросетей.
Глубокое обучение также включает в себя исследование и разработку алгоритмов для машинного обучения. В частности — обучения правильному представлению данных на нескольких уровнях абстракции. Системы глубокого обучения за последние десять лет добились особенных успехов в таких областях как обнаружение и распознавание объектов, преобразование текста в речь, поиск информации.
Какие задачи решает машинное обучение?
С помощью машинного обучения ИИ может анализировать данные, запоминать информацию, строить прогнозы, воспроизводить готовые модели и выбирать наиболее подходящий вариант из предложенных.
Особенно полезны такие системы там, где необходимо выполнять огромные объемы вычислений: например, банковский скоринг (расчет кредитного рейтинга), аналитика в области маркетинговых и статистических исследований, бизнес-планирование, демографические исследования, инвестиции, поиск фейковых новостей и мошеннических сайтов.
В Леруа Мерлен используют Big Data и Machine Learning, чтобы находить остатки товара на складах.
В маркетинге и электронной коммерции машинное обучение помогает настроить сервисы и приложения так, чтобы они выдавали персональные рекомендации.
Стриминговый сервис Spotify с помощью машинного обучения составляет для каждого пользователя персональные подборки треков на основе того, какую музыку он слушает.
Сегодня ключевые исследования сфокусированы на разработке машинного обучения с эффективным использованием данных — то есть систем глубокого обучения, которые могут обучаться более эффективно, с той же производительностью, за меньшее время и с меньшими объемами данных. Такие системы востребованы в персонализированном здравоохранении, обучении роботов с подкреплением, анализе эмоций.
Китайский производитель «умных» пылесосов Ecovacs Robotics обучил свои пылесосы распознавать носки, провода и другие посторонние предметы на полу с помощью множества фотографий и машинного обучения.
«Умная» камера на базе микрокомпьютера Raspberry Pi 3B+ с помощью фреймворка TensorFlow Light научилась распознавать улыбку и делать снимок ровно в этот момент, а также — выполнять голосовые команды.
В сфере инвестиций алгоритмы на базе машинного обучения анализируют рынок, отслеживают новости и подбирают активы, которые выгоднее всего покупать именно сейчас. При этом с помощью предикативной аналитики система может предсказать, как будет меняться стоимость тех или иных акций за конкретный период и корректирует свои данные после каждого важного события в отрасли.
Согласно исследованию BarclayHedge, более 50% хедж-фондов используют ИИ и машинное обучение для принятия инвестиционных решений, а две трети — для генерации торговых идей и оптимизации портфелей.
Наконец, машинное обучение способствует настоящим прорывам в науке.
Нейросеть AlphaFold от DeepMind в 2020 году смогла расшифровать механизм сворачивания белка. Над этой задачей ученые-биологи бились больше 50 лет.
Как устроено машинное обучение
По словам Дмитрия Ветрова, процесс машинного обучения выглядит следующим образом.
Есть большое число однотипных задач, в которых известны условие и правильный ответ или один из возможных ответов. Например, машинный перевод, где условие — фраза на одном языке, а правильный ответ — ее перевод на другой язык.
Модель машинного обучения, например, глубинная нейронная сеть, работает по принципу «черного ящика», который принимает на вход условие задачи, а на выходе выдает произвольный ответ. Например, какой-либо текст на втором языке.
У «черного ящика» есть дополнительные параметры, которые влияют на то, как будет обрабатываться входной сигнал. Процесс обучения нейросети заключается в поиске таких значений параметров, при которых она будет выдавать ответ, максимально близкий к правильному. Когда мы настроим параметры нужным образом, нейросеть сможет правильно (или максимально близко к этому) решать и другие задачи того же типа — даже если никогда не знала ответов к ним.
Основные виды машинного обучения
1. Классическое обучение
Это простейшие алгоритмы, которые являются прямыми наследниками вычислительных машин 1950-х годов. Они изначально решали формальные задачи — такие, как поиск закономерностей в расчетах и вычисление траектории объектов. Сегодня алгоритмы на базе классического обучения — самые распространенные. Именно они формируют блок рекомендаций на многих платформах.
Но классическое обучение тоже бывает разным:
Обучение с учителем — когда у машины есть некий учитель, который знает, какой ответ правильный. Это значит, что исходные данные уже размечены (отсортированы) нужным образом, и машине остается лишь определить объект с нужным признаком или вычислить результат.
Такие модели используют в спам-фильтрах, распознавании языков и рукописного текста, выявлении мошеннических операций, расчете финансовых показателей, скоринге при выдаче кредита. В медицинской диагностике классификация помогает выявлять аномалии — то есть возможные признаки заболеваний на снимках пациентов.
Обучение без учителя — когда машина сама должна найти среди хаотичных данных верное решение и отсортировать объекты по неизвестным признакам. Например, определить, где на фото собака.
Эта модель возникла в 1990-х годах и на практике используется гораздо реже. Ее применяют для данных, которые просто невозможно разметить из-за их колоссального объема. Такие алгоритмы применяют для риск-менеджмента, сжатия изображений, объединения близких точек на карте, сегментации рынка, прогноза акций и распродаж в ретейле, мерчендайзинга. По такому принципу работает алгоритм iPhoto, который находит на фотографиях лица (не зная, чьи они) и объединяет их в альбомы.
2. Обучение с подкреплением
Это более сложный вид обучения, где ИИ нужно не просто анализировать данные, а действовать самостоятельно в реальной среде — будь то улица, дом или видеоигра. Задача робота — свести ошибки к минимуму, за что он получает возможность продолжать работу без препятствий и сбоев.
Обучение с подкреплением инженеры используют для беспилотников, роботов-пылесосов, торговли на фондовом рынке, управления ресурсами компании. Именно так алгоритму AlphaGo удалось обыграть чемпиона по игре Го: просчитать все возможные комбинации, как в шахматах, здесь было невозможно.
3. Ансамбли
Это группы алгоритмов, которые используют сразу несколько методов машинного обучения и исправляют ошибки друг друга. Их получают тремя способами:
Ансамбли работают в поисковых системах, компьютерном зрении, распознавании лиц и других объектов.
4. Нейросети и глубокое обучение
Самый сложный уровень обучения ИИ. Нейросети моделируют работу человеческого мозга, который состоит из нейронов, постоянно формирующих между собой новые связи. Очень условно можно определить их как сеть со множеством входов и одним выходом. Нейроны образуют слои, через которые последовательно проходит сигнал. Все это соединено нейронными связями — каналами, по которым передаются данные. У каждого канала свой «вес» — параметр, который влияет на данные, которые он передает.
ИИ собирает данные со всех входов, оценивая их вес по заданным параметрами, затем выполняет нужное действие и выдает результат. Сначала он получается случайным, но затем через множество циклов становится все более точным. Хорошо обученная нейросеть работает, как обычный алгоритм или точнее.
Настоящим прорывом в этой области стало глубокое обучение, которое обучает нейросети на нескольких уровнях абстракций.
Здесь используют две главных архитектуры:
Нейросети с глубоким обучением требуют огромных массивов данных и технических ресурсов. Именно они лежат в основе машинного перевода, чат-ботов и голосовых помощников, создают музыку и дипфейки, обрабатывают фото и видео.
Проблемы машинного обучения
Перспективы машинного обучения: не начнет ли ИИ думать за нас?
Вопрос о том, не сделает ли машинное обучение ИИ умнее человека, изначально не совсем корректный. Дело в том, что в природе нет универсальной иерархии в плане интеллекта. Мы по умолчанию считаем себя умнее остальных существ, но, к примеру, белка способна запоминать местонахождения тысячи тайников с запасами, что не под силу даже очень умному человеку. А у осьминогов каждое щупальце способно мыслить и действовать самостоятельно.
Так же и с ИИ: он уже превосходит нас во всем, что касается сложных вычислений, но по-прежнему не способен сам ставить себе новые задачи и решать их, подбирая нужные данные и условия. Это ограничение в последние годы пытаются преодолеть в рамках сильного ИИ, но пока безуспешно. Надежду на решение этой проблемы внушают квантовые компьютеры, которые выходят за пределы обычных вычислений.
Зато мы в ближайшем будущем сможем заметно расширить свои возможности с помощью ИИ, передавая ему рутинные и затратные операции, общаясь и управляя техникой при помощи нейроинтерфейсов.
Машинное обучение
Machine Learning
Узкоспециализированная область знаний, входящая в состав основных источников технологий и методов, применяемых в областях больших данных и Интернета вещей, которая изучает и разрабатывает алгоритмы автоматизированного извлечения знаний из сырого набора данных, обучения программных систем на основе полученных данных, генерации прогнозных и/или предписывающих рекомендаций, распознавания образов и т.п.
Содержание
Машинное обучение — класс методов искусственного интеллекта, характерной чертой которых является не прямое решение задачи, а обучение в процессе применения решений множества сходных задач. Для построения таких методов используются средства математической статистики, численных методов, методов оптимизации, теории вероятностей, теории графов, различные техники работы с данными в цифровой форме. По данным HeadHunter (данные 2018 года), специалисты по машинному обучению получают 130–300 тысяч рублей, и крупные компании ведут ожесточенную борьбу за них.
2021: Запуск корпоративной платформы для машинного обучения в режиме реального времени
В середине августа 2021 года Abacus запустила платформу, которая по сообщению самой компании, является первым в мире решением для машинного обучения и глубокого обучения в реальном времени корпоративного масштаба. Подробнее здесь.
Рост числа AI/ML-проектов в России почти в 3 раза за 2 года и 9 месяцев
14 октября 2019 года компания «Инфосистемы Джет» сообщила, что проанализировала более 360 AI/ML-проектов с начала 2017 года по сентябрь 2019, реализованных в России. Исследование показало рост более чем в три раза.
Аналитики «Инфосистемы Джет» отмечают, что в 2018 году был взрывной рост популярности проектов по машинному обучению (ML). На один проект 2017 года приходится 2,7 проекта 2018.
В 2019 году количество проектов продолжило увеличиваться относительно 2018 года (примерно на 10%), тем не менее кардинально изменилась их структура. Если в 2017 году это были точечные проекты ИТ-компаний, то в 2019 – искусственный интеллект стал полностью работающей технологией, которую применяют во многих отраслях. Кроме того, тестовых (пилотных) проектов стало значительно меньше относительно аналогичных показателей 2018 года.
Что же касается отраслевого применения, лидерство по-прежнему принадлежит банковской отрасли (20%) и ритейлу (20%), где достаточно данных, высокая конкуренция и есть бюджет на внедрения. В 2019 году технологии ИИ пришли и в промышленность – этой сфере принадлежит каждый 14-й проект.
В пятерке лидеров присутствуют компании-агрегаторы (например, Яндекс), которые предлагают сервисы почты, перевода, транспортные услуги и т. д., а также рекламные и туристические компании.
По данным проведенного исследования, не только крупный бизнес внедряет ИИ: количество проектов в небольших предприятиях растет третий год подряд. Активно внедряют цифровые технологии интернет-сервисы, интернет-магазины, некрупное промышленное производство, небольшие региональные транспортные компании, региональные подразделения федеральных госучреждений и т. п.
Software 2.0: Как новый подход к разработке ПО заставит компьютеры поумнеть
IBM запустила портал с бесплатными наборами данных для машинного обучения в компаниях
16 июля 2019 года IBM запустила портал с бесплатными наборами данных для машинного обучения в компания. Компания называет IBM Data Asset eXchange (DAX) уникальным проектом для корпоративных клиентов, несмотря на присутствие в интернете (например, на GitHub) большого количества открытых массивов данных. Подробнее здесь.
10 лучших языков программирования для машинного обучения — GitHub
В январе 2019 года сервис для хостинга ИТ-проектов и их совместного развития GitHub опубликовал рейтинг самых популярных языков программирования, используемых для машинного обучения (МО). Список составлен на основе количества репозиториев, авторы которых указывают, что в их приложениях используются МО-алгоритмы. Подробнее здесь.
2018: Проблемы машинного обучения — IBM
27 февраля 2018 года технический директор IBM Watson Роб Хай (Rob High) заявил, что в настоящее время основная задача машинного обучения – ограничить объем данных, требующихся для обучения нейросетей. Хай полагает, что есть все основания считать эту проблему вполне разрешимой. Его мнение разделяют и коллеги: так руководитель разработки технологий искусственного интеллекта (ИИ) Google Джон Джаннандреа (John Giannandrea) заметил, что его компания также занята этой проблемой.
Как правило, модели машинного обучения работают с огромными массивами данных, чтобы гарантировать точность работы нейросети, однако во многих отраслях крупных баз данных просто не существует.
Хай, однако, считает, что это проблема разрешима, ведь мозг людей научился с ней справляться. Когда человек сталкивается с новой задачей, в ход идет накопленный опыт действий в подобных ситуациях. Именно контекстуальное мышление и предлагает использовать Хай. Также в этом может помочь технология переноса обучения (transfer learning), то есть возможность взять уже обученную ИИ-модель и использовать ее данные для обучения другой нейросети, данных для которой существенно меньше.
Однако проблемы с машинным обучением этим не ограничиваются, особенно если речь идет об естественной речи.
Хай отмечает, что ИИ не обязательно должен отражать эти аспекты в антропоморфной форме, однако какие-то ответные сигналы, например, визуальные, поступать должны. В то же время большинство ИИ должно для начала разобраться в сути вопросов и научиться ориентироваться в контексте, особенно в том, как данный вопрос связан с предыдущими.
Это указывает на следующую проблему. Многие из использующихся сейчас моделей машинного обучения по своей природе предвзяты, поскольку данные, по которым их обучали, ограничены. Что касается подобной предвзятости, то тут Хай выделяет два аспекта.
В качестве примера Хай привел совместный проект IBM и онкологического центра Sloan Kettering. Они подготовили ИИ-алгоритм, основанный на работе лучших онкологических хирургов.
Хай также заметил, что представители IBM наконец начали регулярно обсуждать эти проблемы с клиентами. По мнению Хая, это шаг в верном направлении, особенно если учесть, что многие его коллеги предпочитают игнорировать этот вопрос.
Опасения по поводу предвзятости ИИ разделяет и Джаннандреа. Осенью прошлого года он заявил, что боится не восстания разумных роботов, а предвзятости искусственного интеллекта. Эта проблема становится тем значительнее, чем больше технология проникает в такие области, как медицина или юриспруденция, и чем больше людей без технического образования начинают ее использовать. [1]
3% компаний используют машинное обучение — ServiceNow
В октябре 2017 года производитель облачных решений для автоматизации бизнес-процессов ServiceNow опубликовал результаты исследования, посвященного внедрению технологий машинного обучения в компаниях. Совместно с исследовательским центром Oxford Economics было опрошено 500 ИТ-директоров в 11 странах.
Выяснилось, что к октябрю 2017 года 89% компаний, сотрудники которых отвечали на вопросы аналитиков, в разной степени используют механизмы машинного обучения.
Так, 40% организаций и предприятий исследуют возможности и планируют стадии внедрения таких технологий. 26% компаний ведут пилотные проекты, 20% — применяют машинное обучение для отдельных областей бизнеса, а 3% — задействуют его для всей своей деятельности.
По словам 53% ИТ-директоров, машинное обучение является ключевым и приоритетным направлением, для развития которого компании ищут соответствующих специалистов.
К октябрю 2017 года наиболее высокое проникновение машинного обучения имеет место в Северной Америке: 72% компаний находятся на какой-либо стадии изучения, тестирования или использования технологий. В Азии этот показатель составляет 61%, в Европе — 58%.
Около 90% ИТ-директоров говорят, что автоматизация повышает точность и скорость принятия решений. По мнению больше половины (52%) участников опроса, машинное обучение помогает автоматизировать не только рутинные задачи (например, вывод предупреждений о киберугрозах), но и более сложные рабочие нагрузки, такие как способы реагирования на хакерские атаки.
Выше представлена диаграмма, показывающая степень автоматизации различных областей в компаниях в 2017 году и с прогнозом на 2020 год. К примеру, в 2017-м около 24% операций в сфере информационной безопасности полностью или в значительной степени автоматизированы, а в 2020 году показатель может вырасти до 70%.
Самая многообещающая технология. Чем вызвано всеобщее помешательство на машинном обучении?
Машинное обучение, по мнению аналитиков, является самым многообещающим технологическим трендом современности. Как возникла эта технология и почему стала столь востребованной? На каких принципах строится машинное обучение? Какие перспективы открывает для бизнеса? Ответы на эти вопросы дает материал, который для TAdviser подготовил журналист Леонид Черняк.
Признаком наступающей эры когнитивного компьютинга (см. подробнее в отдельной статье) служит повышенный интерес к машинному обучению (Machine Learnng, ML) и многочисленные попытки внедрения ML в самых разных, порой неожиданных областях человеческой деятельности.
Все то, что происходит в 2016-2017 годах, более прозаично и прагматично, лишено романтических обещаний относительно антропоморфных технологий, имитирующих человеческий мозг. Нет никаких рассуждений о мыслящих машинах и тем более угрозах со стороны роботов. В отчете Gartner цитируется «циничное» и явно неприемлемое для сторонников сильного ИИ высказывание вице-президента IBM по исследованиям Джона Келли:
Как бы не был велик интерес к ML, неверно отождествлять весь когнитивный компьютинг (Cognitive Computing, CC) исключительно с ML. Собственно CC – это составляющая ИИ, целостная экосистема, частью которой служит ML. К тому же CC включает в себя и автоматическое принятие решений, и распознавание аудио и видео данных, машинное зрение, обработку текстов на естественных языках и еще многое другое.
Впрочем, строгое разделение между отдельными направлениями CC провести сложно. Некоторые из них взаимно пресекаются, но, что точно, ML включает математические алгоритмы, поддерживающие процесс когнитивного обучения.
ML – это обучение систем, обладающих элементами слабого ИИ. Сильным ИИ (Strong AI) называют обобщенный искусственный разум (Artificial general intelligence), который теоретически может быть воплощен некоторой гипотетической машиной, проявляющей мыслительные способности, сравнимые с человеческими способностями.
Сильный ИИ наделяют такими чертами, как:
А Слабым ИИ (Weak AI) называют не имеющий разума и умственных способностей (Non-sentient computer intelligence), ИИ, ориентированный на решение прикладных задач.
Будучи частью слабого ИИ, ML, тем не менее, имеет общие черты с обучением человека, обнаруженные психологами в начале XX века. Тогда было выявлено несколько теоретически возможных подходов к обучению как процессу передачи знаний. Причем один из подходов, названный когнитивным обучением, напрямую соответствует ML.
Обучаемому, в нашем случае ИИ, предъявляются те или иные образы в доступной ему форме. Для восприятия передаваемых знаний со стороны обучаемого достаточно обладать соответствующими способностями и стимулами. Основа теории когнитивного обучения была разработана швейцарским психологом Жаном Пиаже (1896 – 1980). Он, в свою очередь, использовал труды в области гештальтпсихологии, разработанной немецким и позже американским психологом Вольфгангом Келером (1887—1967).
Теория когнитивного обучения строится на основе предположения, что человек обладает способностью к обучению, имеет необходимые стимулы и может структурировать и сохранять накопленную информацию. То же самое относится к ML. Его можно считать версией когнитивного обучения, но адаптированного для компьютера.
История ML, как и многое другое в искусственном интеллекте, началась, казалось бы, с многообещающих работ в 1950-х — 1960-х годах. Затем последовал длительный период накопления знаний, известный как «зима искусственного интеллекта». В самые последние годы наблюдается взрывной интерес главным образом к одному из направлений — глубинному, или глубокому обучению (deep leаrning).
Первопроходцами ML были Артур Сэмюэль, Джозеф Вейцбаум и Фрэнк Розенблатт. Первый получил широкую известность созданием в 1952 году самообучающейся программы Checkers-playing, умевшей, как следует из названия, играть в шашки. Возможно, более значимым для потомков оказалось его участие вместе с Дональдом Кнутом в проекте TeX, результатом которого стала система компьютерной верстки, вот уже почти 40 лет не имеющая себе равных для подготовки математических текстов. Второй в 1966 году написал виртуального собеседника ELIZA, способного имитировать (а скорее, пародировать) диалог с психотерапевтом. Очевидно, что своим названием программа обязана героине из пьесы Бернарда Шоу. А дальше всех пошел Розенблатт. Он в конце 1950-х в Корнелльском университете построил систему Mark I Perceptron, которую условно можно признать первым нейрокомпьютером.
В шестидесятые-семидесятые XX века сложились основные научные принципы ML. В современном представлении ML объединяет в себе ранее независимые направления:
Было показано, что практическая передача знаний обучаемой машине (нейронной сети) может строиться на основе теории вычислительного обучения по прецедентам, которая развивается с шестидесятых годов XX века.
Неформально ML можно представить следующим образом. Берутся описания отдельных прецедентов, которые называют обучающей выборкой. Далее по совокупности отдельных фрагментов данных удается выявить общие свойства (зависимости, закономерности, взаимосвязи), присущие не только этой конкретной выборке, использованной для обучения, но и вообще всем прецедентам, в том числе тем, которые ещё не наблюдались. Алгоритмы обучения (learning algorithm) и настройки (fitting) модели по выборке данных позволяют найти оптимальный набор параметров модели, а затем использовать обученную модель для решения тех или иных прикладных задач.
В целом ML можно представить формулой:
Обучение = Представление + Оценка + Оптимизация
Главная же цель ML – создать, например, в нейронной сети способность обнаруживать нечто иное, не входящее в набор, использованный для обучения, но обладающее теми же свойствами.
Обучение включает распознавание образов, регрессионный анализ и прогнозирование. Чаще всего используют подход, основанный на построении модели восстанавливаемой зависимости в виде параметрического семейства алгоритмов. Его суть в численной оптимизации параметров модели с целью минимизации число ошибок на заданной обучающей выборке прецедентов.
Обучении состоит в подгонке создаваемой модели под выборку. Но у этого подхода есть врожденная слабость, проявляющаяся в том, что с повышением сложности модели оптимизирующие модель алгоритмы начинают улавливать не только черты восстанавливаемой зависимости, но и ошибки измерения обучающей выборки, и погрешность самой модели. В результате ухудшается качество работы алгоритма.
Выход из этого положения был предложен В. Н. Вапником и А. Я. Червоненкисом в разработанной ими теории восстановления зависимостей, признанной во всем мире в восьмидесятые годы и ставшей одним из наиболее важных разделов теории вычислительного обучения.
Переходу от теории к практике ML, случившемуся в XXI веке, способствовали работы в области глубинных нейронных сетей (Deep Neural Network, DNN). Считается, что собственно термин deep learning был предложен в 1986 году Риной Дехтер, хотя подлинная история его появления, вероятно, сложнее.
К середине 2000-х была накоплена критическая масса знаний в области DNN и, как всегда в таких случаях, кто-то отрывается от пелотона и получает майку лидера. Так было и, видимо, будет в науке всегда. В данном случае в роли лидера оказался Джефри Хинтон, британский ученый, продолживший свою карьеру в Канаде. C 2006 года он сам и вместе с коллегами начал публиковать многочисленные статьи, посвященные DNN, в том числе и в научно-популярном журнале Nature, чем заслужил себе прижизненную славу классика. Вокруг него образовалось сильное и сплоченное сообщество, которое несколько лет работало, как теперь говорят, «в невидимом режиме». Его члены сами называют себя «заговорщиками глубинного обучения» (Deep Learning Conspiracy) или даже «канадской мафией» (Canadian maffia).
Образовалось ведущее трио: Ян Лекун, Иешуа Бенджо и Джефри Хинтон. Их еще называют LBH (LeCun & Bengio & Hinton). Выход LBH из подполья был хорошо подготовлен и поддержан компаниями Google, Facebook и Microsoft. С LBH активно сотрудничал Эндрю Ын, работавший в МТИ и Беркли, а теперь возглавляющий исследования в области искусственного интеллекта в лаборатории Baidu. Он связал глубинное обучение с графическими процессорами.
Нынешний успех ML и всеобщее признание стали возможны благодаря трем обстоятельствам:
1. Возрастающее в геометрической прогрессии количество данных. Оно вызывает потребность в анализе данных и является необходимым условием для внедрения систем ML. Одновременно это количество данных открывает возможность для обучения, поскольку порождает большое количество образцов (прецедентов), и это достаточное условие.
2. Сформировалась необходимая процессорная база. Известно, что решение задач ML распадается на две фазы. На первой выполняется обучение искусственной нейронной сети (тренировка). На протяжении этого этапа нужно параллельно обработать большое количество образцов. На данный момент для этой цели нет альтернативы графическим процессорам GPU, в подавляющем большинстве случаев используют GPU Nvidia. Для работы обученной нейронной сети могут быть использованы обычные высокопроизводительные процессоры CPU. Это распределение функций между типами процессоров вскоре может претерпеть существенные изменения. Во-первых, уже в 2017 году Intel обещает выпустить на рынок специализированный процессор Nervana, который будет на порядка производительнее, чем GPU. Во-вторых, появляются новые типы программируемых матриц FPGA и больших специализированных схем ASIC, и специализированный процессор Google TensorFlow Processing Unit (TPU).
3. Создание библиотек для программного обеспечения ML. По состоянию на 2017 год их насчитывается более 50. Вот только некоторые, наиболее известные: TensorFlow, Theano, Keras, Lasagne, Caffe, DSSTNE, Wolfram Mathematica. Список можно продолжить. Практически все они поддерживают прикладной интерфейс OpenMP, языки Pyton, Java и C++ и платформу CUDA.
Будущая сфера применения ML, без всякого преувеличения, необозрима. В контексте Четвертой промышленной революции наиболее значимая роль ML заключается в расширении потенциала области Business Intelligence (BI), название которой условно переводится как «бизнес-аналитика».
В дополнение к традиционному в большей мере количественному для BI вопросу: «Что происходит в бизнесе?», с помощь ML можно будет отвечать и на такие: «Что и почему мы делаем?», «Как можем делать это лучше?», «Что нам следует делать?» и подобные качественные и содержательные вопросы.
О машинном обучении на простых примерах
Что такое машинное обучение?
Это способ программирования, при котором машина сама формирует алгоритм на основании модели, заданной ей человеком, и загруженных в нее данных.
Почему обучение моделей настолько сложное?
Мы смотрим на людей, моделируем их поведение путем наблюдения, а затем пытаемся повторить то, что они делают. Это вид обучения. Такое эвристическое моделирование представляет собой один из способов машинного обучения, однако это не единственный способ.
Но существует множество простых приемов, с помощью которых эту систему можно обмануть. Прекрасный пример — распознавание человеческих лиц. Посмотрите на лица разных людей. Наверное, всем известно, что существуют технологии для моделирования на основе определенных точек на лице, скажем, уголков глаз. Не хочу вдаваться в интеллектуальные секреты, но есть некоторые области, между которыми можно построить углы, и эти углы обычно не особо меняются со временем. Но вот вам показывают фотоснимки людей с широко открытыми глазами или гримасами в области рта. Такие люди пытаются сбить эти алгоритмы с толку, искажая черты своего лица. Вот почему вам нельзя улыбаться на фотографии в паспорте. Но машинное обучение уже ушло далеко вперед. У нас есть такие средства, как Eigenface, и другие технологии для моделирования поворота и искажения лиц, позволяющие определить, что это одно и то же лицо.
Со временем эти инструменты становятся все лучше. И порой, когда люди пытаются запутать процесс обучения, мы также учимся на их поведении. Так что этот процесс саморазвивающийся, и в этом плане идет постоянный прогресс. Рано или поздно цель будет достигнута, и да, машина будет находить только горы. Она не пропустит ни одной горы и никогда не будет сбита с толку стаканчиком мороженого.
Чем это отличается от классического программирования?
Изначально этот процесс происходил в игровой форме или заключался в идентификации изображений. Тогдашние исследователи просили участников играть в игры или помогать в обучении простыми утверждениями вроде «Это гора», «Это не гора», «Это гора Фудзи», «Это гора Килиманджаро». Так что у них накопился набор слов. У них была группа людей, использовавших слова для описания изображений (например, в проекте Amazon Mechanical Turk).
Используя эти методики, они фактически отобрали набор слов и сказали: «Итак, слово „гора` часто ассоциируется с тем-то и тем-то, и между словом „гора` и этим изображением наблюдается высокая статистическая корреляция. Так что если люди ищут информацию о горах, покажите им это изображение. Если они ищут гору Фудзи, покажите им это изображение, а не то». В этом и состоял прием совместного использования человеческого мозга и описательных слов. По состоянию на 2017 год этот прием не единственный. На данный момент существует множество более изощренных методик.
Смогу ли я применить машинное обучение в своем бизнесе?
Машинное обучение имеет высокую практическую значимость для многих отраслей, от госсектора, транспорта и медицины до маркетинга, продаж, финансов и страхования. Существует огромное количество способов его применения – например, прогнозное обслуживание, оптимизация цепи поставок, распознавание мошенничества, персонализация здравоохранения, сокращение дорожного трафика, рациональное планирование расписания полетов и многие другие.
Государственные учреждения используют машинное обучение для интеллектуального анализа данных в целях повышения своей эффективности и экономии денежных средств. Банки применяют машинное обучение для выявления инвестиционных возможностей, высокорисковых клиентов или признаков киберугрозы. В области здравоохранения машинное обучение помогает использовать данные носимых устройств и датчиков для оценки состояния здоровья пациента в режиме реального времени.
Алгоритмы машинного обучения
Вредоносное машинное обучение
Перспективы развития математического аппарата ИИ или есть ли жизнь за пределами ML/DL
Графовые нейросети: мимолетный тренд или за ними будущее
Графовые нейронные сети активно применяются в машинном обучении на графах для решения локальных (классификация вершин, предсказание связей) и глобальных (схожесть графов, классификация графов) задач. Локальные методы имеют много примеров применения в обработке текстов, компьютерном зрении и рекомендательных системах. Глобальные методы, в свою очередь, применяются в аппроксимации задач, эффективно не решаемых на современных компьютерах (за исключением квантового компьютера будущего), и используются на стыке компьютерных и естественных наук для предсказания новых свойств и веществ (это актуально, например, при создании новых лекарственных препаратов).
Пика популярности графовые нейросети достигли в 2018 году, когда они стали использоваться и показали высокую эффективность в различных приложениях. Самый известный пример – модель PinSage в рекомендательной системе сервиса Pinterest. С тех пор находится все больше новых применений технологии в областях, где раньше существующие методы были не способны эффективно учитывать в моделях связи между объектами. Подробнее здесь.