чего не могут сделать нейросети с изображениями
Что может и чего не может нейросеть: пятиминутный гид для новичков
Если термины «катастрофическая забывчивость» и «регуляризация весов» вам пока ни о чем не говорят, читайте дальше: попробуем разобраться во всем по порядку.
За что мы любим нейросети
Основное преимущество нейронных сетей перед другими методами машинного обучения состоит в том, что они могут распознавать более глубокие, иногда неожиданные закономерности в данных. В процессе обучения нейроны способны реагировать на полученную информацию в соответствии с принципами генерализации, тем самым решая поставленную перед ними задачу.
К областям, где сети находят практическое применение уже сейчас, можно отнести медицину (например, очистка показаний приборов от шумов, анализ эффективности проведённого лечения), интернет (ассоциативный поиск информации), экономику (прогнозирование курсов валют, автоматический трейдинг), игры (например, го) и другие. Нейросети могут использоваться практически для чего угодно в силу своей универсальности. Однако волшебной таблеткой они не являются, и чтобы они начали функционировать должным образом, требуется проделать много предварительной работы.
Обучение нейросетей 101
Одним из ключевых элементов нейронной сети является способность обучаться. Нейронная сеть — это адаптивная система, умеющая изменять свою внутреннюю структуру на базе поступающей информации. Обычно такой эффект достигается с помощью корректировки значений весов.
Связи между нейронами на соседних слоях нейросети — это числа, описывающие значимость сигнала между двумя нейронами. Если обученная нейронная сеть верно реагирует на входную информацию, то настраивать веса нет необходимости, а в противном случае с помощью какого-либо алгоритма обучения нужно изменить веса, улучшив результат.
Как правило, это делают с помощью метода обратного распространения ошибки: для каждого из обучающих примеров веса корректируются так, чтобы уменьшить ошибку. Считается, что при правильно подобранной архитектуре и достаточном наборе обучающих данных сеть рано или поздно обучится.
Существует несколько принципиально отличающихся подходов к обучению, в привязке к поставленной задаче. Первый — обучение с учителем. В этом случае входные данные представляют собой пары: объект и его характеристику. Такой подход применяется, например, в распознавании изображений: обучение проводится по размеченной базе из картинок и расставленных вручную меток того, что на них нарисовано.
Самой известной из таких баз является ImageNet. При такой постановке задачи обучение мало чем отличается от, например, распознавания эмоций, которым занимается Neurodata Lab. Сети демонстрируются примеры, она делает предположение, и, в зависимости от его правильности, корректируются веса. Процесс повторяется до тех пор, пока точность не увеличивается до искомых величин.
Второй вариант — обучение без учителя. Типичными задачами для него считаются кластеризация и некоторые постановки задачи поиска аномалий. При таком раскладе истинные метки обучающих данных нам недоступны, но есть необходимость в поиске закономерностей. Иногда схожий подход применяют для предобучения сети в задаче обучения с учителем. Идея состоит в том, чтобы начальным приближением для весов было не случайное решение, а уже умеющее находить закономерности в данных.
Переобучение: в чем проблема и как ее решить
Главная проблема нейросетей — переобучение. Оно заключается в том, что сеть «запоминает» ответы вместо того, чтобы улавливать закономерности в данных. Наука поспособствовала появлению на свет нескольких методов борьбы с переобучением: сюда относятся, например, регуляризация, нормализация батчей, наращивание данных и другие. Иногда переобученная модель характеризуется большими абсолютными значениями весов.
Механизм этого явления примерно такой: исходные данные нередко сильно многомерны (одна точка из обучающей выборки изображается большим набором чисел), и вероятность того, что наугад взятая точка окажется неотличимой от выброса, будет тем больше, чем больше размерность. Вместо того, чтобы «вписывать» новую точку в имеющуюся модель, корректируя веса, нейросеть как будто придумывает сама себе исключение: эту точку мы классифицируем по одним правилам, а другие — по другим. И таких точек обычно много.
Очевидный способ борьбы с такого рода переобучением – регуляризация весов. Она состоит либо в искусственном ограничении на значения весов, либо в добавлении штрафа в меру ошибки на этапе обучения. Такой подход не решает проблему полностью, но чаще всего улучшает результат.
Второй способ основан на ограничении выходного сигнала, а не значений весов, — речь о нормализации батчей. На этапе обучения данные подаются нейросети пачками — батчами. Выходные значения для них могут быть какими угодно, и тем их абсолютные значения больше, чем выше значения весов. Если из каждого из них мы вычтем какое-то одно значение и поделим результат на другое, одинаково для всего батча, то мы сохраним качественные соотношения (максимальное, например, все равно останется максимальным), но выход будет более удобным для обработки его следующим слоем.
Третий подход работает не всегда. Как уже говорилось, переобученная нейросеть воспринимает многие точки как аномальные, которые хочется обрабатывать отдельно. Идея состоит в наращивании обучающей выборки, чтобы точки были как будто той же природы, что и исходная выборка, но сгенерированы искусственно. Однако тут сразу рождается большое число сопутствующих проблем: подбор параметров для наращивания выборки, критическое увеличение времени обучения и прочие.
Эффект от удаления аномального значения из тренировочного свода данных (источник)
В обособленную проблему выделяется поиск настоящих аномалий в обучающей выборке. Иногда это даже рассматривают как отдельную задачу. Изображение выше демонстрирует эффект исключения аномального значения из набора. В случае нейронных сетей ситуация будет аналогичной. Правда, поиск и исключение таких значений — нетривиальная задача. Для этого применяются специальные техники — подробнее о них вы можете прочитать по ссылкам (здесь и здесь).
Одна сеть – одна задача или «проблема катастрофической забывчивости»
Работа в динамически изменяющихся средах (например, в финансовых) сложна для нейронных сетей. Даже если вам удалось успешно натренировать сеть, нет гарантий, что она не перестанет работать в будущем. Финансовые рынки постоянно трансформируются, поэтому то, что работало вчера, может с тем же успехом «сломаться» сегодня.
Здесь исследователям или приходится тестировать разнообразные архитектуры сетей и выбирать из них лучшую, или использовать динамические нейронные сети. Последние «следят» за изменениями среды и подстраивают свою архитектуру в соответствии с ними. Одним из используемых в этом случае алгоритмов является метод MSO (multi-swarm optimization).
Более того, нейросети обладают определенной особенностью, которую называют катастрофической забывчивостью (catastrophic forgetting). Она сводится к тому, что нейросеть нельзя последовательно обучить нескольким задачам — на каждой новой обучающей выборке все веса нейронов будут переписаны, и прошлый опыт будет «забыт».
Безусловно, ученые трудятся над решением и этой проблемы. Разработчики из DeepMind недавно предложили способ борьбы с катастрофической забывчивостью, который заключается в том, что наиболее важные веса в нейронной сети при выполнении некой задачи А искусственно делаются более устойчивыми к изменению в процессе обучения на задаче Б.
Новый подход получил название Elastic Weight Consolidation (упругое закрепление весов) из-за аналогии с упругой пружинкой. Технически он реализуется следующим образом: каждому весу в нейронной сети присваивается параметр F, который определяет его значимость только в рамках определенной задачи. Чем больше F для конкретного нейрона, тем сложнее будет изменить его вес при обучении новой задаче. Это позволяет сети «запоминать» ключевые навыки. Технология уступила «узкоспециализированным» сетям в отдельных задачах, но показала себя с лучшей стороны по сумме всех этапов.
Армированный черный ящик
Еще одна сложность работы с нейронными сетями состоит в том, что ИНС фактически являются черными ящиками. Строго говоря, кроме результата, из нейросети не вытащишь ничего, даже статистические данные. При этом сложно понять, как сеть принимает решения. Единственный пример, где это не так — сверточные нейронные сети в задачах распознавания. В этом случае некоторые промежуточные слои имеют смысл карт признаков (одна связь показывает то, встретился ли какой-то простой шаблон в исходной картинке), поэтому возбуждение различных нейронов можно отследить.
Разумеется, указанный нюанс делает достаточно сложным использование нейронных сетей в приложениях, когда ошибки критичны. Например, менеджеры фондов не могут понять, как нейронная сеть принимает решения. Это приводит к тому, что невозможно корректно оценить риски торговых стратегий. Аналогично банки, прибегающие к нейронным сетям для моделирования кредитных рисков, не смогут сказать, почему этот самый клиент имеет сейчас именно такой кредитный рейтинг.
Поэтому разработчики нейросетей ищут способы обойти это ограничение. Например, работа ведется над так называемыми алгоритмами изъятия правил (rule-extraction algorithms), чтобы повысить прозрачность архитектур. Эти алгоритмы извлекают информацию из нейросетей либо в виде математических выражений и символьной логики, либо в виде деревьев решений.
Нейронные сети — это лишь инструмент
Само собой, искусственные нейронные сети активно помогают осваивать новые технологии и развивать существующие. Сегодня на пике популярности находится программирование беспилотных автомобилей, в которых нейросети в режиме реального времени анализируют окружающую обстановку. IBM Watson из года в год открывает для себя всё новые прикладные области, включая медицину. В Google существует целое подразделение, которое занимается непосредственно искусственным интеллектом.
Вместе с тем порой нейронная есть — не лучший способ решить задачу. Например, сети «отстают» по таким направлениям, как создание изображений высокого разрешения, генерация человеческой речи и глубокий анализ видеопотоков. Работа с символами и рекурсивными структурами также даётся нейросистемам нелегко. Верно это и для вопросно-ответных систем.
Изначально идея нейронных сетей заключалась в копировании и даже воссоздании механизмов функционирования мозга. Однако человечеству по-прежнему нужно разрешить проблему скорости работы нейронных сетей, разработать новые алгоритмы логического вывода. Существующие алгоритмы по меньшей мере в 10 раз уступают возможностям мозга, что неудовлетворительно во многих ситуациях.
При этом ученые до сих пор не до конца определились, в каком направлении следует развивать нейросети. Индустрия старается как максимально приблизить нейросети к модели человеческого мозга, так и генерировать технологии и концептуальные схемы, абстрагируясь ото всех «аспектов человеческой природы». На сегодняшний день — это что-то вроде «открытого произведения» (если воспользоваться термином Умберто Эко), где практически любые опыты допустимы, а фантазии – приемлемы.
Деятельность ученых и разработчиков, занимающихся нейросетями, требует глубокой подготовки, обширных знаний, использования нестандартных методик, поскольку нейросеть сама по себе — это не «серебряная пуля», способная решить любые проблемы и задачи без участия человека. Это комплексный инструмент, который в умелых руках может делать удивительные вещи. И у него еще всё впереди.
37 причин, почему ваша нейросеть не работает
Сеть обучалась последние 12 часов. Всё выглядело хорошо: градиенты стабильные, функция потерь уменьшалась. Но потом пришёл результат: все нули, один фон, ничего не распознано. «Что я сделал не так?», — спросил я у компьютера, который промолчал в ответ.
Почему нейросеть выдаёт мусор (например, среднее всех результатов или у неё реально слабая точность)? С чего начать проверку?
Сеть может не обучаться по ряду причин. По итогу многих отладочных сессий я заметил, что часто делаю одни и те же проверки. Здесь я собрал в удобный список свой опыт вместе с лучшими идеями коллег. Надеюсь, этот список будет полезен и вам.
Содержание
0. Как использовать это руководство?
Многое может пойти не так. Но некоторые проблемы встречаются чаще, чем другие. Я обычно начинаю с этого маленького списка как набора экстренной помощи:
I. Проблемы с набором данных
Источник: http://dilbert.com/strip/2014-05-07
1. Проверьте входные данные
Проверьте, что входные данные имеют смысл. Например, я не раз смешивал в кучу высоту и ширину изображений. Иногда по ошибке отдавал в нейросеть все нули. Или использовал одну и ту же партию снова и снова. Так что напечатайте/посмотрите пару партий входных данных и плановых выходных данных — убедитесь, что всё в порядке.
2. Попробуйте случайные входные значения
Попробуйте передать случайные числа вместо реальных данных и посмотрите, останется ли та же ошибка. Если так, то это верный знак, что ваша сеть на каком-то этапе превращает данные в мусор. Попробуйте отладку слой за слоем (операция за операцией) и посмотрите, где происходит сбой.
3. Проверьте загрузчик данных
С данными всё может быть в порядке, а ошибка в коде, который передаёт входные данные нейросети. Распечатайте и проверьте входные данные первого слоя перед началом его операций.
4. Убедитесь, что вход соединяется с выходом
Проверьте, что несколько образцов входных данных снабжены правильными метками. Также проверьте, что смена местами входных образцов так же отражается на выходных метках.
5. Взаимоотношение между входом и выходом слишком случайно?
Может быть, неслучайные части взаимоотношения между входом и выходом слишком малы по сравнению со случайной частью (кто-то может сказать, что таковы котировки на бирже). То есть вход недостаточно связан с выходом. Тут нет универсального метода, потому что мера случайности зависит от типа данных.
6. Слишком много шума в наборе данных?
Однажды это случилось со мной, когда я стянул набор изображений продуктов питания с сайта. Там было так много плохих меток, что сеть не могла обучаться. Вручную проверьте ряд образцов входных значений и посмотрите, что все метки на месте.
Данный пункт достоин отдельного разговора, потому что эта работа показывает точность выше 50% на базе MNIST при 50% повреждённых меток.
7. Перемешайте набор данных
Если ваши данные не перемешаны и располагаются в определённом порядке (отсортированы по меткам), это может отрицательно отразиться на обучении. Перемешайте набор данных: убедитесь, что перемешиваете вместе и входные данные, и метки.
8. Снизьте несбалансированность классов
Может, в наборе данных тысяча изображений класса А на одно изображение класса Б? Тогда вам может понадобиться сбалансировать функцию потерь или попробовать другие подходы устранения несбалансированности.
9. Достаточно ли образцов для обучения?
Если вы обучаете сеть с нуля (то есть не настраиваете её), то может понадобиться очень много данных. Например, для классификации изображений, говорят, нужна тысяча изображений на каждый класс, а то и больше.
10. Убедитесь в отсутствии партий с единственной меткой
Такое случается в отсортированном наборе данных (то есть первые 10 тыс. образцов содержат одинаковый класс). Легко исправляется перемешиванием набора данных.
11. Уменьшите размер партий
Эта работа указывает, что слишком большие партии могут понизить у модели способность к обобщению.
Дополнение 1. Используйте стандартный набор данных (например, mnist, cifar10)
При тестировании новой сетевой архитектуры или написании нового кода сначала используйте стандартные наборы данных вместо своих. Потому что для них уже есть много результатов и они гарантированно «разрешимые». Там не будет проблем с шумом в метках, разницей в распределении обучение/тестирование, слишком большой сложностью набора данных и т.д.
II. Нормализация данных/Проблемы аугментации
12. Откалибруйте признаки
Вы откалибровали входные данные на нулевое среднее и единичную дисперсию?
13. Слишком сильная аугментация данных?
Аугментация имеет регуляризующий эффект. Если она слишком сильная, то это вкупе с другими формами регуляризации (L2-регуляризация, dropout и др.) может привести к недообучению нейросети.
14. Проверьте предобработку предварительно обученной модели
Если вы используете уже подготовленную модель, то убедитесь, что используются та же нормализация и предобработка, что и в модели, которую вы обучаете. Например, должен пиксель быть в диапазоне [0, 1], [-1, 1] или [0, 255]?
15. Проверьте предварительную обработку для набора обучение/валидация/тестирование
«… любую статистику предобработки (например, среднее данных) нужно вычислять на данных для обучения, а потом применять на данных валидации/тестирования. Например, будет ошибкой вычисление среднего и вычитание его из каждого изображения во всём наборе данных, а затем разделение данных на фрагменты для обучения/валидации/тестирования».
Также проверьте на предмет наличия различающейся предварительной обработки каждого образца и партии.
III. Проблемы реализации
Источник: https://xkcd.com/1838/
16. Попробуйте решить более простой вариант задачи
Это поможет определить, где проблема. Например, если целевая выдача — это класс объекта и координаты, попробуйте ограничить предсказание только классом объекта.
17. Поищите правильную функцию потерь «по вероятности»
Снова из бесподобного CS231n: Инициализируйте с небольшими параметрами, без регуляризации. Например, если у нас 10 классов, то «по вероятности» означает, что правильный класс определится в 10% случаев, а функция потерь Softmax — это обратный логарифм к вероятности правильного класса, то есть получается 
После этого попробуйте увеличить силу регуляризации, что должно увеличить функцию потерь.
18. Проверьте функцию потерь
Если вы реализовали свою собственную, проверьте её на баги и добавьте юнит-тесты. У меня часто бывало, что слегка неправильная функция потерь тонко вредила производительности сети.
19. Проверьте входные данные функции потерь
Если вы используете функцию потерь из фреймворка, то убедитесь, что передаёте ей то что нужно. Например, в PyTorch я бы смешал NLLLoss и CrossEntropyLoss, потому что первая требует входных данных softmax, а вторая — нет.
20. Отрегулируйте веса функции потерь
Если ваша функция потерь состоит из нескольких функций, проверьте их соотношение относительно друг друга. Для этого может понадобиться тестирование в разных вариантах соотношений.
21. Отслеживайте другие показатели
Иногда функция потерь — не лучший предиктор того, насколько правильно обучается ваша нейросеть. Если возможно, используйте другие показатели, такие как точность.
22. Проверьте каждый кастомный слой
Вы самостоятельно реализовали какие-то из слоёв сети? Дважды проверьте, что они работают как полагается.
23. Проверьте отсутствие «зависших» слоёв или переменных
Посмотрите, может вы неумышленно отключили обновления градиента каких-то слоёв/переменных.
24. Увеличьте размер сети
Может, выразительной мощности сети недостаточно для усвоения целевой функции. Попробуйте добавить слоёв или больше скрытых юнитов в полностью соединённые слои.
25. Поищите скрытые ошибки измерений
Если ваши входные данные выглядят как 
, то легко пропустить ошибку, связанную с неправильными измерениями. Используйте необычные числа для измерений входных данных (например, разные простые числа для каждого измерения) и посмотрите, как они распространяются по сети.
26. Исследуйте Gradient Checking
Если вы самостоятельно реализовали Gradient Descent, то с помощью Gradient Checking можно убедиться в корректной обратной связи. Дополнительная информация: 1, 2, 3.
IV. Проблемы обучения
Источник: http://carlvondrick.com/ihog/
27. Решите задачу для действительно маленького набора данных
Переобучите сеть на маленьком наборе данных и убедитесь в её работе. Например, обучите её всего с 1-2 примерами и посмотрите, способна ли сеть различать объекты. Переходите к большему количеству образцов для каждого класса.
28. Проверьте инициализацию весов
Если не уверены, используйте инициализацию Ксавьера или Хе. К тому же, ваша инициализация может вывести на плохой локальный минимум, так что испытайте другую инициализацию, может поможет.
29. Измените гиперпараметры
Может вы используете плохой набор гиперпараметров. Если возможно, попробуйте grid search.
30. Уменьшите регуляризацию
Из-за слишком сильной регуляризации сеть может конкретно недообучиться. Уменьшите регуляризацию, такую как dropout, batch norm, L2-регуляризацию weight/bias и др. В отличном курсе «Практическое глубинное обучение для программистов» Джереми Говард рекомендует в первую очередь избавиться от недообучения. То есть нужно достаточно переообучить сеть на исходных данных, и только затем бороться с переобучением.
31. Дайте время
Может сети нужно больше времени на обучение, прежде чем она начнёт делать осмысленные предсказания. Если функция потерь стабильно уменьшается, дайте ей обучиться чуть подольше.
32. Переходите от режима обучения в режим тестирования
В некоторых фреймворках слои Batch Norm, Dropout и другие ведут себя по-разному во время обучения и тестирования. Переключение в подходящий режим может помочь вашей сети начать делать правильные прогнозы.
33. Визуализируйте обучение
«Для весов эти гистограммы должны иметь примерно гауссово (нормальное) распределение, спустя какое-то время. Гистограммы сдвигов обычно начинаются с нуля и обычно заканчиваются на уровне примерно гауссова распределения (единственное исключение — LSTM). Следите за параметрами, которые отклоняются на плюс/минус бесконечность. Следите за сдвигами, которые становятся слишком большими. Иногда такое случается в выходном слое для классификации, если распределение классов слишком несбалансировано».
34. Попробуйте иной оптимизатор
Ваш выбор оптимизатора не должен мешать нейросети обучаться, если только вы не выбрали конкретно плохие гиперпараметры. Но правильный оптимизатор для задачи может помочь получить наилучшее обучение за кратчайшее время. Научная статья с описанием того алгоритма, который вы используете, должна упомянуть и оптимизатор. Если нет, я предпочитаю использовать Adam или простой SGD.
Прочтите отличную статью Себастьяна Рудера, чтобы узнать больше об оптимизаторах градиентного спуска.
35. Взрыв/исчезновение градиентов
36. Ускорьте/замедлите обучение
Низкая скорость обучения приведёт к очень медленному схождению модели.
Высокая скорость обучения сначала быстро уменьшит функцию потерь, а потом вам будет трудно найти хорошее решение.
Поэкспериментируйте со скоростью обучению, ускоряя либо замедляя её в 10 раз.
37. Устранение состояний NaN
Состояния NaN (Non-a-Number) гораздо чаще встречаются при обучении RNN (насколько я слышал). Некоторые способы их устранения:
9 нейросетей для обработки ваших фотографий: что может искусственный интеллект?
Содержание
Содержание
Это статья для тех, кто любит новые технологии и фотографию. Мы расскажем, где и как обрабатывать свои фото быстрее с помощью искусственного интеллекта. Все способы бесплатны и доступны каждому.
Лучшие нейросети для обработки изображений онлайн
Самые крутые нейросети живут в интернете, потому что машинное обучение развивается за счет открытого взаимодействия с людьми и анализа их фотографий. Чем больше лиц и объектов «узнает» машина, тем больше у нее будет опыта и ассоциаций. Вот несколько необычных и полезных сервисов, чтобы улучшать и изменять фотографии онлайн.
Nvidia InPainting
Помогает отретушировать снимок с помощью «умной» кисти. Если кадр испортил случайный прохожий или на заднем плане заметен мусорный бак, Nvidia InPainting удалит их с фото.
1. Кликаем зеленую кнопку и загружаем картинку в редактор. Поддерживаются только JPG и PNG изображения. Снимок будет обрезан автоматически — целиком на экране его не вывести, но вы можете перемещать его правее-левее и масштабировать.
2. Выбираем инструмент Hide Mask («Скрыть маску»), настраиваем толщину кисти и закрашиваем пловца в воде. Немного «задеваем» рябь рядом с объектом, чтобы скрыть ее тоже. Жмем Apply Model («Применить модель»).
3. Обработка снимка занимает секунды 3, сравниваем исходник и финальный результат.
Эта же кисточка пригодится, если нужно незаметно скорректировать дефекты кожи, разгладить морщины и исправить пустоты на заломах ретро-снимков. Эффекты сглаживания получаются за счет заполнения недостающих точек. Алгоритм воспринимает пятно, морщинку или полосу, как битый пиксель, и перекрывает наиболее подходящей текстурой и цветом.
Remove.bg
Бесплатный сервис от австрийской компании Kaleido. Нейросеть удаляет фон с фотографий автоматически, что намного быстрее, чем рисовать границы хромакея вручную. Разработчики создали версии для Windows / MacOS / Linux, плагины для Adobe Fotoshop, Figma и других программ. Есть даже приложение для Android, так что похвалить Remove.bg можно не только за скорость работы, но и за кроссплатформенность.
Компания гордится тем, что их разработка делает аккуратный вырез даже вокруг сложных контуров — воланов платья, пушистых волос. Давайте проверим.
1. Загружаем изображение — его можно выбрать из проводника или вставить URL картинки. Заявленные 5 секунд не успели пройти, а результат уже отобразился.
Объект сохранен идеально — волосы, складки сумки, кисть руки — ни одного недочета.
2. Сервис решил «добить» наш восторг до предела и предложил отредактировать работу — выбрать новый фон из библиотеки или загрузить свой с ПК.
GFP-GAN
Сервис от разработчика Ahsen Khaliq детализирует размытые лица на фото. Актуально для случаев, когда съемка проходила при плохом освещении или «на ходу».
1. Перетащите изображение в рабочую область GFP-GAN или импортируйте с компьютера. Предварительно снимок можно обработать — добавить стикеры и текст, применить фильтры.
2. Нажмите Submit («Разместить») и подождите, пока идет обработка. При каждой новой попытке счетчик отображает, что процесс занял 5-5,5 секунд, но по факту итоговый результат появляется секунд через 20.
Получилось неплохо. Новое изображение выглядит немного синтетически, но намного лучше, чем исходник. Только жаль потерянного «низа» — редактор обрезал фото процентов на 50.
3. Получившуюся картинку скачиваем через «Сохранить как».
Реал-ESRGAN
Та же платформа, но другой алгоритм, который работает не с лицами, а с предметами и животными. Принцип похож: исправить нарушения фокусировки или убрать шум с помощью нейросети, сделать объект детализированнее и четче. Проделаем это с картинкой, которую предварительно замылили.
Загрузили файл в Реал-ESRGAN, нажали Submit. Обработка завершилась через 12 секунд, хотя счетчик пишет 8. Фотография действительно стала намного резче, но до оригинала не дотягивает. Сравните:
Looka
Поиграем с логотипами? Используем канадский сервис, который поможет создать новое лого для компании или подкинет идей, чтобы создать свой уникальный стиль. Дизайн будем разрабатывать для DNS.
1. Вводим название компании и кликаем «Начать». Теперь нам нужно прописать отрасль, выбрать референсы, цвета, добавить слоган (не обязательно). Looka не говорит на русском, поэтому все прописываем на английском языке.
2. Последний этап — выбор иконки. Иконок сотни, использовать можно несколько. Отметили нужные, нажали «Продолжить». В результате получили 12 вариантов логотипов.
Логотип разрабатывается бесплатно. За дополнительную плату можно разработать полноценный брендбук — визитки, футболки, приглашения, шаблоны для сторис и т. д.
AutoDraw
Забавный проект от Google, который «научит» рисовать любого. С помощью AutoDraw можно создавать иконки, небольшие иллюстрации, как аниматор-профессионал.
Слева находится меню с инструментами для рисования — карандаш, заливка, фигуры, палитра цветов. Можно рисовать ими, но лучше воспользоваться карандашом со звездочкой. Именно он поможет нам превратить любые каракули во что-то понятное.
Лисичке не очень повезло сегодня — вместо нее искусственный интеллект предлагает каких-то котов и драконов. Возможно, стоило делать меньше деталей. Если лиса и впрямь на себя не похожа, напишите в комментариях, пожалуйста.
Лучшие фоторедакторы на основе искусственного интеллекта
Не всегда хочется лезть в интернет и делиться с машиной данными, на которых она учится. Вот ТОП компьютерных программ, в которых Искусственный интеллект берет на себя сразу несколько задач и делает это локально, без выхода в сеть.
ФотоМАСТЕР
Умный фоторедактор от российской компании AMS Soft работает с портретными, пейзажными, репортажными фото. С помощью нейросети с лиц исчезают шрамы, морщинки, акне, пигментные пятна. Меняется пластика — уходит массивный подбородок, глаза выглядят больше и выразительнее. Даже зубы можно визуально отбелить. С фигурой ФотоМАСТЕР тоже работает — делает талию уже, грудь больше, ноги длиннее и стройней.
С изображений можно незаметно удалять объекты, используя «Штамп» или «Заплатку». А еще в программе легко заменять фон — нужно лишь схематично, в пару черточек, обозначить объект, который хочется сохранить.
Программа платная, но с бесплатным промо-периодом. Простая и подходит для новичков.
Luminar AI
В редактор от Skylim встроен интеллектуальный фильтр Accent, который помогает совершенствовать фотографии автоматически. Он анализирует тона, глубину резкости, детали кадра, и предлагает пользователю изменения. Например, когда вы работаете над снимком неба, умные алгоритмы считывают, в каких областях не хватает цвета или яркости, и сами «достраивают» изображение. Артефакты — блочные, ореолы — удаляются автоматически.
Если это снимок листвы, происходит то же. Нейросеть усиливает нужные фрагменты, делая зелень сочнее и ярче. Естественность оттенков при этом сохраняется. Для селфи и портретных снимков Luminar подбирает корректирующие шаблоны, исходя из того, сколько лиц на снимке, есть ли шумность, дефекты кожи и т.д.
Стоимость лицензии 6520 рублей, но есть месячный пробный период, чтобы попробовать и успеть разобраться в функционале программы.
Topaz Gigapixel AI
Разработка техасских программистов из Topaz Labs. Основная задача у этого ПО — апскейлинг.
Апскейл — это когда специальный алгоритм искусственно «поднимает» низкое разрешение фотографии, улучшая ее качество.
Благодаря Topaz Gigapixel AI четкость и детализацию картинки можно увеличить до 600%!
Машинное обучение программы проходило на базе миллионов изображений дикой природы, пейзажей, портретов, архитектуры. Нейросеть поняла, как выглядят предметы, люди и животные в реальности, и научилась заполнять недостающие пиксели особым образом — не встраивая блоки, а естественно, «додумывая». В результате картинка не просто становится более четкой — ее можно масштабировать, и она все равно останется детализированной. Теперь даже любую маленькую фотографию можно превратить в большую, загрузить на сайт или использовать в рекламе, печати, заставке для рабочего стола.
Чтобы получить пробную версию, придется поделиться с компанией адресом своей электронной почты. Платный пакет регистрации не требует и стоит 100 долларов.
Выводы
Мы увидели, как умные алгоритмы помогают людям «достраивать» фотографии, увеличивать разрешение и детализировать снимки, удалять фон и объекты из кадра. Причем нейросети делают это с минимумом ошибок и намного быстрее, чем человек. Если вы когда-нибудь удаляли фон, аккуратно закрашивая от руки каждую деталь. то понимаете, о чем мы.
О каких еще интересных сервисах мы забыли рассказать? Поделитесь в комментариях!