Что включает в себя управление данными
Управление данными в операционных системах
Операционные системы ЭВМ. Основные принципы и понятия
В результате изучения 1-го модуля студенты должны получить представление:
· об основных этапах эволюции операционных систем;
· о назначении и функциях операционных систем;
· об основах классификации и видах операционных систем
Общие сведения об операционных системах
Основные принципы и понятия.
Ранние ЭВМ не предусматривали ОС, поэтому процесс запуска/остановки программы, присоединения внешних носителей управлялись вручную или из прикладной программы. В середине 60-х годов ряд ведущих фирм-производителей ЭВМ – IBM (США), ICL (International Computer Limited – Великобритания), CII (Compagne Internationale pour Informatigue – Франция) практически одновременно приступили к выпуску моделей машин (собственно – IBM 360, System 4, Iris 80), оснащенных операционными системами.
Наиболее современной и конкурентоспособной оказалась система OS/ 360 (IBM), в которой были заложены практически все основные черты ОС, позволяющие превратить ЭВМ в «автоматизированную фабрику» обработки информации при минимальном участии человека. OS/360 и другие современные системы были ориентированы на пакетную обработку информации, при которой пользователь не может вмешаться в ход выполняемой задачи, оперативно просмотреть промежуточные данные, т.е. оторван от машины.
Появление и широкое распространение видеотерминалов привели к возможности предоставить пользователю интерактивный диалоговый доступ к вычислительному процессу, которым он занимается. В OS/360 фирмой и пользователями были внесены дополнения – появились системы TSO, CICS (Customer Information Control System). Известен ряд удачных отечественных разработок – Primus, Focus. Появившиеся в последующий период ОС ориентировались исключительно на интерактивную работу пользователей.
Функции и состав ОС
Функции ОС
Операционная система – это набор программ, обеспечивающий организацию вычислительного процесса ЭВМ. Основные задачи следующие:
— увеличение пропускной способности ЭВМ (за счет организации непрерывной обработки потока задач с автоматическим переходом от одной задачи к другой и эффективного распределения ресурсов ЭВМ по нескольким задачам);
— уменьшение времени реакции системы на запросы пользователей и получение пользователями ответов от ЭВМ;
— упрощение работы разработчиков программных средств и сотрудников обслуживающего персонала ЭВМ (за счет предоставления им значительного количества языков программирования и разнообразных сервисных программ).
По современным представлениям ОС должна уметь делать следующее:
— обеспечивать загрузку пользовательских программ в оперативную память и их исполнение (этот пункт не относится к ОС, предназначенным для прошивки в ПЗУ).
— обеспечивать управление памятью. В простейшем случае это указание единственной загруженной программе адреса, на котором кончается память, доступная для использования, и начинается память, занятая системой. В многопроцессорных системах это сложная задача управления системными ресурсами.
— обеспечивать работу с устройствами долговременной памяти, такими как магнитные диски, ленты, оптические диски, флэш-память и т.д. Как правило, ОС управляет свободным пространством на этих носителях и структурирует пользовательские данные в виде файловых систем.
— предоставлять более или менее стандартизованный доступ к различным периферийным устройствам, таким как терминалы, модемы, печатающие устройства и т.д.
— предоставлять некоторый пользовательский интерфейс. Часть систем ограничивается командной строкой, в то время как другие на 90% состоят из интерфейсной подсистемы.
Существуют ОС, функции которых этим и исчерпываются. Одна из хорошо известных систем такого типа – дисковая операционная система MS-DOS. Более развитые ОС предоставляют также следующие возможности:
— параллельное (или псевдопараллельное, если машина имеет только один процессор) исполнение нескольких задач;
— организацию взаимодействия задач друг с другом;
— организацию межмашинного взаимодействия и разделения ресурсов;
— защиту системных ресурсов, данных и программ пользователя, исполняющихся процессов и самой себя от ошибочных и зловредных действий пользователей и их программ;
— аутентификацию (проверку того, что пользователь является тем, за кого он себя выдает);
— авторизацию(проверка, что тот, за кого себя выдает пользователь, имеет право выполнять ту или иную операцию) и другие средства обеспечения безопасности.
Классификация ОС
ОС могут классифицироваться по следующим показателям:
— количество пользователей: однопользовательские ОС (MS-DOS, WINDOWS) и многопользовательские (VM, UNIX)
— доступ: пакетные(OS360), интерактивные (WINDOWS, UNIX), системы реального времени(QNX, RSX)
— количество решаемых задач: однозадачные ОС (MS-DOS) и многозадачные ОС (WINDOWS, UNIX)
ОС предназначена для выполнения следующих основных (тесно взаимосвязанных) функций:
— связь с человеком-оператором.
В различных ОС эти функции реализуются в различных масштабах и с помощью разных технических, программных, информационных методов и средств.
Структурно ОС представляет собой совокупность программ, управляющих ходом работы вычислительной машины, идентифицирующих прикладные программы и данные и осуществляющих связь между машиной и оператором. ОС повышает производительность вычислительного комплекса за счет гибкой организации прохождения потока задач через машину; равномерной загрузки оборудования; оптимального использования всех ресурсов ЭВМ, стандартной организации хранения в машине больших массивов данных при наличии разнообразных способов доступа к ним.
В состав системного программного обеспечения входят также сервисные программы, которые предназначены для проверки исправности блоков ЭВМ, обнаружения и локализации отказов устройств и устранения их влияния на работу системы в целом.
Программы ОС
Программы ОС постоянно (резидентно) занимают в оперативной памяти объём, установленный при конфигурировании системы. Остальные части ОС по мере необходимости вызываются из внешней памяти.
ОС обеспечивает осуществление в вычислительной системе следующих процессов:
— работы системы в режиме диалога и квантовом времени;
— работы системы в реальном масштабе времени в составе многопроцессорных и многомашинных комплексов;
— связи оператора с системой;
— протоколирования хода выполнения вычислительных работ; обработки данных, поступающих по каналам связи;
— функционирования устройств ввода-вывода;
— использования широкого набора средств отладки и тестирования программ;
— планирования прохождения задач в соответствии с их приоритетами;
— ведения учета и контроля за использованием данных, программ и ресурсов ЭВМ.
Основные компоненты ОС – управляющие и обрабатывающие программы. Управляющие программы управляют работой вычислительной системы, обеспечивая в первую очередь автоматическую смену заданий для поддержания непрерывного режима работы ЭВМ при переходе от одной программы к другой без вмешательства оператора.
Управляющая программа определяет порядок выполнения обрабатывающих программ и обеспечивает необходимым набором услуг их выполнения. Основные функции управляющей программы: последовательное или приоритетное выполнение каждой работы (управление задачами); хранение, поиск и обслуживание данных независимо от их организации и способа хранения (управление данными).
Программы управления задачами считывают входные потоки задач, обрабатывают их в зависимости от приоритета, инициирует одновременное выполнение нескольких заданий; вызывают процедуры; ведут системный журнал.
Программы управления данными обеспечивают способы организации, идентификации, хранения, каталогизации и выборки обрабатываемых данных. Эти программы управляют вводом – выводом данных с различной организацией, объединением записей в блоки и разделением блоков на записи, обработкой меток томов и наборов данных.
Программы управления восстановлением после сбоя обрабатывают прерывания от систем контроля, регистрирует сбои в процессоре и внешних устройствах, формируют записи о сбое в журнале, анализирует возможность завершения затронутой сбоем задачи и переводят систему в состояние ожидания, если завершение задачи невозможно.
Конфигурация системы. Прикладная программа в операционных системах может получить от ОС в процессе своей работы характеристики конкретной реализации системы, в среде которой она функционирует: имя, версию и редакцию операционной системы, тип и технические характеристики компьютера. В ОС обычно имеются средства локализации, позволяющие настроить систему на конкретное национальное (местное) представление данных: представление десятичных дробей, денежных величин, даты и времени.
Управление данными в операционных системах
Управление данными включает следующие компоненты:
— управление внешними устройствами ввода-вывода и размещения данных.
Внешние устройства ЭВМ
Типовая конфигурация внешних устройств (ВУ) IBM PC – совместимых ПЭВМ включает: экран, клавиатура, накопители на магнитных дисках, принтер и т.д. Контроллеры ВУ представляют собой стандартного размера электронные платы (интерфейсные карты, адаптеры и т.д.). Практически все устройства требуют для своей работы программной поддержки – запуска и непрерывного функционирования специальных программ – драйверов устройств. В настоящее время основным видом накопителя является НМД (накопитель на магнитных дисках), но также используется НМЛ (накопитель на магнитных лентах), в основном для резервного (архивного) хранения (стримеры).
В состав внешних запоминающих устройств ЭВМ входят такие, как НГМД, оптические диски, флэш-карты.
Понятие файл появилось впервые в операционной системе OS/360 (IBM), причем в ранних версиях системы «настоящим файлом» считался только массив перфокарт, данные на МД и МЛ обозначались как DS (Data Set – набор данных). В последующих ОС (RSX, UNIX, DOS), файлами становятся именованные организационные наборы данных на любых носителях и устройствах, за сохранность и обновляемость которых (а также передачу в прикладные программы/из прикладных программ) и несет ответственность ОС ЭВМ.
Цикл обработки файла включает следующие операции:
— открытие файла – занятие устройства, на котором файл размещён (МД), создание в оперативной памяти (ОП) управляющего блока, в котором записывается;
— считывание (ввод) порции (блок) данных с накопителя (ВУ) и помещение его в область ОП (буфер);
— извлечение данных из буфера, их обработка и помещение обратно или в другой (выходной) буфер;
— после окончания обработки – вывод (запись) результатов на выходной накопитель также в форме одного или нескольких блоков.
На уровне ОС осуществляется связь между адресом данных и именем (файла). В эпоху до появления ОС и систем программирования программист должен был писать программы в непосредственных адресах ЭВМ
10 00 1234 7653 – сложить содержимое адреса 1234 с содержимым адреса 7653 и записать по адресу 7653.
При этом управление данными на внешних носителях состояло в написании команд вида:
47 00 0002 1234 – на устройстве накопления данных на МЛ перемотать ленту на 12 зон (блоков), затем прочитать 2 зоны в ОП, размещая данные с адреса 1234.
ОС избавляет программиста от таких забот, предоставляя возможность оперировать файлами и именами.
UNIT = SYSDA, VOL=SER=MASTER, DSN=SYS 2.PGMLIB (COPIER3), что означает набор данных (файл), который размещён на устройстве прямого доступа (НМД=SYSDA), причем пакет дисков имеет имя (метку) MASTER, имя файла состоит из группового обозначения (SYS2) и индивидуального PGMLIB, причем последнее соответствует состоящему из разделов файлу, раздел которого COPIER3 и является описываемым файлом.
Устройство:[g, n] имя. расширение; версия
где устройство – идентификатор устройства
— [g, n] – каталог, идентификатор пользователя, состоящий из имени (номера), группы (g) и имени пользователя в группе (n);
— расширения – идентификатор файла (не более 3 символов).
DPO: [1, 7] ADABAS.TSK; 1
C:\ WIN 98_SE\PROGRAMS\command.com
В начале для большинства ОС были установлены ограничения на длину и состав имени файла:
— имя может содержать только символы заглавной латиницы; цифры и подчеркивание;
— имя должно начинаться с буквы;
— длина имени файла не более 8 символов; длина расширения не более 3.
В дальнейшем эти ограничения во многом стали сниматься: появилось понятие длинного имени, включающего запрещенные символы.
Дата добавления: 2015-12-01 ; просмотров: 7037 ; ЗАКАЗАТЬ НАПИСАНИЕ РАБОТЫ
Актуальность темы управления данными (Data Governance) растет с каждым годом. Действительно, необходимость организации процессов, направленных на повышение эффективности сбора, обработки, хранения и использования данных как ценного актива, уже очевидна практически всем компаниям. Много сказано о том, какие преимущества приносят компании правильно выстроенные процессы управления данными, и многие организации уже начали внедрение этой инициативы. При этом организации часто допускают похожие ошибки, которые негативно влияют на темпы внедрения и эффективность создаваемых процессов управления данными. О том, какие это ошибки, как их избежать и на какие вопросы организация должна найти ответы в процессе внедрения Data Governance, в материале, подготовленном для TAdviser, рассказывает Светлана Бова, Chief Data Officer банка ВТБ.
Содержание
Зачем компании управление данными?
Иногда организация начинает внедрение процессов управления данными, не понимая конечных целей и измеримых показателей их достижения. Также отсутствует оценка текущего уровня зрелости организации в части управления данными и стратегия развития функции.
Инициатива может быть продиктована внешними факторами, такими как общий тренд на цифровую трансформацию, внедрение процессов управления данными в компаниях конкурентах («у них есть, нам тоже нужно»), при этом внутренние предпосылки отсутствуют или непрозрачны для руководства компании. Таким образом, происходит попытка внедрения того, к чему компания не готова. Более того, возможно компании это и не нужно именно в настоящий момент. Естественно, перспективы становятся довольно туманными.
Как этого избежать?
С чего начать?
Стоит отметить, что ни в коем случае нельзя пытаться сразу улучшить качество всех данных в организации или описать в бизнес-глоссарии все термины, используемые в компании. Относительно управления данными, можно сформулировать принцип Парето следующим образом: «20% всех данных критически влияют на 80% бизнес-процессов компании».
Правильным подходом в данном случае будет следующая последовательность шагов:
Необходимо выявить самые критичные с точки зрения бизнеса процессы, определить данные, существенно влияющие на эффективность этих процессов, зафиксировать начальную оценку эффективности процессов. Далее последовательно шаг за шагом повышать уровень качества, доступности данных и описания их метаданных. По завершении работ оценить, насколько удалось достичь заявленных бизнес–целей и переходить на активности по следующему бизнес-процессу, масштабируя таким образом деятельность по системной работе с данными.
Что главное в управлении данными?
Поэтому я выделяю следующие в порядке значимости приоритетные направления работ по управлению данными:
Конечно, технологии необходимы, но все же они вторичны по отношению к людям и организации процессов.
Кто такой владелец данных?
Бывает, что менеджмент организации считает управление данными технологической инициативой. Данные хранятся в ИТ-системах, это означает, что и отвечать за них (владеть ими) должны ИТ-специалисты. Это в корне неверное утверждение. Также часто применяется концепция, когда владельцами данных назначаются подразделения, использующие данные в своих процессах, например, для подготовки финансовой отчетности. То есть данными владеет тот, кто больше всех заинтересован в их качестве. Такой подход возможен, но все же он не является достаточно эффективным.
Если, например, потребитель покупает в магазине некачественный товар, кому он предъявит претензии? Конечно производителю товара. Так и с данными: ими может владеть только тот, кто их создает, тот, в чьем процессе данные рождаются на свет, тот, кто может непосредственно влиять на эффективность процесса производства данных. В том числе регламентировать процессы ввода данных в ИТ-системы, процессы контроля качества данных, как автоматизированные, так и ручные, инициировать необходимые доработки ИТ-систем.
Каким должен быть CDO?
CDO считается тяжелым профилем кандидатов для поиска и найма, и этому есть несколько причин: во-первых, в России практика выделения деятельности по управлению данными в отдельную функциональную единицу организации существует не так давно, во-вторых, пока не выстроен учебный институт по данной профессии в отличии от мирового сообщества, в-третьих, не накоплена статистика успешных людей на данной позиции, именно поэтому так неоднозначно и затруднительно бывает составить требования к кандидату на позицию лидера по управлению данными в каждой конкретной организации.
Иной раз, компания определяет для себя, что технические компетенции являются основными для директора по данным. Да, технические компетенции нужны, в том числе и знания в области хранилищ данных, инструментов преобразования данных, навыки проектирования и так далее. Но, мировые практики доказывают, что гораздо важнее другое. CDO – это прежде всего стратег, который определяет стратегию компании по работе с данными. CDO – это бизнесмен, который креативно предлагает бизнесу пути повышения эффективности процессов за счет управления данными. И в конце концов, CDO – это миссионер, задача которого обратить каждого в организации в свою веру: веру важности данных как ценного актива.
Поэтому основные необходимые CDO компетенции можно представить следующим образом в порядке значимости:
Когда заканчивается инициатива по управлению данными?
Существует мнение, что управление данными это конечный проект, разовое упражнение по очистке и инвентаризации данных. Однако это не так. Мир вокруг стремительно меняется, данные исчезают и появляются, мигрируют информационные системы, меняются требования к данным. Поэтому после внедрения Data Governance фреймворка работы по управлению данными должны быть продолжены в регулярном ежедневном режиме в рамках операционной деятельности компании. Непрерывная работа по совершенствованию сбора, обработки, хранения данных, повышению их качества и проникновению идеи ответственного к ним отношения становится неотъемлемой частью жизни и культуры компании. Только тогда можно смело говорить об успехе внедрения инициативы по управлению данными.
Управление данными
Data management
Управление данными это процесс, связанный с накоплением, организацией, запоминанием, обновлением, хранением данных и поиском информации.
Содержание
Управление данными (англ. data management) — процесс, связанный с накоплением, организацией, запоминанием, обновлением, хранением данных и поиском информации.
К управлению данными относятся
Отдельная статья TAdviser посвящена самому понятию «Данные».
Разделение функций между Data Governance и Data Management
Подобно тому, как аудитор контролирует финансовые процессы, но фактически не осуществляет финансовое управление, руководство данными обеспечивает надлежащее управление данными без непосредственного выполнения управления данными.
Управление данными представляет собой неотъемлемое разделение обязанностей между надзором и исполнением
2020: Aruba: организациям Европы, Ближнего Востока и Африки недостаточно инструментов для работы с данными
21 мая 2020 года стало известно о том, что согласно отчету Aruba, компании Hewlett Packard Enterprise, организации сталкиваются с проблемой получения выгоды из данных, так как системы перезагружены из-за растущего количества запросов.
Отчет Data to Decisions: A Rulebook to Unlock the Power of your Data описывает шесть шагов, которые помогут организациям лучше управлять своими данными. Ключевые темы отчета:
Для того, чтобы повысить квалификацию и расширить базу знаний в работе с данными, организациям следует сосредоточиться на повышении квалификации сотрудников, обладающих глубокими отраслевыми знаниями, нанять директора по обработке и анализу данных (Chief Data Officer), а также создать группы по управлению данными, в состав которых будут входить специалисты, принимающие решения по всем ключевым бизнес-задачам, что обеспечит отражение их потребностей в стратегии по работе и управлению данными.
В докладе содержится ряд рекомендаций по повышению уровня безопасности, такие как: классифицировать данные в соответствии с различными уровнями риска, разработать план действий в случае утечки данных, а также обучать сотрудников на основе практических сценариев для повышения осведомленности об угрозах.
2019: Ключевые вопросы и ошибки в управлении данными
Актуальность темы управления данными (Data Governance) растет с каждым годом. Действительно, необходимость организации процессов, направленных на повышение эффективности сбора, обработки, хранения и использования данных как ценного актива, уже очевидна практически всем компаниям. Много сказано о том, какие преимущества приносят компании правильно выстроенные процессы управления данными, и многие организации уже начали внедрение этой инициативы. При этом организации часто допускают похожие ошибки, которые негативно влияют на темпы внедрения и эффективность создаваемых процессов управления данными. О том, какие это ошибки, как их избежать и на какие вопросы организация должна найти ответы в процессе внедрения Data Governance, [http://www.tadviser.ru/a/498875 в материале, подготовленном для TAdviser, рассказывает Светлана Бова, Chief Data Officer банка ВТБ].
2016: Эффективное управление данными увеличивает продажи в 3 раза
В среднем, почти 25% данных по клиентам содержать неточности. Среди наиболее распространенных ошибок:
Согласно исследованию Experian, компании полагают, что могли бы увеличить продажи почти на 29% при наличии точных клиентских данных.
Согласно оценкам, в 2012 г. каждый день создавался впечатляющий объем данных –2,5 квинтильона байтов – и это в то время, когда мобильная связь, согласно оценкам, охватила 61% населения земного шара. Если исходить из того, что к 2017 г. эта цифра возрастет до 70%, становится очевидно, что объем данных в ближайшие годы будет расти экспоненциально.
Такой «взрывной» рост данных является вызовом для компаний. Как отметили 84% респондентов, их организация в настоящее время считает данные неотъемлемым компонентом бизнес-стратегии. В связи с этим 82% компаний в ближайшие пять лет планируют принять на работу специалистов по данным. Как установило предыдущее исследование Experian, сегодня растет значимость директора по данным (CDO), который развивает работу с данными в рамках стратегической деятельности компании, обеспечивая улучшение финансовых результатов.
Управление данными также усложняется из-за растущих объемов информации и изменений в использовании каналов связи. По словам 39% респондентов (против 10% в прошлом году), их организация имеет 50 или более баз контактов. Кроме того, использование социальных сетей за последние 12 месяцев выросло на 81%.
75% опрошенных в этом году в ходе исследования Experian назвали электронную почту каналом связи, наиболее широко используемым для целей маркетинга. При этом 73% этой группы могут привести пример негативного влияния неточных данных на бизнес. Плохое качество данных об электронных адресах влечет за собой не только снижение выручки, но и такие бизнес-проблемы, как плохое обслуживание клиентов, невозможность осуществления коммуникации с абонентами и бесполезные расходы.
97% организаций стремятся видеть клиента в целом, поэтому на передний план выходит эффективное использование данных, позволяющих рассматривать каждого клиента как отдельную личность, со своими индивидуальными особенностями, и разрабатывать коммерческие предложения с учетом особых потребностей каждого такого клиента.
В качестве преимуществ, связанных с таким целостным пониманием клиента, были названы рост лояльности, увеличение объема продаж и возможность стратегического принятия решений. Поэтому коммерческие компании признают важность точных знаний о клиентах и их влияние на финансовые результаты организации.
2013: Специфика финансовых организаций
В декабре 2013 года Qlik (QlikTech) обнародовала результаты исследования, которое показало: несмотря на то, что после мирового финансового кризиса управление данными приобрело особое значение, более чем две трети (63%) руководителей финансовых компаний не считают необходимым рассматривать этот вопрос на уровне высшего руководства.
Согласно исследованию, проведенному для QlikTech аналитической компанией Lepus, треть (31%) финансовых учреждений не распределили роли и зоны ответственности в области управления данными, несмотря на то, что многие факторы в бизнесе свидетельствуют о необходимости управления данными в финансовой сфере.
Помимо беспрецедентного увеличения объема ежедневно обрабатываемых данных, в действие введено множество нормативно-правовых актов, связанных с управлением данными – таких как закон Сарбейнза-Оксли, Правило 17а-4 Комиссии по ценным бумагам США, стандарты Базель III и Solvency II, а также принципы Базельского комитета по банковскому надзору BCBS 239 (агрегирование данных о рисках). В ответ на это финансовые учреждения должны были сформировать общие подходы в вопросах архитектуры и моделирования данных; решение этой задачи и обеспечивает управление данными.
Исследование было направлено на изучение программ управления данными в банках Европы, Северной Америки и стран Азиатско-Тихоокеанского региона. Оно показало необходимость рассматривать данные вопросы и принимать за них ответственность на уровне высшего руководства, чтобы обеспечить соответствие инфраструктур управления данными целям бизнеса.
Это тем более важно с учетом того, что исследование выявило множество бизнес-факторов, способствующих реализации программ по управлению данными, а также ряд важнейших функций в структуре управления. Существование такого бизнес-фактора, как необходимость обеспечивать нормативно-правовое соответствие и снижение правовых рисков, признали 94% руководителей банков. Следующими по значимости были названы обеспечение согласованности данных в масштабах всего учреждения (88%) и повышение открытости и прозрачности финансовых данных и информации (63%).
Однако основная функция инфраструктуры управления данными для разных банков-участников исследования в значительной степени различается. 44% респондентов одной из двух главных функций назвали снижение рисков, а другой – реализацию выгоды для бизнеса, однако лишь 13% считают первичной функцией инфраструктуры управления данными обеспечение нормативного соответствия.