Организация файлов, организация файловой системы, логическая структура дисков.
В этой статье, мы поговорим на такие темы, как организация файлов, затронем тему организации файловой структуры, а также изучим логическую структуру дисков.
Организация файлов
В общем случае, данные, содержащиеся в файле, имеют некоторую логическую структуру. Эта структура является базой при разработке программы, предназначенной для обработки этих данных.
Например, чтобы текст мог быть правильно выведен на экран, программа должна иметь возможность выделить отдельные слова, строки, абзацы и т.д. Признаками, отделяющими один структурный элемент от другого, могут служить определенные кодовые последовательности или просто известные программе значения смещений этих структурных элементов, относительно начала файла. Поддержание структуры данных может быть либо целиком возложено на приложения либо в той или иной степени может взять на себя ФС (файловую систему).
В первом случае, когда все действия, связанные со структуризацией и интерпретацией содержимого файла целиком относятся к ведению приложения. Файл представляется ФС неструктурированной последовательностью данных. Приложение формулирует запросы к ФС на ввод/вывод, используя общие для всех приложений системные средства. Например, указывая смещение от начала файла и количество байт, которые необходимо считать или записать.
Модель файла, в соответствии с которой содержимое файла представляется неструктурированной последовательностью (потоком) байт, стала популярной вместе с ОС UNIX, а теперь она широко используется в большинстве современных ОС (MS-DOS, Windows2000/NT, NetWare).
Неструктурированная модель файла позволяет легко организовать разделение файла между несколькими приложениями: разные приложения могут по-своему структурировать и интерпретировать данные, содержащиеся в файле.
Другая модель файлов, которая применялась в ОС OS/360, DEC RSX, VMS, а в настоящее время используется достаточно редко – это структурированный файл.
В этом случае поддержание структуры файла поручается ОС. ФС видит файл как упорядоченную последовательность логических записей. Приложение может обращаться к ФС с запросами на ввод-вывод на уровне записей, например, «считать запись 25 из файла FILE.DOC». ФС должна обладать информацией о структуре файла, достаточной для того, чтобы выделить любую запись. ФС предоставляет приложению доступ к записи, а вся дальнейшая обработка данных, содержащаяся в этой записи, выполняется приложением. Замечание. Развитием этого подхода стали СУБД.
Физическая организация файла (ФОФ) – это способ размещения файла на диске. Основные критерии эффективности физической организации файлов:
- Скорость доступа к данным.
- Объем адресной информации файла.
- Степень фрагментированнности дискового пространства.
- Максимально возможно размер файла.
Фрагментация – это наличие большого числа несмежных участков свободной памяти очень маленького размера (фрагментов).
Настолько маленького, что ни одна из вновь поступающих программ не может поместиться ни в одном из участков, хотя суммарный объем фрагментов может составить значительную величину, намного превышающую требуемый объем памяти.
Существует несколько способов физической организации файла. Непрерывное размещение – это простейший вариант ФОФ, при котором файлу предоставляется последовательность кластеров диска, образующих непрерывный участок дисковой памяти:
Достоинства способа: высокая скорость доступа, так как затраты на поиск и считывание кластеров файла минимальны, отсутствие фрагментации на уровне файла, минимален объем адресной информации – достаточно хранить только номер первого кластера и объем файла. Недостатки невозможно сказать, какого размера должна быть непрерывная область, выделяемая файлу, так как файл при каждой модификации может увеличить свой размер, фрагментация на уровне кластеров, из-за которой нельзя выбрать место для размещения файла целиком.
Из-за этих недостатков на практике используются другие методы, при которых файл размещается в нескольких, в общем случае несмежных областях диска.
Размещение файла в виде связанного списка кластеров дисковой памяти.
При таком способе в начале каждого кластера содержится указатель на следующий кластер:
Достоинства: Адресная информация минимальна расположение файла может быть задано одним числом – номером первого кластера, фрагментация на уровне кластеров отсутствует, так как каждый кластер может быть присоединен к цепочке кластеров какого-либо файла, файл может изменять свой размер, наращивая число кластеров.
Недостатки: Сложность организации доступа к произвольно заданному месту файла – чтобы прочитать пятый по порядку кластер файла, необходимо последовательно прочитать четыре первых кластера, прослеживая цепочку номеров кластеров, количество данных файла в одном кластере не равно степени двойки (одно слово израсходовано на номер следующего кластера), а многие программы читают данные кластерами, размер которых равен степени двойки, Фрагментация на уровне файлов (файл может разбиваться на несмежные фрагменты).
При отсутствии фрагментации на уровне кластеров на диске все равно имеется определенное количество областей памяти небольшого размера, которые невозможно использовать, то есть фрагментация все же существует. Эти фрагменты представляют собой неиспользуемые части последних кластеров, назначенных файлам, так как объем файла в общем случае не кратен размеру кластера. На каждом файле в среднем теряется половина кластера. Эти потери особенно велики, когда на диске имеется большое количество маленьких файлов, а кластер имеет большой размер.
Использование связанного списка индексов (например, в FAT)
Данный способ является модификацией предыдущего метода. Файлу также выделяется память в виде связанного списка кластеров. Номер первого кластера запоминается в записи каталога, где хранятся характеристики этого файла. Остальная адресная информация отделена от кластеров файла. С каждым кластером диска связан индекс. Индексы располагаются в отдельной области диска – в файловых системах FAT это таблица (File Allocation Table):
Когда память свободна, все индексы имеют нулевое значение.
Если некоторый кластер N назначен некоторому файлу, то индекс этого кластера становится равным либо номеру M следующего кластера данного файла, либо принимает специальное значение – признак того, что этот кластер является для файла последним. Индекс же предыдущего кластера файла принимает значение N, указывая на вновь назначенный кластер.
Достоинства: минимальность адресной информации, отсутствие фрагментации на уровне кластеров, отсутствие проблем при изменении размера файла, для доступа к произвольному кластеру файла не требуется последовательно считывать его кластеры, достаточно прочитать только секторы диска, содержащие таблицу индексов, отсчитать нужное количество кластеров файла по цепочке и определить номер нужного кластера, данные файла заполняют кластер целиком, следовательно имеют объем, равный степени двойки. Недостатки: Фрагментация на уровне файлов (файл может разбиваться на несмежные фрагменты).
Перечисление номеров кластеров, занимаемых этим файлом.
Достоинства: высокая скорость доступа к произвольному кластеру файла, так как здесь применяется прямая адресация, которая исключает просмотр цепочки указателей при поиске адреса произвольного кластера файла, отсутствие фрагментации на уровне кластеров.
Недостатки: длина адреса зависит от размера файла и для большого файла может составить значительную величину. Данный подход с некоторыми модификациями используется в ОС UNIX.
Файл, имеющий образ цельного, непрерывающегося набора байт, на самом деле разбросан «кусочками» по всему диску, причем это разбиение никак не связано с логической структурой файла: логически объединенные файлы из одного каталога совсем не обязательно должны соседствовать на диске.
Принципы размещения файлов, каталогов и системной информации на реальном устройстве (диске) называются физической организацией файловой системы.
Замечание. Различные файловые системы имеют разную физическую организацию (например, размер кластера). Основным типом устройства, которое используется для хранения файлов, являются дисковые накопители. Эти устройства предназначены для считывания и записи данных на жесткие и гибкие магнитные диски, оптические диски, flash-носители и др.
Физическая и логическая структура диска
Жесткий диск состоит из одной или нескольких стеклянных или металлических пластин, каждая из которых покрыта с одной или двух сторон магнитным материалом. Для записи информации на магнитную поверхность дисков применяется следующий способ: поверхность рассматривается как последовательность точечных позиций, каждая из которых считается битом и может быть установлена в 0 или 1. Так как расположения точечных позиций определяется неточно, то для записи требуются заранее нанесенные метки, которые помогают записывающему устройству находить позиции записи. Процесс нанесения таких меток называется физическим форматированием и является обязательным перед первым использованием накопителя.
Физическое форматирование – это процесс записи на поверхность диска служебной информации, обозначающей сектора на диске (пометка начала и конца дорожки и сектора).
На каждой стороне каждой пластины размечены тонкие концентрические окружности (по ним располагаются синхронизирующиеся метки).
Каждая концентрическая окружность называется
Количество дорожек зависит от типа диска. Нумерация дорожек начинается с 0 от внешнего края к центру диска. Когда диск вращается, головка чтения/записи считывает двоичные данные с магнитной дорожки или записывает их на нее. Нумерация сторон начинается с 0.
Группы дорожек (треков) одного радиуса, расположенных на поверхностях магнитных дисков, называются цилиндрами. Номер цилиндра совпадает с номером образующей дорожки. Жесткие диски могут иметь по несколько десятков тысяч цилиндров, на поверхности дискеты, как правило, их восемьдесят. Зная количество рабочих поверхностей, дорожек на одной стороне, размер сектора, можно определить емкость диска.
Для дискет 3.5”: 2 рабочие поверхности, 80 дорожек на каждой стороне, 18 секторов на каждой дорожке, 512 байт – каждый сектор. Тогда, емкость дискеты=21801181512=1 474 560 байтов = 1.44 Мбайт.
Каждая дорожка разбивается на секторы. Сектор – наименьшая адресуемая единица обмена данными дискового устройства с оперативной памятью.
Для того чтобы контроллер диска мог найти на диске нужный сектор, необходимо задать ему все составляющие адреса сектора: номер цилиндра, номер поверхности, номер сектора ([c-h-s]).
ОС при работе с диском использует, как правило, собственную единицу дискового пространства, называемую кластером.
Кластер (ячейка размещения данных) – объем дискового пространства, участвующий в единичной операции чтения/записи, осуществляемой ОС.
Кластер – это минимальный размер места на диске, которое может быть выделено файловой системой для хранения одного файла.
Пример. Если файл имеет размер 2560 байт, а размер кластера в файловой системе определен в 1024 байта, то файлу будет выделено на диске 3 кластера.
Размер кластера зависит от формата диска и может соответствовать одному сектору или нескольким смежным секторам дорожки.
Размер кластера определяется, как правило, автоматически при логическом форматировании.
Узнать размер кластера можно следующими способами:
- В ОС Windows: Панель управления → Администрирование → Управление компьютером → Дефрагментация диска → Выделить логический диск → Анализ.
- Выбор размера кластера: Format c:/a:size.
- Создать файл небольшого размера, например документ блокнота и вывести свойства файла. Размер фала на диске будет соответствовать размеру кластера.
Этапы подготовки диска к записи
Процесс подготовки диска к записи данных разбивается на следующие этапы:
- Форматирование низкого уровня (физическое форматирование).
- Логическое разбиение (только для HDD).
- Логическое форматирование (высокоуровневое).
В результате выполнения процедуры физического форматирования в секторах создаются адресные метки, использующиеся для их идентификации в процессе использования диска (создаются дорожки и секторы).
Низкоуровневый формат диска не зависит от типа ОС, которая этот диск будет использовать.
В результате выполнения процедуры логического разбиения HDD делится на логические разделы (тома) перед форматированием диска под определенную файловую систему.
Раздел – это непрерывная часть физического диска, которую ОС представляет пользователю как логическое устройство (логический диск). Необходимость в разбиении на разделы возникает в следующих случаях:
- если существует ограничение на размер диска со стороны операционной системы.
- для удобства работы с разными видами информации: системный диск, архивный диск, документы и т.д.
- если есть необходимость в нескольких операционных системах или/и файловых системах.
ОС может поддерживать разные статусы разделов, особым образом отмечая разделы, которые могут быть использованы для загрузки модулей ОС, и разделы, в которых можно устанавливать только приложения и хранить файлы данных.
Один из разделов диска помечается как загружаемый (основной, первичный, Primary). Именно из этого раздела считывается загрузчик ОС. А другой – как дополнительный (расширенный, Extenshion).
Разметку диска под конкретный тип файловой системы выполняют процедуры высокоуровневого, или логического, форматирования. При высокоуровневом форматировании определяется размер кластера и на диск записывается информация, необходимая для работы файловой системы, в том числе информация о доступном и неиспользуемом пространстве, о границах областей, отведенных под файлы и каталоги, информация о поврежденных областях. Кроме того, на диск записывается загрузчик ОС.
Логическое форматирование – процесс преобразования уже размеченного дискового пространства в соответствии со стандартами конкретной ОС. Единый стандарт разметки границ дискового раздела и разграничения разделов содержится в таблице разделов диска, которая находится в 1-ом секторе диска (цилиндр 0, дорожка 0, сектор 1).
Таблица разделов содержит параметры диска, число разделов, размер и расположение каждого раздела и др.
Структура логического диска
Для организации логического диска каждая ОС разделяет его на две части:
- системная область.
- область данных (Data).
Системная область предназначена для хранения служебной информации и управляет использованием области данных: применяется для регистрации состояния каждого участка диска. Эта область создается при форматировании и обновляется при операциях с файлами.
В системной области находятся:
- Загрузочная запись – начальная область логического диска, содержащая небольшую программу, инициализирующую процесс загрузки ОС. Содержит блок параметров диска (DPB – Disk Parameter Block) и системный загрузчик (SB – System Bootstrap). Загрузочная запись системного диска называется главной загрузочной записью – Master Boot Record.
- Таблица размещения файлов («таблица» — условное обозначение).
- Корневой каталог – встроенное оглавление информации, содержащейся в области данных. Корневой каталог на диске единственный, совпадает с именем соответствующего диска и не может быть удален программными средствами.
Область данных предназначена для регистрации данных, хранящейся на диске. Содержит файлы и каталоги, подчиненные корневому каталогу. С учетом общей структуры логического диска структуру всего дискового пространства, разбитого на несколько разделов, можно представить следующим образом:
Вся информация, необходимая для начальной загрузки компьютера, находится в самом первом секторе жёсткого диска. Эта информация называется главной записью загрузки — MBR (Master Boot Record).
Расширенная таблица разделов состоит из двух элементов: первый элемент расширенной таблицы разделов для первого логического устройства указывает на его загрузочный сектор, второй элемент — на EBR следующего логического устройства (Extended Boot Record, EBR — Расширенная загрузочная запись).
Физическая организация файловой системы
Физическая организация файловой системыВот и я
Здесь был я
Авторизация
Логин
Пароль
Запомнить меня
- Забыли пароль?
- Забыли логин?
ХудшийЛучший
|
Представление пользователя о файловой системе как об иерархически организованном множестве информационных объектов имеет мало общего с порядком хранения файлов на диске. Файл, имеющий образ цельного, непрерывающегося набора байт, на самом деле очень часто разбросан «кусочками» по всему диску, причем это разбиение никак не связано с логической структурой файла, например, его отдельная логическая запись может быть расположена в несмежных секторах диска. Логически объединенные файлы из одного каталога совсем не обязаны соседствовать на диске. Принципы размещения файлов, каталогов и системной информации на реальном устройстве описываются физической организацией файловой системы. Важным компонентом физической организации файловой системы является физическая организация файла, то есть способ размещения файла на диске. Основными критериями эффективности физической организации файлов являются:
Непрерывное размещение — простейший вариант физической организации (рисунок (а)), при котором файлу предоставляется последовательность кластеров диска, образующих непрерывный участок дисковой памяти. Следующий способ физической организации — размещение файла в виде связанного списка кластеров дисковой памяти (рисунок (б)). При таком способе в начале каждого кластера содержится указатель на следующий кластер. Популярным способом, применяемым, например, в файловой системе FAT, является использование связанного списка индексов (рисунок ( в)). Этот способ является некоторой модификацией предыдущего. Файлу также выделяется память в виде связанного списка кластеров. Номер первого кластера запоминается в записи каталога, где хранятся характеристики этого файла. Остальная адресная информация отделена от кластеров файла. С каждым кластером диска связывается некоторый элемент — индекс. Индексы располагаются в отдельной области диска. Еще один способ задания физического расположения файла заключается в простом перечислении номеров кластеров, занимаемых этим файлом (рисунок (г)). Этот перечень и служит адресом файла. Недостаток данного способа очевиден: длина адреса зависит от размера файла и для большого файла может составить значительную величину. Последний подход с некоторыми модификациями используется в традиционных файловых системах ОС UNIX s5 и ufs. Для сокращения объема адресной информации прямой способ адресации сочетается с косвенным. Ну да хуй с ним. Понравился контент? Посмотри рекламный блок: |
Очевидно, что разные файловые системы имеют разную физическую организацию.
В этом случае адресная информация минимальна: расположение файла может быть задано одним числом — номером первого кластера.
Достоинством же является высокая скорость доступа к произвольному кластеру файла, так как здесь применяется прямая адресация, которая исключает просмотр цепочки указателей при поиске адреса произвольного кластера файла. Фрагментация на уровне кластеров в этом способе также отсутствует.
Интересные люди
Интересные сообщества
Нечто другое
Последние материалы
- Молчание
- Про тебя
- Если спросишь меня о земной красоте
- Покупка операционной системы избавит вас от проблем в будущем
- Особенности растаможки
Голосование
Программируем на C#, интересные статьи, книги, музыка; Костя Карпов.
Физические и логические файловые системы
1. Физические файлы: Физические файлы содержат фактические данные, хранящиеся в системе iSeries, и описание того, как данные должны быть представлены или получены программой. Они содержат только один формат записи и один или несколько членов. Записи в файлах базы данных могут быть описаны с использованием либо описания на уровне поля, либо описания на уровне записи. Описание на уровне поля описывает поля в записи для системы. Файлы базы данных, созданные с описаниями на уровне полей, называются файлами с внешним описанием. Описание на уровне записи описывает только длину записи, а не ее содержимое. Файлы базы данных, созданные с описаниями на уровне записей, называются файлами, описанными программой. Это означает, что ваша программа ILE C/C++ должна описывать поля в записи.
Программа ILE C/C++ может использовать либо внешне описанные, либо программно-описываемые файлы. Если он использует файл с внешним описанием, компилятор ILE C/C++ может извлечь информацию из файла с внешним описанием и автоматически включить информацию о полях в вашу программу.
Вашей программе не нужно определять информацию поля. Для получения дополнительной информации см. «Использование файлов с внешним описанием в ваших программах». Физический файл может иметь ключевой путь доступа к последовательности. Это означает, что данные представляются программе ILE C/C++ в последовательности, основанной на одном или нескольких ключевых полях файла.
2. Логические файлы: Логические файлы не содержат данных. Они содержат описание записей, которые находятся в одном или нескольких физических файлах. Логический файл — это вид или представление одного или нескольких физических файлов. Логические файлы, содержащие более одного формата, называются многоформатными логическими файлами. Если ваша программа обрабатывает логический файл, содержащий более одного формата записи, вы можете использовать функцию _Rformat(), чтобы установить нужный формат. Некоторые операции нельзя выполнять над логическими файлами. Если вы открываете логический файл для потоковой обработки файлов с режимами открытия W, W+, WB или WB+, файл открывается, но не очищается.
Если вы открываете логический файл для обработки файла записи с режимами открытия WR или WR+, файл открывается, но не очищается. Записи в файлах базы данных iSeries можно описывать с помощью описания на уровне поля или на уровне записи. Описание записи на уровне полей включает в себя описание всех полей и их расположения в этой записи. Поскольку описание полей и их расположения хранится в файле базы данных, а не в вашей программе ILE C/C++, файлы базы данных, созданные с описанием на уровне поля, называются файлами с внешним описанием.
Физические и логические файлы:
- Физический файл: Набор байтов, хранящихся на диске или ленте.
- Логический файл: «Канал» (например, телефонная линия), который скрывает от программы сведения о расположении файла и его физическом формате.
Когда программа хочет использовать определенный файл, «данные», операционная система должна найти физический файл с именем «данные» и создать логическое имя, назначив ему логический файл.
Этот логический файл имеет логическое имя, которое используется внутри программы.
| Физический файл | Логический файл |
|---|---|
| Занимает часть памяти. Он содержит исходные данные. | Не занимает место в памяти. Он не содержит данных. |
| Физический файл содержит один формат записи. | Может содержать до 32 форматов записи. |
| Может существовать без логического файла. | Не может существовать без физического файла. |
| Если для физического файла существует логический файл, физический файл не может быть удален до тех пор, пока мы не удалим логический файл. | Если для физического файла существует логический файл, логический файл можно удалить, не удаляя физический файл. |
| Для создания такого объекта используется команда CRTPF. | Для создания такого объекта используется команда CRTLF. |
Физические файлы представляют собой реальные данные, сохраненные в системе iSeries, и описывают, как данные должны отображаться в программе или извлекаться из нее. | Логический файл представляет собой один или несколько физических файлов. Он также содержит описание записей, найденных в одном или нескольких физических файлах. |
| Если существует логический файл для физического файла, физический файл не может быть удален до тех пор, пока мы не удалим логический файл. | Если для физического файла существует логический файл, логический файл можно удалить, не удаляя физический файл. |
Просмотров логической памяти: , просматриваемые пользователями, представляют собой набор файлов, организованных в каталогах и томах хранения.
- Логическая структура файла не зависит от его физической реализации.
- Логическая файловая структура «игнорируется».
Распределение физической памяти: записи могут храниться в отдельных местах файлов. Методы доступа к данным и методы кодирования данных.
Представления физической памяти: набор физических ячеек памяти, организованных как линейное адресное пространство.
- Файл разбит на записи.
- Запись обычно содержит информацию об одном покупателе, таких вещах, как товар на складе или событие.
- Записи разделены на поля.
- Поля — это отдельные единицы данных.
Разница между физической и логической файловыми системами в ОС
|
следующий → ← предыдущая В этой статье вы узнаете разницу между физической и логической файловыми системами. Но прежде чем обсуждать различия, вы должны знать о физические и логические файловые системы . Что такое физическая файловая система? Физические файлы содержат реальные данные, сохраненные в системе iSeries , и описывают, как данные должны отображаться в программе или извлекаться из нее. У них есть только один тип записи и один или несколько членов. Описание на уровне поля или описание на уровне записи можно использовать для описания записей в файлах базы данных. Описание на уровне поля определяет поля записи. С другой стороны, описание уровня записи определяет длину записи. Файлы, описанные программой, представляют собой файлы базы данных, подготовленные с описаниями на уровне записей. Внешне указанные файлы — это файлы базы данных, подготовленные с описаниями на уровне полей. Это означает, что поля в записи должны быть описаны в вашей программе ILE C/C++ . Заданная извне или программа ILE C/C++ может использовать файлы, описанные программой. Если программе требуется внешне описанный файл, компилятор ILE C/C++ может извлечь из него данные и автоматически добавить в него информацию о полях. Информацию о поле не нужно определять в вашей программе. Путь доступа к ключевой последовательности может существовать для физического файла. Это означает, что данные передаются программе ILE C/C++ в определенной последовательности, основанной на различных ключевых полях файла. Что такое логическая файловая система? Логический файл представляет или представляет несколько физических файлов. Если ваша программа обрабатывает логический файл с несколькими форматами записей, вы можете использовать функцию _Rformat() , чтобы указать, какой формат использовать. Некоторые операции с логическими файлами запрещены. При открытии логического файла для потоковой обработки и обработки файла записи с использованием режимов открытия W, W+, WB, WB+, WR или WR+, файл открыт, но не очищен. Описание на уровне поля или описание на уровне записи можно использовать для описания записей в файлах базы данных iSeries. Описание на уровне поля записи описывает все поля и то, как они организованы в этой записи. Файлы базы данных, созданные с описанием на уровне поля, описываются извне, потому что описание и структура полей сохраняются в файле базы данных, а не в вашем Программное обеспечение ILE C/C++ . Ключевые различия между физической и логической файловой системойЗдесь вы узнаете о различных ключевых различиях между физической и логической файловыми системами. Различные различия между физической и логической файловыми системами заключаются в следующем:
Непосредственное сравнение между физической и логической файловой системойЗдесь вы узнаете о непосредственном сравнении физической и логической файловых систем. Основные различия между физической и логической файловыми системами заключаются в следующем:
|
Логические файлы не содержат данных. У них есть описание записей, найденных в нескольких физических файлах. Многоформатные логические файлы — это логические файлы, содержащие различные форматы. 
