как называется минимальный блок данных на диске который можно прочитать или записать за один раз

Экстент

Содержание

Экстенты и блоки

Во многих файловых системах, в общем случае файл хранится в виде «заголовка», то есть некой относительно небольшой структуры данных (например, inode и косвенных блоков в ext3 или строки Master File Table в NTFS), который содержит указатели на участки носителя информации, где по кускам хранится содержимое файла. В традиционных файловых системах это указатели на отдельные блоки (минимальные участки носителя, которые можно прочесть или записать за раз). В ряде современных файловых систем используются указатели не на блоки, а на экстенты.

Использование указателей на экстенты имеет ряд преимуществ над схемой с указателями на отдельные блоки. Поскольку все данные в одном экстенте расположены на диске подряд, повышается скорость чтения и записи файла и понижается степень фрагментации дискового пространства. При одинаковом размере и организации структуры данных «заголовка» файла файловая система с поддержкой экстентов будет иметь больший максимальный размер файлов.

Главный недостаток экстентов — повышенная сложность реализации файловой системы.

Следует заметить, что использование алгоритма распределения блоков, который распределяет их по возможности из непрерывного участка, повышает скорость чтения и записи данных и отчасти компенсирует отсутствие поддержки экстентов. [1] Скорость доступа к файлу также можно повысить, если заранее зарезервировать под файл по возможности непрерывный участок на диске (например, через системный вызов fallocate в Unix или через SetFileValidData и SetEndOfFile в Microsoft Windows); впрочем, такое резервирование полезно, даже если файловая система не поддерживает экстенты.

Источник

Прежде всего скажем, что речь здесь пойдет о файловых системах FAT и NTFS, как наиболее распространенных, и ничего не будет сказано о файловых системах, используемых в не-Windows системах, поскольку такие системы лежат вне сферы интересов автора. А теперь – к делу.

Казалось бы, какая неоднозначность может быть, если говорить о размере файла. Сколько в него данных записали, такой и размер (или длина). Сколько в нем есть байтов от начала до конца (и это число записано в файловой системе в качестве размера файла), такой и размер, не так ли? Как говорил Шельменко-денщик, так то оно так, да только трошечки не так.

Проведите эксперимент. Возьмите любой исполняемый файл и выполните его копирование командой
copy что-то.exe что-то-другое.exe
Если вы раньше с этим сталкивались, то уже знаете, что результирующий файл получится намного короче исходного и не будет копией. Причина простая: программа copy, запущенная без параметра /b, копирует файл до тех пор, пока не встретит байт с кодом 27h, этот символ называется «конец файла».

Итак, у нас уже есть два разных признака конца файла – по числу, записанному в файловой системе, и по специальному байту в теле файла. Правда, стоит отметить, что второй признак остался с тех времен, когда файлы были преимущественно текстовыми и сейчас практически не применяется.

И, наконец, расскажем еще об одной длине: длине действительных данных (valid data). Эта длина и устанавливающие ее функции представляют интерес почти исключительно для программистов, тем не менее изредка с ней могут столкнуться и обычные пользователи.

В файловых системах FAT такого понятия не существует, и функции, которые используют эту величину, записывают в тело файла на соответствующих местах нули. В NTFS эта длина является характеристикой файла.

Попробуем пояснить, о чем идет речь, на примере. Возьмите флешку (флешка используется для наглядности, поскольку она медленнее жесткого диска работает с большими объемами данных) размером от гигабайта, отформатированную в FAT32, и создайте на ней большой файл командой
fsutil file createnew k:\пробный.txt 900000000

Если буква, присвоенная флешке, отличается от К, то исправьте команду соответствующим образом.
Вы увидите, что процедура создания файла окажется довольно продолжительной, полминуты или даже больше (хотя сообщение «файл создан» появится сразу же, появления приглашения командной строки придется подождать). Это совсем не удивительно, ведь в описании команды (https://technet.microsoft.com/en-us/library/cc788058.aspx) сказано, что создаваемый файл состоит из нулей. А файл у нас получился 858 мегабайт, так что его запись и должна занять не такое уж малое время.

Теперь отформатируйте флешку в NTFS, для чистоты эксперимента лучше взять ту же самую, и повторите создание файла. На этот раз операция пройдет практически моментально. Записывать нули в тело файла уже не надо, достаточно распределить место под файл и установить для него длину действительных данных равной нулю. В теле файла останется «мусор», который был записан в этих секторах, но при чтении данных обращения к этим данным не произойдет – обнаружив, что длина действительных данных равна нулю, все, что дальше этого нуля, система читать не станет – ведь эти данные недействительны. Их можно сделать действительными, если изменить значение длины действительных данных.

fsutil file setvaliddata C:\пробный.txt 300

Обратите внимание что параметр в этой команде нельзя задавать произвольно, но должен быть не меньше текущего значения длины действительных данных и не больше размера файла. Уменьшить длину действительных данных этой командой нельзя.

Подведем итоги

Имеется две физических длины файла – это размер файла, записанный в файловой системе и место, занимаемое на диске. Также имеется две логических длины файла – это признак конца файла (байт EOF – 27h) и длина действительных данных. Как составную часть логической длины можно рассматривать и пустые области в разреженных файлах – вспомните \$Extend\$UsnJrnl, где большой массив отсутствующих данных завершается тридцатью двумя мегабайтами действительных.

Итак, обычно, когда говорят о длине файла, имеют в виду число, хранящееся в файловой системе. Но, как видите, возможны варианты!

Источник

Тестирование по информатике на тему «Устройство ПК» 11 класс 4

Процессор
1. Какие блоки входят в состав процессора?
1) арифметико-логическое устройство
2) устройство управления
3) регистры
4) контроллеры
5) постоянное запоминающее устройство
2. Отметьте все функции арифметико-логического устройства (АЛУ).
1) выполнение вычислений
2) анализ результата
3) определение местоположения данных
4) расшифровка команд
5) загрузка данных в регистры
3. Отметьте все функции устройства управления (УУ).
1) выполнение вычислений
2) анализ результата
3) определение местоположения данных
4) расшифровка команд
5) загрузка данных в регистры
4. Как называется интервал между двумя соседними управляющими импульсами, поступающими в
процессор?
5. Как называется характеристика процессора, которая определяет количество тактовых импульсов за 1
секунду?
6. Отметьте все правильные утверждения.
1) тактовая частота полностью определяет быстродействие процессора
2) разрядность процессора обычно определяют как размер регистров
3) при тактовой частоте 4 ГГц процессор выполняет 4 млрд микрокоманд в секунду
4) разрядность шины адреса определяет максимальный объём памяти
5) разрядности шины данных и шины адреса всегда совпадают
Память
1. Отметьте все виды памяти, в которых возможен доступ к отдельным ячейкам памяти по их адресам.
1) оперативная память
2) постоянная память
3) память на жестких дисках
4) память на флэш-дисках
5) память на лазерных дисках
2. Отметьте все правильные утверждения об оперативной памяти.
1) статическая оперативная память строится на триггерах
2) динамическая оперативная память работает быстрее статической
3) динамическая оперативная память дешевле статической
4) данные в динамической оперативной памяти нужно часто восстанавливать
5) основная часть ОЗУ — память статического типа

3. Какие программы обычно хранятся в ПЗУ современных персональных компьютеров?
1) для тестирования компьютера
2) для обмена данными со стандартными внешними устройствами
3) для начальной загрузки компьютера
4) программы пользователя
5) операционная система
4. Выберите правильное окончание определения: «Часть памяти компьютера, которая используется для
долговременного хранения программ и данных, называется. ».
1) внутренняя память
2) внешняя память
3) оперативная память
4) постоянная память
5) дисковая память
5. Какой способ обмена данными используется в современных компьютерах при работе с внешней памятью?
1) программно-управляемый обмен
2) обмен по прерываниям
3) прямой доступ к памяти
6. Отметьте все правильные утверждения о внешней памяти.
1) возможен доступ к любой ячейке по адресу
2) можно читать и записывать только целый блок ячеек
3) включает носитель информации и контроллер
4) более быстродействующая, чем внутренняя память
5) имеет больший объём, чем внутренняя память
7. Как называется минимальный блок данных на диске, который можно прочитать или записать за один раз?
8. В каких типах памяти данные организованы в виде некоторой файловой системы?
1) внутренняя память
2) внешняя память
3) оперативная память
4) постоянная память
9. Расставьте типы лазерных дисков в порядке увеличения их максимального объёма.
a) DVD
b) Blu-ray
c) CD
10. Укажите тип памяти, к которому относится следующее описание: «Данные хранятся на
полупроводниковом кристалле, их можно читать и записывать только блоками. Чтением и записью управляет
контроллер».
a) оперативная память
b) постоянная память
c) память на жестких дисках
d) память на лазерных дисках
e) флэш-память
11. Что означает английское сокращение SSD?
1) жёсткий диск (винчестер)
2) оперативная память (ОЗУ)
3) постоянная память (ПЗУ)
4) диск на основе флэш-памяти
5) лазерный диск
12. Расставьте виды памяти в порядке увеличения быстродействия.
a) дисковая память
b) оперативная память
c) компьютерные сети
d) регистры
e) кэш-память
13. Как называется сохранение информации в более быстродействующей памяти с целью повторного
использования?
14. Как называется технология, при которой часть адресного пространства процессора отображается на
область ОЗУ, а другая часть — на внешнюю память?
1) кэширование
2) виртуальная память
3) расширенная память
4) оперативная память
5) дисковая память
Устройства ввода информации
1. Отметьте все устройства ввода.
1) сканер
2) клавиатура
3) веб-камера
4) флэш-диск
5) мышь
2. Какие утверждения верны для беспроводных мышей?
1) передают данные с помощью радиоволн
2) передают звуковые сигналы
3) передают данные с помощью телепатии
4) им требуется источник питания
5) компьютер должен иметь приемник излучения (адаптер)
3. Как называется мышь, которая использует луч света или портативного лазера для определения своего
перемещения?
4. В каких единицах обычно измеряется разрешение оптического сенсора мыши?
1) точки на дюйм (dpi)
2) пиксели на дюйм (ppi)
3) точки на сантиметр
4) пиксели на сантиметр
5. Как называется устройство для ввода в компьютер графической информации с бумаги или плёнки?
6. В каких единицах измеряется разрешающая способность сканера?
1) в точках на дюйм (dpi)
2) в пикселях на дюйм (ppi)
3) в точках на сантиметр
4) в пикселях на сантиметр
5) в точках на миллиметр
7. Укажите верные утверждения
1) сканер сам распознает символы
2) сканер вводит текст в виде рисунка
3) специальная программа распознает символы
4) сканер не умеет вводить текст
5) можно ввести текст только на одном заданном языке
8. Выберите минимальное разрешение сканера, достаточное для распознавания отсканированного текста.
1) 150 ppi
2) 300 ppi
3) 600 ppi
4) 2000 ppi
9. Какие устройства используются для ввода графической информации?
1) принтер
2) сканер
3) графический планшет
4) микрофон
5) фотоаппарат
10. Что необходимо для ввода звука в компьютер?
1) звуковая карта
2) микрофон
3) быстродействующий процессор
4) соответствующее программное обеспечение
5) много оперативной памяти
Устройства вывода
1. Отметьте все устройства вывода среди перечисленных.
1) принтер
2) сканер
3) монитор
4) флэш-диск
5) плоттер
2. Как можно закончить фразу: «В компьютерах часто используются встроенные видеокарты, потому
что они. »?
1) работают быстрее
2) стоят дешевле
3) уже есть на материнской плате
4) дают более качественное изображение
5) имеют видеопамять
3. Что такое видеокарта?
1) устройство вывода
2) контроллер
3) устройство ввода
4) вспомогательная микросхема
5) блок памяти
4. За счет чего видеокарта увеличивает скорость вывода графической информации на экран?
1) обрабатывает данные в своей оперативной памяти
2) её процессор работает параллельно с главным процессором
3) видеокарта передает данные главному процессору
4) используются современные алгоритмы обработки графики и видео
5) ускоряет работу с оперативной памятью
5. В каких единицах измеряется качество печати принтеров?
1) точки на сантиметр
2) точки на дюйм (dpi)
3) пиксели на сантиметр
4) пиксели на дюйм (ppi)
5) пиксели на миллиметр
6. В чем преимущества жидкокристаллических мониторов перед электронно-лучевыми?
1) дешевле стоят
2) практически нет излучения
3) занимают меньше места
4) дают более качественное изображение
5) проще подключаются
7. В чем недостатки жидкокристаллических мониторов?
1) потребляют много электроэнергии
2) изображение не может очень быстро изменяться
3) на них сложно получить чёрный цвет
4) большие размеры и вес
5) меняется цвет, если смотреть под другим углом
8. Почему матричные принтеры все еще выпускаются, несмотря на их недостатки?
1) они обеспечивают хорошее качество печати
2) они просты и надежны
3) они дешево стоят
4) они быстро печатают текст и графику
5) дешевые расходные материалы
9. Какие недостатки есть у струйных принтеров?
1) им нужна качественная бумага
2) они дорого стоят
3) после печати чернила могут расплываться
4) они медленно печатают
5) высокий уровень шума
10. В чем достоинства лазерных принтеров?
1) дешево стоят
2) быстро печатают
3) не шумят
4) потребляют мало электроэнергии
5) качественная печать
11. Как называется устройство, которое используют для печати чертежей и больших рисунков?
Ответ:
12. В чем достоинства сублимационных принтеров?
1) быстро печатают
2) могут печатать прямо с фотоаппарата
3) дешевые
4) хорошее качество печати
5) только они могут печатать фотографии
13. Что требуется для вывода звука через компьютер?
1) микрофон
2) звуковая карта
3) соответствующее программное обеспечение
4) звуковые колонки или наушники
5) магнитофон

Источник

Practical File System Design

Сам документ можно скачать тут

На этой странице выложен перевод первых 5 глав (всего 11).

Пример ноды и данных, на которые она ссылается:

Пример распределения данных по блокам диска:

Но для очень больших файлов этого недостаточно. В таких случаях применяется технология двойных косвенных блоков (double-indirect blocks). В них используются те же принципы, что и в предыдущем случае. Нода включает в себя адреса двойных косвенных блоков, те в свою очередь состоят из адресов обычных косвенных блоков, и дальше как обычно. Таким образом, в этом случае нода может ссылаться на :

Если размер блока равен 4 килобайтам, то в 32-битной файловой системе получается 4 гигабайта (тысяча косвенных блоков по 4 килобайта каждый).

Псевдокод для связывания логической позиции внутри файла с индексом в таблице блоков представлен ниже. В коде используются переменные dbl_indirect_index и indirect_index, которые позволяют вычислить адреса простых косвенных и двойных косвенных блоков. Переменная block_offset позоляет установить на точное байтовое смещение, соответсвующее файловой позиции. В этом примере у нас имеются 8 прямых блоков, размер блока в 1 килобайт, и 4-байтовый адрес. Из чего мы получаем, что косвенный блок может хранить: 1024/4= 256 адресов. Файловая позиция в примере равна 786769. В этом случае нам прийдется использовать двойную косвенную адресацию. Другой техникой для хранения информации о блоках данных являются расширенные списки (extent lists). Вместо списка адресов блоков они хранят список диапазонов адресов блоков данных. Такой адрес состоит из стартового адреса плюс длины диапазона. Такая техника позволяет хранить большее количество блоков. Так, для 8-байтного адреса и 2-байтного поля, позволяет хранить таблицу в 65536 блоков. Если размер блока равен 1 килобайту, файловая система может адресовать 2 в 58-й степени байт. Недостатком расширенных списков является замедление скорости работы файловой системы в случае ее дефрагментации, поскольку для больших файлов прийдется сканировать большое количество расширений.

Файловая система должна давать возможность пользователям организовывать файлы в виде иерархической структуры. Идея иерархии понятна большинству пользователей и легко адаптируется в файловой системе. Директория может включать в себя ссылку, которая указывает не на файл, а на другую директорию. Иерархия может быть произвольной. В теории нет ограничений на уровень вложенности.

Базовые операции файловой системы.

При инициализация должен быть создан корневой каталог, которые еще называется рутовым каталогом. Адрес (или номер ноды) рутового каталога также сохраняется в суперблоке. Инициализация файловой системы может быть сделана как от лица пользовательской программы, так и являться ядром кода самой файловой системы. После чего партиция в качестве пустого контейнера готова, после чего файловая система может быть смонтирована.

Затем базовые структуры файловой системы загружаются в память, в ней создается копия суперблока, который содержит ссылки на рутовый каталог и на битмапы занятых/свободных блоков. Это необходимо для того, чтобы операционная система могла работать с содержимым диска.

Следующей обязательной функцией файловой системы является создание файла. Для этого необходимо знать директорию и имя файла. Файловая система создает ноду, после чего в директорию добавляется ссылка на эту ноду. В качестве дополнительных аргументов могут выступать файловые права, режимы и т.д. Вноде прописывается время создания, размер файла, хозяин и т.д. При создании пустого файла место под его содержимое не выделяется, оно будет выделено позже.

При записи происходит сохранение данных в файл. Для этого нужна ссылка на открытый файл, начальная позиция для записи, размер данных и сами данные в буфере. Если позиция выходит за размер файла, границу файла нужно сначала увеличить, что приведет к выделению дополнительного числа блоков и размещению списка этих выделенных блоков. При этом происходят изменения в самой файловой ноде, в списке свободных/занятых блоков, даже суперблок может быть модифицирован. После выделения блоков файловая система должна привязать файловую позицию к адресу блока, с которого будет произведена запись данных.

Операция чтения файла позволяет программам получать доступ к содержимому файла. В качестве аргумента здесь выступают указатель на файл, позиция, буфер и длина. Чтение проще, чем запись, потому что не приводит к модификации файловой структуры.

Операция удаления файла в качестве аргумента принимает имя файла. Первая фаза этой операции заключается в том, что файл маркируется как удаленный, это предотвратит его открытие другими программами. Вторая фаза удаляет файл при условии, что ссылка на него больше уже никем не используется. При этом файловая система возвращает блоки, занятые удаленным файлом, в пул свободных блоков, и удаляет файловую ноду из списка. Система должна дождаться, когда число ссылок на удаляемый файл станет равным нулю, и только тогда удалять файл.

Переименование файла требует нескольких аргументов: директория источника, имя файла источника, переименованная директория, переименованный файл. Необходимо, чтобы эти 2 каталога различались друг от друга. После проверки происходит удаление файла источника и вставка переименованного файла.

Чтение метаданных позволяет получить информацию о файле. При этом копируются нужные поля из соответствующей ноды. Примером чтения метаданных является системная функция stat().

Расширенные файловые операции

Атрибуты могут индексироваться для того, чтобы можно было к ним получать быстрый доступ. Индексация атрибутов представляет из себя альтернативу файловой системы при навигации.

Обзор файловых систем

В ней стала использоваться техника последовательного выделения дисковых блоков для одного файла, что существенно увеличило скорость доступа.

Простая диаграмма диска:

В современных дисках функции по обслуживанию дисковых групп постепенно мигрируют с уровня файловых систем на уровень драйверов самих дисков, т.е. еще на более низкий уровень, чем файловые системы, т.е. вопрос с организацией цилиндрических групп внутри самих файловых систем уже не так актуален.

В FFS был реализован новый механизм сохранения метаданных, который сделал файловые системы более надежными в случае сбоев и последующих восстановлений данных. Например, при удалении файла в каталоге происходит немедленный апдэйт самого каталога путем модификации его метаданных минуя буферизацию. Платой за такую надежность является избыточная нагрузочная работа диска.

Ext2 не дает гарантий в том, что любая операция ввода/вывода всегда будет гарантированно выполнена до конца. В отличие от FFS, она в основном работает с закешированными файлами в памяти, периодически сбрасывая их на диск. Производительность от этого естественно только выигрывает. Фактически она ограничена только скоростью выполнения системного вызова memcpy(). Такая модель резко контрастирует с моделью FFS, которая заботливо синхронизирует все изменения путем постоянного сброса их на диск.

В модели, с которой работает ext2, можно найти какие-то подводные камни, в частности в варианте, когда с одними и теми же файлами работают одновременно сразу несколько приложений, где последовательность и синхронность изменений становится проблематичной. Ext2 не дает гарантий о точном порядке кеширования и сброса изменений на диск. На практике такие ситуации встречаются крайне редко, и в целом ext2 по производительности значительно опережает файловые системы, в основе которых лежит FFS.

Macintosh HFS

Irix XFS

XFS использует расширенную битовую карту для выделенных блоков. Для ее управления также используются бинарные деревья, в котором блоки одного файла хранятся в отсортированном виде. Вообще бинарные деревья снимают многие ограниченя. Но за это естественно приходится расплачиваться более сложной реализацией. XFS также использует бинарные деревья для хранения директорий. В классическом варианте содержимое директорий хранится в линейном списке, и в случае с ростом эти списки плохо масштабируются. Бинарное дерево, хранящее каталоги, отсортировано по имени, и в случае с большим количеством файлов это эффективне, чем в классическом варианте. XFS поддерживает многопоточное I/O. Это связано с многопроцессорной архитектурой SGI-шного железа. В классической схеме, если к одному файлу происходит доступ со стороны нескольких процессов на чтение/запись, то нода этого файла блокируется одним текущим процессом. XFS снимает такие ограничения для схемы «один пишет / много читают», буферизует файл и позволяет нескольким процессорам выполнять над ним операции. Это существенно снижает нагрузку на дисковые контроллеры. В XFS также реализован режим «много пишут» для одного файла также на основе кеширования.

В целом можно сказать, что XFS предлагает интересную и оригинальную трактовку реализации файловой системы, которая отличается от классических схем.

Вообще говоря, ни одна из рассмотренных файловых систем не является лучшей из всех. Каждая из них имеет свои определенные преимущества в различных ситуациях.

Разработка файловой системы BFS.

При выборе размера блока файловой системы размер самого диска не имеет существенного значения. Существенное значение имеет другой фактор: если в файловой системе преобладают мелкие файлы, размер блока должен быть меньше. Если преобладают файлы большого размера, размер блока должен быть больше.

В первом случае каждый блок представлен в карте одним битом. Установка бита в единицу означает, что этот блок уже выделен. Размер битовой карты в байтах вычисляется по формуле : дисковое пространство в байтах делится на размер блока файловой системы в байтах, умноженный на 8. Для жесткого диска в 1 гигабайт с размером блока в 1 килобайт размер карты = 128 килобайтам. Основным недостатком этого метода является поиск достаточно большого числа свободных блоков. Обычно карта хранится на диске в виде последовательности байтов, сразу после суперблока. Место под нее обычно выделяется сразу при создании файловой системы.

Файловую ноду желательно помещать в ту же выделенную группу блоков, в которой находится директория, которой принадлежит этот файл. Если в директории создается новая поддиректория, ее желательно располагать в другой выделенной группе. То же самое относится к файловым данным. Т.е. файловые метаданные и собственно самые данные можно разносить по разным выделенным группам, хотя это зависит от свободного места на диске и обсуждаемо.

Битовые карты, хранящие информацию о свободных блоках, имеют индекс последнего выделенного блока, этот индекс постоянно хранится в памяти для быстрого выеления блоков. Для каждой выделенной группы также необходим флаг-индикатор на случай переполнения выделенной группы.

Организация блоков

Суперблок

Структура ноды.

Нода и данные.

Массив структур direct выделяет место для прямых блоков и может потенциально выделить достаточно много места для одного файла,в лучшем случае до 768 мегабайт ( 12 block * 65536 ). Очень большие файлы могут потребовать более чем 12 структур direct, для этого выделяются косвенные блоки с помощью членов indirect и double_indirect. Первое поле indirect указывает на массив адресов, которые в свою очередь указывают на реальные данные. Поле double_indirect указывает на поле, которое является ссылкой на массив адресов, указывающих на реальные данные.

Связь прямой и косвенной адресации:

Аттрибуты.

Структура файла и его атрибутов:

Директории.

Индексация.

Аттрибуты, индексация.

Attribute Details

Псевдокод для записи атрибута может выглядеть так: Логика работы файловой системы с атрибутами следующая: сначала файловая система проверяет, есть ли данный атрибут в small_data, если нет, то ищет его в директории атрибутов. Манипуляция атрибутом, который находится в каталоге атрибутов, легче, поскольку для этого используются стандартные файловые операции.

Связь между нодой и атрибутами:

Индексация.

На рисунке показан пример бинарного дерева. :

Источник