3dnews vs JEDEC vs здравый смысл. Где правда, брат? / Хабр
Всем известно легендарное тестирование SSD на надёжность от 3dnews (публикация от 2018.01), по результатам которого некоторые бюджетные накопители превзошли заявленный производителем ресурс в десятки раз.
После этого исследования в народе появилась конспирологическая теория, что производители занижают ресурс у бюджетных SSD, а также распространилось убеждение, что практически все SSD умеют делать и качественно выполняют выравнивание износа.
Исследование от 3dnews.ru было проведено по мотивам тестирования Techreport.com (публикация от 2013.08.20).
Методика для измерения износостойкости также была использована одинаковая.
Методика Techreport:
We can push SSD endurance limits much faster with synthetic benchmarks. There are myriad options, but the best one is Anvil’s imaginatively named Storage Utilities.Developed by a frequenter of the XtremeSystems forums, this handy little app includes a dedicated endurance test that fills drives with files of varying sizes before deleting them and starting the process anew. We can tweak the payload of each loop to write the same amount of data to each drive. There’s an integrated MD5 hash check that verifies data integrity, and the write speed is more than an order of magnitude faster than DriveBench 2.0’s effective write rate.
Anvil’s endurance test writes files sequentially, so it’s not an ideal real-world simulation. However, it’s the best tool we have, and it allows us to load drives with a portion of static data to challenge wear-leveling routines. We’re using 10GB of static data, including a copy of the Windows 7 installation folder, a handful of application files, and a few movies.
Методика 3dnews.ru:
Поэтому в нашем тесте выносливости мы используем отформатированные с файловой системой NTFS накопители, на которых непрерывно и попеременно создаются файлы двух типов: мелкие – со случайным размером от 1 до 128 Кбайт и крупные – со случайным размером от 128 Кбайт до 10 Мбайт. В процессе теста эти файлы со случайным заполнением множатся, пока на накопителе остаётся более 12 Гбайт свободного места, по достижении же этого порога все созданные файлы удаляются, делается небольшая пауза и процесс повторяется вновь. Помимо этого, на испытуемых накопителях одновременно присутствует и третий тип файлов – постоянный. Такие файлы общим объёмом 16 Гбайт в процессе стирания-перезаписи не участвуют, но используются для проверки правильной работоспособности накопителей и стабильной читаемости хранимой информации: каждый цикл заполнения SSD мы проверяем контрольную сумму этих файлов и сверяем её с эталонным, заранее рассчитанным значением.
В обоих случаях использовалась утилита Anvil’s Storage Utilities.
1. А что не так с методикой?
Проблема заключается в том, что заполнение диска происходит последовательно. Что не соответствует ни реальным сценариям использования, ни процедуре измерения износостойкости, рекомендованной
JEDEC(комитет инженерной стандартизации полупроводниковой продукции, иначе называемый Solid State Technology Association, куда входят все крупнейшие производители флэш-памяти).
И ОС, и контроллер (если у него есть небольшой DRAM-кеш) группируют последовательные блоки идущие на запись и записывают большими нативными блоками, свойственными конкретному устройству. При этом практически отсутствует усиление записи и практически нет необходимости в алгоритмах выравнивания износа.
В реальных условиях, как фактор мультипликации, так и качественная реализация алгоритма выравнивания износа имеют сильное влияние на ресурс накопителя.
Проблема 1. При последовательной записи файлов WAF ≈ 1
Тест, построенный так, что в нём фактор мультипликации записи (WAF) стремится к единице, будет предсказуемо давать завышенные результаты по ресурсу. У большинства дисков проанализированных 3dnews (из которых можно было извлечь WAF), коэффициент усиления записи был ≈1-1.11. Специалисты 3dnews объясняли это эффективными алгоритмами контроллеров. Лишь буквально у одного экземпляра WAF был 3, чтобы было объяснено неэффективным контроллером.
Однако, по моему мнению, всё дело в методике теста, который генерировал последовательную запись (при которой WAF → 1), что и дало завышение ресурса SSD-накопителей.
Далее я оценю во сколько раз.
Проблема 2. Не тестируется качество алгоритма выравнивания износа
При последовательном заполнении диска и последующем стирании плохо тестируется механизм выравнивания износа. Если производитель догадался сделать первые несколько ГБ диска (где находится битовая карта диска, FAT и прочие метаданные) работающими в режиме SLC (или кеширует их в буфере RAM), то алгоритм выравнивания износа может полностью отсутствовать в прошивке и всё равно при последовательной записи будeт достигнуты отличные показатели ресурса.
Проблема 3. Не тестируется срок хранения данных после исчерпания ресурса
Если вы уезжаете в путешествие на несколько месяцев, то непонятно можно ли доверять диску, который выработал свой паспортный ресурс.
Проблема 4. Последовательное заполнение диска, с последующим практически полным стиранием, не является реальным пользовательским шаблоном поведения
Поскольку SSD — это ещё довольно дорогой ресурс, то люди обычно стараются его использовать максимально полно и оставляют минимум свободного места.
Идеальный тест, на мой взгляд, это чтобы во время тестирования SSD оставался забитым на 80-90%, при этом в случайном порядке старые файлы должны удаляться, а новые добавляться.
2. Факторы мультипликации записи
2.1. Фрагментация файловой системы
Так как в Windows у SSD отключена дефрагментация, а размер кластера NTFS по умолчанию составляет 4КБ, то в реальной жизни диск сильно фрагментируется. В этом случае даже последовательная запись превращается по скорости практически в случайную.
Контроллеру, чтобы записать 1 изменённый кластер приходится вначале считать всю аппаратную страницу NAND (которая может достигать сотен килобайт в размере), изменить 4КБ, а потом всю её записать. Если размер полезной ёмкости страницы NAND составляет 64КБ, то мы имеем усиление записи в 16 раз.
Реальные размеры страниц в NANDИз комментария:Реальные размеры страниц в NAND микросхемах обычно все же не сотни килобайт, а 528, 2112, 4224, 4320, 8576, 8640, 8832, 8896, 9216, 17664, 18048, 18336 и т.д. Малые размеры справедливы для старых SLC микросхем, для TLC и QLC размеры поболее. Такие странные размеры потому, что кроме пользовательских данных необходимо хранить служебные данные (ECC, флаги, номера блоков, счетчики записей и т. п.).
2.2. Алгоритм выравнивания износа
Такой алгоритм может быть реализован в виде отдельного процесса внутри контроллера. Он будет работать примерно так:
Чтобы переместить статические данные в область с более высоким износом, требуется осуществить запись, равную по размеру перемещаемым данным, при условии, что есть освобождённый TRIM блок. А при малом количестве свободных блоков придётся совершить 2 записи, чтобы поменять данные местами.
RAM = a
a = b
b = RAM
При малом или отсутствующем DRAM-буфере потребуется три записи.
temp = a
a = b
b = temp
Эти операции в идеальном алгоритме выравнивания износа будут выполняться крайне редко, так как имеет смысл перемещать только статические данные, чтобы задействовать в оборот страницы с низким износом, поэтому мы пренебрежём влиянием алгоритма выравнивания износа на мультипликацию записи. Хотя, конечно, нет никаких гарантий, что в реальных SSD используются идеальные алгоритмы.
2.3. Типичная запись на SSD является случайной, блоком 4-8КБ
Обычная природа записей на SSD представляет из себя в основном
случайную запись 8КБ. Даже при отсутствии фрагментации размер типичного блока записи будет меньше размера страницы NAND и будет вызывать мультипликацию записи.
2.4. Алгоритм сборки мусора
Вот тут кроются самые большие подводные камни. Размер блока в NAND памяти достигает нескольких мегабайт. Блок состоит из нескольких страниц.
Страницы могут быть прочтены и записаны по отдельности, а блок может быть стёрт только полностью.
Со временем многие страницы в блоке помечаются как недействительные, так как данные которые были в них были изменены и записаны в другое место или из-за вызова TRIM. И рано или поздно сборщик мусора должен взять несколько частично заполненных блоков и скомпоновать из них полностью записанные и свободные.
Пока есть свободное место, то скорее всего, он даже не будет запускаться, поэтому со временем в блоках образуются многочисленные дыры.
Чем меньше места на диске, тем быстрее возрастает WAF (коэффициент мультипликации записи, Write Amplification Factor).
Для иллюстрации увеличения WAF приведу следующую картинку:
На картинке показаны блоки NAND памяти с данными, заполненные на 87.5%, разбитые на страницы. Для того чтобы освободить место для записи происходит перекомпоновка, при которой перезаписывается 7 блоков и стирается 1. Итого WAF получается = 8!
Конечно, нужно ещё учесть, что у большинства SSD есть резервная область, в которую также происходит перераспределение записи. Но, как правило, она невелика.
Типичный размер скрытой области для потребительских дисков составляет
В случае заполненности диска на 90% и наличии скрытой области размером в 7.37%, WAF будет равен 6.18!
WAF может оценён по этой формуле:
Kзаполненность диска — от 0 до 1, где 1 — 100% заполнение диска.
Kрезервной области — от 1, где 1 — 0% резервная область, 1.1 — 10% резервной области, и так далее.
Приблизительный график зависимости WA от процента свободного места на диске.
Из графика видно, что WA катастрофически нарастает по мере заполнения диска, приближаясь к 15 при полном заполнении диска с резервной областью
Вы, наверное, сами замечали как сильно начинает тормозить телефон, если там оказываются считанные единицы процентов свободного места. Ведь в нём тоже используется флэш-память. Забивать память под 100% не только ужасно медленно, но и сильно тратит ресурс накопителя.
Отдельная статья по теме.
2.5. Общий WAF от всех факторов
WAF, вносимые малосвязанными факторами, перемножаются.
3. Методика измерения ресурса от JEDEC для пользовательских SSD
В стандарте JEDEC «Solid-State Drive (SSD) Endurance Workloads» от сентября 2010 года, ревизия JESD219A есть описание методики для тестирования SSD.
В двух словах: инженеры JEDEC записали логи записей, TRIM и flush (команда сброса буферов на диск) некоторого пользователя ноутбука за 7 месяцев, работающего в основном с офисными программами. Предположительно на ноутбуке была установлена Windows 7 (поддерживает TRIM c 2009 года) на файловой системе NTFS с размером кластера 4КБ.
Детали о эталонном пользовательском компьютере и общая статистикаPlatform and WorkloadCollected on standard laptop PC, 2 GB RAM, 128 GB SATA SSD, operating system supporting trim
Main use: office productivity
Secondary use: storage of photos, music, and apps
Trace Characteristics
Writes/Trims/Flushes captured in a file with a CSV format: $command offset size
49 GB footprint (total data touched)
128 GB spanned (range of LBA’s accessed)
Average amount of Trimmed space = 13 GB (average across duration of trace)
Other Trace Characteristics
Я распарсил этот лог, чтобы понять какие активности там записаны.
При тестировании предлагается повторять записи по
этому логу (Master Trace), пока не наберётся нужное число записанных терабайт (TBW), после чего нужно проверить в течении какого времени ячейки хранят заряд (retention time). Для пользовательского SSD это время должно быть около 2 лет при температуре хранения 25℃, если рабочая температура была 40℃. Поскольку 2 года никто ждать не будет, то повышают температуру хранения, что ведёт к более высокой утечке электронов, и по специальным таблицам (построенным по
уравнению Аррениуса) вычисляют время хранения данных при нормальной температуре.
Интересные факты:
Как известно, NAND-память разбиты на страницы, которые объединяются в блоки. Запись и чтение происходит постранично, а стирание только блоками.
Когда нужно что-то переписать, идеальная прошивка работает примерно так: она записывает страницы с изменёнными данными в блок, где ещё есть незаписанные страницы и устанавливает новое соответствие LBA→страница в FTL (Flash Translation Layer), а старую страницу помечает недействительной. Если же таких блоков нет, то запускается сборщик мусора, который компонует данные из полузаполненных блоков в заполненные с освобождением блоков.
Это идеальный вариант. Не все пользовательские SSD имеют хорошие алгоритмы выравнивания износа. Что видно по драматически отличающимся результатам тестирования 3dnews.
Типичный размер страницы составляет 8KB и выше, а размер блока 2MB и выше. В тестировании JEDEC диск никогда не заполнялся более 38%, поэтому там всегда, как я подозреваю, были свободные блоки и поэтому не было активной работы сборщика мусора, который тоже тратит ресурс SSD. Но был WAF (Write Multiplication Factor) из-за того, что данные иногда записывались неполными страницами, а иногда одна запись проходила по границе NAND-страниц.
Я написал скрипт для вычисления WAF в зависимости от размера страницы в тестировании JEDEC. Вот WAF в зависимости от размера страницы NAND:
В тестировании 3dnews WAF примерно равен 1, так как файлы записываются последовательно, а Windows имеет кеширование записи, в ходе которого сектора записываются упорядоченно.
В типичном сценарии, когда страница равна 8К (Samsung 840 EVO) WAF всего 1.11 (погрешность на 11% от данных от 3dnews), что вроде бы можно простить. Но если мы учтём ещё WAF, который вносит алгоритм сборки мусора, то простить нельзя.
4. Методика JEDEC для тестирования корпоративных дисков на износостойкость
Она описана значительно более формализовано и условия более жёсткие. Задаётся чёткий процентаж записей различной длины. Записи размером до 4096 байт могут быть случайно смещены, а длиной от 4КБ должны быть выравнены по 4КБ смещениям.
Расчёт WAF в зависимости от размера страницы.
5. Расчёт поправок к результатам тестирования 3dnews
Нам нужны поправочные коэффициенты для того, чтобы износостойкость по методике 3dnews преобразовывать в износостойкость по методике Jedec.
Для начала мы уменьшим достигнутый результат в 2 раза, так как в тестировании не проверялось долговечность хранения. Никто не хочет обнаружить, что после отпуска, накопитель в его компьютере перестал работать или покрылся бэдами. Цифра 2 взята с потолка.
По методике JEDEC диск заполнен всего на 38%, что даём нам увеличение WAF из-за сборки мусора в 1.55 раза (по формуле выше). Этот коэффициент будет в знаменателе.
Далее мы учтём фактор мультипликации записи в зависимости от размера страницы NAND (полученный при анализе тестирования пользовательских SSD по методике JEDEC) и перемножим на WAF, который имеем от сборщика мусора.
Поправочные коэффициенты для дисков с избыточной областью в 7.37%.
Поправочные коэффициенты для дисков с избыточной областью в 10%.
Поправочные коэффициенты для дисков с избыточной областью в 20%.
Поправочные коэффициенты для дисков с избыточной областью в 30%.
6. Поправки к результатам тестирования 3dnews для использования пользовательских SSD в серверах
Сразу скажу, что это плохая идея. Но многие так делают. Поэтому попробуем рассчитать поправочные коэффициенты для определения ресурса пользовательских дисков в качестве серверных. Мы берём износостойкость из тестирования 3dnews и делим её на нужный коэффициент, чтобы получить ожидаемый ресурс (методика JEDEC) при корпоративном применении.
В серверах не требуется такое долговременное хранение в отключенном состоянии, как в пользовательских SSD. Вот соответствующая таблица:
При типичной температуре 50℃ эксплуатации под нагрузкой накопитель должен обеспечивать 58 недель ≈ 1 год хранения данных в отключенном состоянии при 25℃.
Для пользовательского применения (где требуется сохранность данных в течении 2-х лет в отключенном состоянии) мы уменьшили ресурс в 2 раза. Для корпоративного применения не нужен такой большой срок хранения, поэтому мы возьмём меньшее число, например, 1.3.
После этого умножим на WAF, характерный для корпоративной нагрузке, а потом учтём работу сборщика мусора и получим следующие таблицы коэффициентов. Результат полученный 3dnews нужно разделить на это число.
Есть проблема с тем, что в стандарте не описывается размер резервной области или свободного места для корпоративных дисков. Поэтому мы не можем точно оценить WAFкорпоративного теста JEDEC, поэтому возьмём это число (1.55) из теста пользовательских SSD JEDEC.
Поправочные коэффициенты для дисков с избыточной областью в 7.37%.
Поправочные коэффициенты для дисков с избыточной областью в 10%.
Поправочные коэффициенты для дисков с избыточной областью в 20%.
Поправочные коэффициенты для дисков с избыточной областью в 30%.
8. Выводы
Если вы никогда не выключаете свой компьютер на несколько месяцев, размер страницы NAND не более 16КБ, и диск заполнен примерно наполовину, то показатели ресурса достигнутые 3dnews нужно разделить на 3.
Для типового сценария (занятость диска 90%, размер страницы 8КБ), чтобы получить ресурс по стандартам JEDEC, делим на 9 ресурс, полученный 3dnews.
Если вы иногда отправляетесь в реально длительные путешествия, а накопитель в это время не используется, то советую оставаться в рамках паспортного ресурса, по истечении которого менять накопитель.
Для редких случаев, когда размер страницы NAND больше 16КБ, а диск довольно плотно заполнен, то чтобы вычислить реальный ресурс накопителя, его нужно уменьшать в десятки, а иногда в сотни раз.
А если вы засовываете бюджетный накопитель в сервер, то озаботьтесь и рейдом, и бэкапом. У вас не будет стабильного времени отклика и скоростей, защиты по питанию и других плюшек корпоративных накопителей, но ресурс вы можете вычислить с помощью поправочных делителей из соответствующей таблицы статьи. В типовом случае делим на 11.
Ссылки
→
Optimizing Linux with cheap flash drives→
Как определяем размер страницы и блока флэш-памятиP.S. Замеченные ошибки направляйте в личку. Повышаю за это карму.
За изображение спасибо TripletConcept.
Вы можете заказать виртуальную машину с SSD у
RUVDSпо купону ниже.
Надежность SSD-накопителей: развенчиваем мифы и страхи пользователей | SSD-накопители | Блог
В сети ходит огромное количество мифов и слухов относительно надежности и сроков службы SSD дисков. Верить им или нет, действительно ли твердотельные накопители придется менять через 1–3 года, а то и быстрее? Разбираемся вместе.
Устройство NAND-памяти и почему она деградирует
В HDD используются магнитные диски — полностью энергонезависимая память. Проще говоря, единички и нолики хранятся как магнитные заряды на особом слое пластины. Сам по себе процесс размагничивания достаточно медленный, а повредить структуру зарядов можно только путем мощного магнитного воздействия.
Что самое главное, количество циклов изменения намагниченного заряда фактически не ограничено. Да, сектора со временем «летят», а движущиеся детали выходят из строя, но бояться каких-либо ограничений на перезапись пользователям не стоит.
Flash-память в свою очередь использует полупроводниковые элементы. Накопитель представляет собой обычную схему без движущихся элементов. Это дает массу преимуществ, но также вносит такой параметр, как ресурс памяти. В современных SSD применяется NAND-память: 2D или 3D. По сути, это набор ячеек, организованных в определенную структуру. Подробнее узнать про NAND-память вы можете из нашего материала.
Одна из главных характеристик NAND-памяти — гарантированное количество циклов перезаписи. После преодоления этого числа ячейки могут искажать информацию или просто отказывать. Причиной этому является сама структура полупроводникового элемента.
Заряд («1» или «0») хранится в плавающем затворе. Изменение выполняется путем приложения на затвор заданного напряжения, после чего электроны через слой диэлектрика проходят в одну или другую сторону.
Проблема заключается в том, что слои диэлектрика постепенно и неизбежно изнашиваются. Как итог — вся полупроводниковая структура нарушается, и ячейка теряет способность хранить биты информации. Параллельно появляется эффект туннелирования, когда электроны просто застревают в диэлектрике и мешают правильному распознаванию хранящегося заряда.
Однако ресурс каждого конкретного SSD диска во многом зависит не от самой флеш-памяти. Ключевыми являются алгоритмы, которые использует контроллер в процессах записи-перезаписи. Ячейки памяти объединяются в страницы, а те в свою очередь формируют блоки. Записать данные можно только в чистую страницу, а если их не хватает, то приходится переписывать блок.
Перед записью алгоритм должен подготовить место, удалить при необходимости старые страницы и только потом записать в чистый блок всю реорганизованную структуру. В итоге реальный объем работы с ячейками флеш-памяти превышает объем операций, которые инициализирует сам пользователь. Иногда даже добавление пары байт приведет к очистке и последующей записи всего блока.
Ориентир первый: циклы перезаписи
Для каждого типа флеш-памяти имеется ограничение циклов перезаписи. Это число определяет, сколько конкретно раз можно изменить значения ячейки флеш-памяти, прежде чем ее износ будет представлять опасность для данных. Показатель варьируется в зависимости от типа памяти: SLC, MLC или TLC.
Много это или мало? Давайте проведем самый приблизительный расчет — возьмем SSD объемом 120 ГБ MLC типа с ограничением на 5 000 циклов записи. Предположим, ежедневно вы перезаписываете около 20 Гб данных. Коэффициент перезаписи возьмем равным 6. Он необходим, чтобы получить приближенный к реальному объем операций для флеш-ячеек.
Тогда высчитаем суточный цикл перезаписи: 20*6/120 = 1. Далее с учетом общего количества циклов определим срок службы: 5000/1/365 дней = 13,7 лет.
Естественно, это очень приблизительный просчет. Во-первых, ежедневный объем информации, с которым вы работаете, всегда разный. Во-вторых, коэффициент усиления может сильно варьироваться в зависимости от конкретных алгоритмов и действий.
Ориентир второй: параметр TBW
Total Bytes Written — этот параметр показывает, какой объем информации может быть гарантированно перезаписан без ошибок. Как правило, производители указывают его в основных характеристиках SSD-накопителя.
TBW может варьироваться от десятков терабайт до десятков петабайт (напомним, 1 Пб = 1024 Тб). Расчет в этом случае достаточно простой — делим TBW на объем ежедневно перезаписываемых данных.
Например, TBW диска заявлен 150 Тб, а ежедневно вы записываете по 40 Гб данных. Тогда 153600/40 = 3840 дней или 10,5 лет. Опять же, сколько перезаписывается в день — параметр динамический и не всегда известный.
Проще всего воспользоваться специализированными программами, которые сделают все необходимые расчеты за вас. Например, SSD Life подсчитывает объем перезаписанных данных и вычисляет оставшийся ресурс автоматически.
Помните, TBW описывает гарантированный объем перезаписи, но на практике ресурс некоторых SSD может оказаться куда больше.
Как продлевается ресурс SSD
Не стоит забывать про работу контроллера, который самыми разнообразными способами стремится минимизировать количество перезаписей ячеек. Один из алгоритмов — выравнивание износа (Wear Leveling). Контроллер ведет учет количества циклов для каждой конкретной ячейки. Это позволяет при записи перераспределять информацию так, чтобы износ каждой из ячеек накапливался равномерно.
Например, файлы ОС обычно хранятся практически без изменений, из-за чего флеш-память в определенной области практически не стареет, в то время как в других областях наоборот постоянно используется. Wear Leveling при очистке определенных блоков переносит такие системные файлы в другую область и обеспечивает равномерное расходование ресурса.
Несмотря на общую концепцию каждый производитель SSD имеет свои фирменные алгоритмы, которые могут отличаться объемами переносимых данных и способами объединения информации в блоки. Чем эффективнее Wear Leveling, тем дольше прослужит SSD.
Другая технология увеличения ресурса — резервная область (Spare Area). Вы наверняка замечали, что продаются диски на 120 и 128 Гб, 240 и 256 Гб и так далее. Куда же деваются гигабайты в «урезанных» моделях? Это и есть та самая резервная область, с которой могут работать контроллеры.
Во-первых, контроллер получает дополнительные свободные блоки для своих нужд, недоступные для ОС. Это пространство применяется в работе вышеописанного алгоритма выравнивания, уменьшая количество лишних операций перезаписи. Естественно, это положительно сказывается на ресурсе.
Во-вторых, ячейки из резерва используются для замены вышедших из строя блоков. Этот резерв составляет 7 % от всего объема и 28 % для моделей, ориентированных на корпоративный сектор. Такой запас также позволяет увеличить срок службы и повысить безопасность данных.
На некоторых дисках пользователи могут самостоятельно увеличить объем резервной области через специальный софт.
Что говорят реальные тесты
Теоретические расчеты дают только приблизительное представление о сроке службы твердотельного накопителя, поэтому лучший способ выбрать SSD — найти реальные тесты его эксплуатации. Прочитать про один из самых крупных экспериментов продолжительностью в несколько лет вы можете на этом сайте.
Исходя из результатов, реальный показатель ресурса перезаписи большинства бюджетных моделей превышает 500 Тб. Даже если в сутки ваш диск будет писать по 100 Гб данных, его ресурса хватит на 14 лет.
Способность SSD перенести запись более 2 Пб информации означает, что вы сможете записывать 1 Тб данных ежедневно в течение 5 лет.
У топовых SSD от Intel, Kingston и Samsung реальный TBW перешел границу в 3 Пб, а этого хватит на 7–10 лет даже в тех случаях, если вы активно работаете с фото- и видеоконтентом, а также являетесь заядлым геймером.
Чего стоит опасаться
Если и есть у SSD ощутимый недостаток — так это время хранения информации без питания. В случае HDD беспокоиться практически не приходится — они могут пролежать годами без каких-либо потерь данных. Твердотельные накопители крайне придирчивы к температуре хранения и работы. Например, если ваш SSD работал в основном при 40 градусах Цельсия, а после вы оставили его на хранение при 30 градусах, то информация сохранится на протяжении 52 недель (около 1 года).
Казалось бы, не так критично, но стоит температуре вырасти на 5 градусов, как срок уменьшается вдвое! В худших из сценариев информация будет потеряна уже через 1-2 месяца. Это следует учитывать, если вы собираетесь в долгую поездку и оставляете на SSD важную информацию.
SSD Reletech P400 — тестирование надежности NAND
Что вы можете сказать про китайскую NAND? Нет, не ту, что просто «made in China», а ту, что и разработана там же. Флеш-память от Micron, Toshiba, SKHynix уже проходила через мои руки, и в разные моменты разная память показывала определенные результаты в ресурсных испытаниях. Еще больше статистики можно найти на 3Dnews. Сегодня же у меня в работе SSD Reletech P400 — тестирование надежности этого китайского накопителя с китайской же NAND производства YMTC я уже начал и буду регулярно помещать отчеты о результатах.
Немного о YMTC 3D 64L Xtacking TLC NAND
Уже несколько лет назад в Китае началась разработка собственной NAND памяти, дабы получить независимость от иностранных производителей, ну и заодно выйти на рынок чипов памяти и попытаться откусить от него кусочек для себя.
Читая новости об успехах в разработке NAND, видел упоминание, что работы ведутся, но отставание китайцев от производителей флеш-памяти оценивалось в пару-тройку лет. Напомню, это было начало 2019 года. На тот момент планировалось к концу года наладить производство 64-слойных чипов 3D NAND Xtacking 1.0.
В то время с таким количеством слоев выпускали свои модели и другие производители, и уже работали, или даже готовили к производству следующее поколение NAND с 96 слоями, готовясь к последующему выпуску 128-слойной памяти.
В YMTC решили, что пропустят этот (96 слоев) шаг и следующими чипами начнут производить NAND XTracking 2.0 со 128 слоями, тем самым если не обогнав, то существенно сократив расстояние до конкурентов.
В Reletech P400, если за отправную точку брать количество слоев используемой NAND (а тут их, слоев, 64 штуки), как раз стоят чипы Xtacking 1.0. Чем интересна эта память?
В основе ее лежит технология изготовления частей NAND раздельно, на разных подложках, с последующим их соединением. Так, собственно ячейки памяти и управляющая логика изготавливаются независимо друг от друга на разных пластинах. После этого они объединяются. Для выполнения этой операции требуется высокая точность изготовления компонентов будущей памяти. Зато это дает выигрыш в размере чипа.
Получающаяся в итоге вертикальная структура позволяет повысить плотность данных на кристалле. Согласно исследованиям, плотность данных кристалла YMTC 64L 256 ГБ составляет 4.41 ГБ/мм2, что выше, чем у кристалла Samsung 64L 256 ГБ (3.42 ГБ/мм2), и сопоставимо с кристаллом TLC Micron/Intel 64L CuA FG 256 ГБ (4.40 ГБ/мм2).
Думаю, более подробно эту NAND имеет смысл рассмотреть отдельно, чему я надеюсь посвятить отдельный материал.
Подопытный Reletech P400 256 ГБ
Собственно, обзор на этот SSD я делал совсем недавно, и что-то плохое про этот накопитель сказать сложно. Типичный среднестатистический SSD на более чем привычном контроллере Phison PS5012-E12S, с кэширующей DRAM. Единственное новое, малоизведанное «пятно» в этом накопителе – это чипы NAND китайской разработки от компании Yangtze Memory Technologies Co., Ltd. (YMTC).
В этой флеш-памяти применены интересные решения, и тем более появляется желание посмотреть, на что она способна. Каких-то нареканий в процессе тестирования не выявилось, хотя и рекордов не получилось. Скорее всего, их было бы наивно ждать. По сути, мы получаем еще одного производителя энергонезависимой памяти, что только обостряет конкуренцию, особенно на фоне планов вывести на рынок 128-слойную NAND.
Методика тестирования
Те, кто знаком с ресурсными испытаниями SSD вообще, и на моем сайте в частности, знают, что методика тестирования довольно проста. Впрочем, придумана она не мной.
Суть ее такова. При помощи программы Anvil’s Storage Utilities 1.1.0, имеющей режим работы «Endurance test», производится запись всего объема накопителя с последующим стиранием созданных файлов. Эта процедура повторяется циклически до появления ошибок или выхода накопителя из строя.
Есть еще один момент – на SSD записаны несколько крупных файлов, которые непосредственно не участвуют в тестировании, т. е. не изменяются и не перезаписываются. Для них посчитаны контрольные суммы, и после каждых 5 тестовых циклов производится сравнение первоначального значения MD5 с текущим.
Сделано это для того, чтобы контролировать целостность этих постоянных файлов. Изначально я предполагаю, что на SSD работает функция выравнивания износа, а, значит, эти файлы постоянно перемещаются по разным областям памяти. Со временем, если начнется деградация ячеек, какой-то из тестовых файлов может оказаться нечитаемым, содержать ошибки. Это будет указанием на критическое состояние NAND.
Методика, конечно, отнюдь не совершенна и довольно однобока. По сути, она занимается только исследованием, сколько всего циклов записи способна выдержать NAND. Первоначально, когда TLC только появились, речь шла о 1 000 циклов. По мере совершенствования технологии это значение увеличилось в несколько раз, и проведенные проверки это подтверждают.
SSD Reletech P400 — тестирование надежности
Тест я начал 29 января, и на данный момент (11.02.2021) SSD уже отработал (правда, с некоторыми перерывами) почти 2 недели. Записано уже более 139 ТБ. Пока никаких проблем нет. Температура SSD стабильно держится на уровне 59-60°C.
Обновление от 18.02.2021
Итак, неделя прошла, и пора поделиться результатами. С накопителем ничего страшного не произошло за исключением того, что количество записанной информации подбирается к 230 ТБ. Посмотрим на скриншот утилиты CrystalDiskInfo 8.1.0.
Собственно, ничего особенно интересного нам не сообщается. Температура, пройденное расстояние, да и, пожалуй, все. Более интересно посмотреть на результаты работы утилиты «phison_nvme_flash_id2», созданной Вадимом Очкиным (aka VLO):
——— FLASH STATUS LOG ———
max erase count d1 : 0
max erase count d2 d3 : 1148
average erase count d1 : 0
average erase count d2 d3 : 1084
min erase count d1 : 0
min erase count d2 d3 : 1048
total flash erase count d1 : 304939
total flash erase count d2 d3 : 1083708
total flash program count d1 : 0
total flash program count d2 d3 : 16064818552
total flash read count : 22161571134
total flash write count : 514074193664
read flash unc retry ok count d1 : 0
read flash unc retry ok count d2 d3 : 107
read flash unc retry fail count d1 : 0
read flash unc retry fail count d2 d3 : 0
raid ecc recovery ok count d1 : 0
raid ecc recovery ok count d2 d3 : 0
raid ecc recovery fail count d1 : 0
raid ecc recovery fail count d2 d3 : 0
logical good block count d1 : 0
logical good block count d2 d3 : 1000
total early bad physical block count : 47
total later bad physical block count : 0
total read fail block count d1 : 0
total read fail block count d2 d3 : 0
total program fail block count d1 : 0
total program fail block count d2 d3 : 0
total erase fail block count d1 : 0
total erase fail block count d2 d3 : 0
raid ecc entry : 0
read disturb count : 0
flash max pecycle : 3000
revoked vb number : 100
acceptable revoked vb number : 100
Согласно полученным данным, выполнено уже 1 084 цикла «запись/стирание» (P/E). Максимальное их количество указывается равным 3 000. Пока ошибок не обнаружено, да и рановато им еще быть. Я рассчитываю, что уж петабайт накопитель выдержит.
Обновление от 25.02.2021
Эта неделя не принесла каких-то новостей. Тестирование идет штатно, никаких проблем не наблюдается. На данный момент записано уже более 315 ТБ.
Утилита «phison_nvme_flash_id2» показывает следующую информацию:
——— FLASH STATUS LOG ———
max erase count d1 : 0
max erase count d2 d3 : 1540
average erase count d1 : 0
average erase count d2 d3 : 1502
min erase count d1 : 0
min erase count d2 d3 : 1439
total flash erase count d1 : 422494
total flash erase count d2 d3 : 1501317
total flash program count d1 : 0
total flash program count d2 d3 : 22263331096
total flash read count : 30218935736
total flash write count : 712426595072
read flash unc retry ok count d1 : 0
read flash unc retry ok count d2 d3 : 144
read flash unc retry fail count d1 : 0
read flash unc retry fail count d2 d3 : 0
raid ecc recovery ok count d1 : 0
raid ecc recovery ok count d2 d3 : 0
raid ecc recovery fail count d1 : 0
raid ecc recovery fail count d2 d3 : 0
logical good block count d1 : 0
logical good block count d2 d3 : 1000
total early bad physical block count : 47
total later bad physical block count : 0
total read fail block count d1 : 0
total read fail block count d2 d3 : 0
total program fail block count d1 : 0
total program fail block count d2 d3 : 0
total erase fail block count d1 : 0
total erase fail block count d2 d3 : 0
raid ecc entry : 0
read disturb count : 0
flash max pecycle : 3000
revoked vb number : 100
acceptable revoked vb number : 100
Среднее количество циклов P/E превысило 1 500. О проблемах ничего не сообщается.
Обновление от 04.03.2021
Еще неделя позади, в течение которой «пробег по России» превысил уже 402 ТБ. Накопитель держится бодрячком. Температура в процессе работы держится на уровне 59-60°C.
Согласно утилите «phison_nvme_flash_id2» количество циклов запись/стирание превысило 1 900, что почти две трети от гарантированного ресурса.
——— FLASH STATUS LOG ———
max erase count d1 : 0
max erase count d2 d3 : 1982
average erase count d1 : 0
average erase count d2 d3 : 1918
min erase count d1 : 0
min erase count d2 d3 : 1859
total flash erase count d1 : 539477
total flash erase count d2 d3 : 1917453
total flash program count d1 : 0
total flash program count d2 d3 : 28432141600
total flash read count : 38479873204
total flash write count : 909828531200
read flash unc retry ok count d1 : 0
read flash unc retry ok count d2 d3 : 191
read flash unc retry fail count d1 : 0
read flash unc retry fail count d2 d3 : 0
raid ecc recovery ok count d1 : 0
raid ecc recovery ok count d2 d3 : 0
raid ecc recovery fail count d1 : 0
raid ecc recovery fail count d2 d3 : 0
logical good block count d1 : 0
logical good block count d2 d3 : 1000
total early bad physical block count : 47
total later bad physical block count : 0
total read fail block count d1 : 0
total read fail block count d2 d3 : 0
total program fail block count d1 : 0
total program fail block count d2 d3 : 0
total erase fail block count d1 : 0
total erase fail block count d2 d3 : 0
raid ecc entry : 0
read disturb count : 0
flash max pecycle : 3000
revoked vb number : 100
acceptable revoked vb number : 100
Каких-либо проблем не видно, неисправных ячеек, дефектных блоков нет.
Обновление от 12.03.2021
Припозднился с отчетом на день по ряду причин, зато накопитель преодолел планку в 500 ТБ. Ничего с накопителем не случилось, он все так же бодро, насколько он может, выдерживает тестирование.
Среднее количество циклов запись/стирание уже более 2 300. Утилита «phison_nvme_flash_id2» пока что об ошибках ничего не сообщает.
——— FLASH STATUS LOG ———
max erase count d1 : 0
max erase count d2 d3 : 2352
average erase count d1 : 0
average erase count d2 d3 : 2305
min erase count d1 : 0
min erase count d2 d3 : 2252
total flash erase count d1 : 565109
total flash erase count d2 d3 : 2304431
total flash program count d1 : 0
total flash program count d2 d3 : 35168119708
total flash read count : 41700633054
total flash write count : 1125379830656
read flash unc retry ok count d1 : 0
read flash unc retry ok count d2 d3 : 1158
read flash unc retry fail count d1 : 0
read flash unc retry fail count d2 d3 : 0
raid ecc recovery ok count d1 : 0
raid ecc recovery ok count d2 d3 : 0
raid ecc recovery fail count d1 : 0
raid ecc recovery fail count d2 d3 : 0
logical good block count d1 : 0
logical good block count d2 d3 : 1000
total early bad physical block count : 47
total later bad physical block count : 0
total read fail block count d1 : 0
total read fail block count d2 d3 : 0
total program fail block count d1 : 0
total program fail block count d2 d3 : 0
total erase fail block count d1 : 0
total erase fail block count d2 d3 : 0
raid ecc entry : 0
read disturb count : 0
flash max pecycle : 3000
revoked vb number : 100
acceptable revoked vb number : 100
Обновление от 18.03.2021
Итак, четверг, и пора подвести итоги очередной недели тестирования. За этот период произошло ровным счетом ничего, если не считать, что объем записанных на накопитель данных уже превысил 576 ТБ. Видимых проблем нет.
Что касается невидимых проблем, то обратимся к логу, выдаваемому утилитой «phison_nvme_flash_id2»:
——— FLASH STATUS LOG ———
max erase count d1 : 0
max erase count d2 d3 : 2658
average erase count d1 : 0
average erase count d2 d3 : 2594
min erase count d1 : 0
min erase count d2 d3 : 2558
total flash erase count d1 : 575427
total flash erase count d2 d3 : 2593874
total flash program count d1 : 0
total flash program count d2 d3 : 40320485800
total flash read count : 42960047324
total flash write count : 1290255545600
read flash unc retry ok count d1 : 0
read flash unc retry ok count d2 d3 : 3069
read flash unc retry fail count d1 : 0
read flash unc retry fail count d2 d3 : 0
raid ecc recovery ok count d1 : 0
raid ecc recovery ok count d2 d3 : 0
raid ecc recovery fail count d1 : 0
raid ecc recovery fail count d2 d3 : 0
logical good block count d1 : 0
logical good block count d2 d3 : 1000
total early bad physical block count : 47
total later bad physical block count : 0
total read fail block count d1 : 0
total read fail block count d2 d3 : 0
total program fail block count d1 : 0
total program fail block count d2 d3 : 0
total erase fail block count d1 : 0
total erase fail block count d2 d3 : 0
raid ecc entry : 0
read disturb count : 0
flash max pecycle : 3000
revoked vb number : 100
acceptable revoked vb number : 100
Видим, что невидимых проблем пока тоже не наблюдается. Среднее количество циклов запись/чтение (P/E) почти достигло 2 600. Еще немного, и гарантированный ресурс в 3 000 циклов будет выполнен. Все ячейки пока живы и здоровы, о «битой» NAND никаких сообщений нет.
Обновление от 25.03.2021
Еще одна неделя позади. Каких-либо проблем замечено не было. На данный момент объем записанных данных перевалил за 663 ТБ.
Параметр 05 утилиты CrystalDiskInfo показывает, что заложенный гарантированный ресурс исчерпан на 97%, но состояние накопителя при этом хорошее.
О том же говорит и утилита «phison_nvme_flash_id2»:
——— FLASH STATUS LOG ———
max erase count d1 : 0
max erase count d2 d3 : 2991
average erase count d1 : 0
average erase count d2 d3 : 2935
min erase count d1 : 0
min erase count d2 d3 : 2890
total flash erase count d1 : 593071
total flash erase count d2 d3 : 2934848
total flash program count d1 : 0
total flash program count d2 d3 : 46317204428
total flash read count : 45430786494
total flash write count : 1482150541696
read flash unc retry ok count d1 : 0
read flash unc retry ok count d2 d3 : 5459
read flash unc retry fail count d1 : 0
read flash unc retry fail count d2 d3 : 0
raid ecc recovery ok count d1 : 0
raid ecc recovery ok count d2 d3 : 0
raid ecc recovery fail count d1 : 0
raid ecc recovery fail count d2 d3 : 0
logical good block count d1 : 0
logical good block count d2 d3 : 1000
total early bad physical block count : 47
total later bad physical block count : 0
total read fail block count d1 : 0
total read fail block count d2 d3 : 0
total program fail block count d1 : 0
total program fail block count d2 d3 : 0
total erase fail block count d1 : 0
total erase fail block count d2 d3 : 0
raid ecc entry : 0
read disturb count : 0
flash max pecycle : 3000
revoked vb number : 100
acceptable revoked vb number : 100
Среднее количество циклов запись/чтение (P/E) уже равно 2 935. Еще немного, и заложенные производителем 3 000 будут достигнуты. Судя по логу, пока никаких проблем с NAND нет.
Обновление от 01.04.2021
И еще одна неделя прошла. Она принесла нам исчерпание гарантированного ресурса накопителя, который SSD успешно преодолел даже не заметив. На данный момент объем записанной информации уже вплотную приблизился к 750 ТБ.
К накопителю у меня нет претензий, никаких аномалий в работе пока не видно, тестирование идет бодро и размеренно.
Утилита «phison_nvme_flash_id2» выдает следующую инфу о NAND памяти:
——— FLASH STATUS LOG ———
max erase count d1 : 0
max erase count d2 d3 : 3323
average erase count d1 : 0
average erase count d2 d3 : 3259
min erase count d1 : 0
min erase count d2 d3 : 3197
total flash erase count d1 : 605299
total flash erase count d2 d3 : 3258546
total flash program count d1 : 0
total flash program count d2 d3 : 52085358962
total flash read count : 46942524325
total flash write count : 1666731486784
read flash unc retry ok count d1 : 0
read flash unc retry ok count d2 d3 : 8342
read flash unc retry fail count d1 : 0
read flash unc retry fail count d2 d3 : 0
raid ecc recovery ok count d1 : 0
raid ecc recovery ok count d2 d3 : 0
raid ecc recovery fail count d1 : 0
raid ecc recovery fail count d2 d3 : 0
logical good block count d1 : 0
logical good block count d2 d3 : 1000
total early bad physical block count : 47
total later bad physical block count : 0
total read fail block count d1 : 0
total read fail block count d2 d3 : 0
total program fail block count d1 : 0
total program fail block count d2 d3 : 0
total erase fail block count d1 : 0
total erase fail block count d2 d3 : 0
raid ecc entry : 0
read disturb count : 0
flash max pecycle : 3000
revoked vb number : 100
acceptable revoked vb number : 100
Среднее количество циклов запись/стирание равняется 3259, каких-либо ошибок пока нет, все ячейки в полном здравии.
И это не шутки!
Обновление от 08.04.2021
Прошедшая неделя оказалась богата на отсутствие событий и каких-либо запоминающихся моментов. Накопитель тихонечко и монотонно занимается своим делом в уголочке, никак не привлекая к себе внимание. Утилита CrystalDiskInfo рапортует, что преодолено уже почти 834 ТБ.
Я не вижу каких-либо изменений в работе SSD Reletech P400. Скорость прохождения теста стабильная, никаких задержек нет. Конечно, я не смотрю постоянно за процессом, но то, что за семь суток накопитель успевает стабильно записать порядка 80-87 ТБ, говорит о том, что аномалий в работе пока нет.
Утилита «phison_nvme_flash_id2» также пока что ничего настораживающего не сообщает:
——— FLASH STATUS LOG ———
max erase count d1 : 0
max erase count d2 d3 : 3628
average erase count d1 : 0
average erase count d2 d3 : 3588
min erase count d1 : 0
min erase count d2 d3 : 3527
total flash erase count d1 : 617314
total flash erase count d2 d3 : 3587072
total flash program count d1 : 0
total flash program count d2 d3 : 57933478506
total flash read count : 48147211586
total flash write count : 1853871312192
read flash unc retry ok count d1 : 0
read flash unc retry ok count d2 d3 : 11086
read flash unc retry fail count d1 : 0
read flash unc retry fail count d2 d3 : 0
raid ecc recovery ok count d1 : 0
raid ecc recovery ok count d2 d3 : 0
raid ecc recovery fail count d1 : 0
raid ecc recovery fail count d2 d3 : 0
logical good block count d1 : 0
logical good block count d2 d3 : 1000
total early bad physical block count : 47
total later bad physical block count : 0
total read fail block count d1 : 0
total read fail block count d2 d3 : 0
total program fail block count d1 : 0
total program fail block count d2 d3 : 0
total erase fail block count d1 : 0
total erase fail block count d2 d3 : 0
raid ecc entry : 0
read disturb count : 0
flash max pecycle : 3000
revoked vb number : 100
acceptable revoked vb number : 100
Среднее количество циклов запись/стирание подбирается к 3 600.
Я раздумываю, может мне установить на этот SSD радиатор, дабы снизить температуру контроллера. Правда, нельзя сказать, что она такая уж высокая, по сути, даже до 60°C почти не доходит, но все же.
Останавливает только одно — при тестировании Crucial BX500, после того, как я поменял ему корпус на металлический и положил термопрокладку, температура действительно снизилась, но накопитель (контроллер) почему-то умер через несколько часов. Падазрительна!
Обновление от 15.04.2021
Вновь сказать, по сути, нечего. На утро сегодняшнего дня накопитель выдержал уже более 904 ТБ записи, и до намеченного мной петабайта осталось всего ничего, неделя работы, может чуть больше.
В целом, никаких изменений нет, за исключением одного. В пятницу вечером на компьютере, на котором проходит тестирование, система решила обновиться, из-за чего тестирование прервалось до утра понедельника. Из-за простоя я уже рассчитывал упомянуть, что за неделю объем записанных данных оказался ниже, но в реальности оказалось, что нет. Даже с простоем в двое суток недельный «пробег» увеличился примерно на те же 80 ТБ.
Ну и конечно же результаты работы утилиты «phison_nvme_flash_id2», вернее, часть лога, описывающего данные о NAND:
——— FLASH STATUS LOG ———
max erase count d1 : 0
max erase count d2 d3 : 3923
average erase count d1 : 0
average erase count d2 d3 : 3858
min erase count d1 : 0
min erase count d2 d3 : 3813
total flash erase count d1 : 627143
total flash erase count d2 d3 : 3857926
total flash program count d1 : 0
total flash program count d2 d3 : 62751261550
total flash read count : 49488501219
total flash write count : 2008040369600
read flash unc retry ok count d1 : 0
read flash unc retry ok count d2 d3 : 15025
read flash unc retry fail count d1 : 0
read flash unc retry fail count d2 d3 : 0
raid ecc recovery ok count d1 : 0
raid ecc recovery ok count d2 d3 : 0
raid ecc recovery fail count d1 : 0
raid ecc recovery fail count d2 d3 : 0
logical good block count d1 : 0
logical good block count d2 d3 : 1000
total early bad physical block count : 47
total later bad physical block count : 0
total read fail block count d1 : 0
total read fail block count d2 d3 : 0
total program fail block count d1 : 0
total program fail block count d2 d3 : 0
total erase fail block count d1 : 0
total erase fail block count d2 d3 : 0
raid ecc entry : 0
read disturb count : 0
flash max pecycle : 3000
revoked vb number : 100
acceptable revoked vb number : 100
Среднее количество циклов P/E (запись/стирание) составляет более 3 800. Об ошибках пока информации нет. Ячейки памяти живы и здоровы.
Обновление от 22.04.2021
Единственная новость, которую принесла эта неделя — «пробег по России» превысил 1 петабайт. Накопитель никак не отреагировал на это значение и продолжает наматывать терабайты на свои ячейки. На данный момент объем записи составил уже почти 1 020 ТБ.
Я не замечаю никаких изменений в процессе проверки. Все работает как и прежде, задержек, подтормаживаний, и тем более ошибок нет. Среднее значение циклов запись/стирание (P/E) уже больше 4 300. Чего-то настораживающего утилита «phison_nvme_flash_id2» не сообщает:
——— FLASH STATUS LOG ———
max erase count d1 : 0
max erase count d2 d3 : 4356
average erase count d1 : 0
average erase count d2 d3 : 4301
min erase count d1 : 0
min erase count d2 d3 : 4255
total flash erase count d1 : 645333
total flash erase count d2 d3 : 4300981
total flash program count d1 : 0
total flash program count d2 d3 : 70615142314
total flash read count : 51632254746
total flash write count : 2259684554048
read flash unc retry ok count d1 : 0
read flash unc retry ok count d2 d3 : 20464
read flash unc retry fail count d1 : 0
read flash unc retry fail count d2 d3 : 0
raid ecc recovery ok count d1 : 0
raid ecc recovery ok count d2 d3 : 0
raid ecc recovery fail count d1 : 0
raid ecc recovery fail count d2 d3 : 0
logical good block count d1 : 0
logical good block count d2 d3 : 1000
total early bad physical block count : 47
total later bad physical block count : 0
total read fail block count d1 : 0
total read fail block count d2 d3 : 0
total program fail block count d1 : 0
total program fail block count d2 d3 : 0
total erase fail block count d1 : 0
total erase fail block count d2 d3 : 0
raid ecc entry : 0
read disturb count : 0
flash max pecycle : 3000
revoked vb number : 100
acceptable revoked vb number : 100
На самом деле, на этом тест можно было бы и прекратить, т. к. и так уже понятно, что китайская NAND принципиально не уступает по долговечности более именитым конкурентам. Тем не менее, из спортивного интереса, пусть дотестируется до конца. Хочется надеяться, что в результате это будет все же тестирование именно NAND на надежность, а не контроллера, живи он сто петабайт.
Обновление от 29.04.2021
Еще одна неделя позади и, наконец-то, есть хоть что-то новое. Сначала о результатах. На данный момент (утро четверга) «пробег» составляет чуть более 1.1 ПБ или 1 134 ТБ. Никаких видимых изменений в тестировании нет, все идет на прежних скоростях, баз каких-либо задержек.
А вот состояние накопителя ухудшилось на один процент. В частности, изменились параметры SMART 03 и 0E. Видимо, какая-то ячейка или блок ячеек вышли из строя и были заменены резервными. Давайте обратимся к утилите «phison_nvme_flash_id2»:
——— FLASH STATUS LOG ———
max erase count d1 : 0
max erase count d2 d3 : 4805
average erase count d1 : 0
average erase count d2 d3 : 4741
min erase count d1 : 0
min erase count d2 d3 : 4705
total flash erase count d1 : 661972
total flash erase count d2 d3 : 4740878
total flash program count d1 : 0
total flash program count d2 d3 : 78431763286
total flash read count : 53446299905
total flash write count : 2509816425152
read flash unc retry ok count d1 : 0
read flash unc retry ok count d2 d3 : 26238
read flash unc retry fail count d1 : 0
read flash unc retry fail count d2 d3 : 1174
raid ecc recovery ok count d1 : 0
raid ecc recovery ok count d2 d3 : 19
raid ecc recovery fail count d1 : 0
raid ecc recovery fail count d2 d3 : 1155
logical good block count d1 : 0
logical good block count d2 d3 : 999
total early bad physical block count : 47
total later bad physical block count : 6
total read fail block count d1 : 0
total read fail block count d2 d3 : 6
total program fail block count d1 : 0
total program fail block count d2 d3 : 0
total erase fail block count d1 : 0
total erase fail block count d2 d3 : 0
raid ecc entry : 0
read disturb count : 0
flash max pecycle : 3000
revoked vb number : 99
acceptable revoked vb number : 100
Среднее количество циклов запись/стирание равно 4 741, что ожидаемо. Есть и подтверждения того, что выдает утилита CrystalDiskInfo. Изменившиеся параметры в логе я выделил. Предположу, что «total later bad physical block count» показывает количество вышедших из строя ячеек или блоков.
Эти изменения я заметил в понедельник, но вот уже трое суток ничего не меняется и на работе накопителя пока они никакого влияния не имеют.
Обновление от 06.05.2021
За еще одну неделю количество записанной информации достигло значения в 1.2 ПБ. Внешне никаких изменений в процессе тестирования не наблюдается.
Утилита CrystalDiskInfo сообщает, что здоровье накопителя вновь ухудшилось, и теперь составляет 87%. Судя по всему, «процесс пошел», и ячейки NAND постепенно сдаются. Что нам скажет «phison_nvme_flash_id2»? Результаты ее работы такие:
——— FLASH STATUS LOG ———
max erase count d1 : 0
max erase count d2 d3 : 5161
average erase count d1 : 0
average erase count d2 d3 : 5104
min erase count d1 : 0
min erase count d2 d3 : 5044
total flash erase count d1 : 674944
total flash erase count d2 d3 : 5103982
total flash program count d1 : 0
total flash program count d2 d3 : 84902750476
total flash read count : 54850239569
total flash write count : 2716888015232
read flash unc retry ok count d1 : 0
read flash unc retry ok count d2 d3 : 33215
read flash unc retry fail count d1 : 0
read flash unc retry fail count d2 d3 : 2037
raid ecc recovery ok count d1 : 0
raid ecc recovery ok count d2 d3 : 117
raid ecc recovery fail count d1 : 0
raid ecc recovery fail count d2 d3 : 1960
logical good block count d1 : 0
logical good block count d2 d3 : 987
total early bad physical block count : 47
total later bad physical block count : 60
total read fail block count d1 : 0
total read fail block count d2 d3 : 60
total program fail block count d1 : 0
total program fail block count d2 d3 : 0
total erase fail block count d1 : 0
total erase fail block count d2 d3 : 0
raid ecc entry : 0
read disturb count : 0
flash max pecycle : 3000
revoked vb number : 87
acceptable revoked vb number : 100
Что касается циклов P/E (запись/стирание) уже превысило 5 100. Количество ошибок действительно растет. Видимо, до конца осталось уже немного.
Обновление от 13.05.2021
За отчетный период с прошлого четверга здоровье накопителя уменьшилось на 3 процента, а «пробег» увеличился, преодолев планку в 1.3 ПБ. На скорости тестирования все изменения пока никак не сказываются.
Более развернутую информацию посмотрим при помощи утилиты «phison_nvme_flash_id2»:
——— FLASH STATUS LOG ———
max erase count d1 : 0
max erase count d2 d3 : 5604
average erase count d1 : 0
average erase count d2 d3 : 5545
min erase count d1 : 0
min erase count d2 d3 : 5503
total flash erase count d1 : 690670
total flash erase count d2 d3 : 5544124
total flash program count d1 : 0
total flash program count d2 d3 : 92745722904
total flash read count : 56479403887
total flash write count : 2967863132928
read flash unc retry ok count d1 : 0
read flash unc retry ok count d2 d3 : 46903
read flash unc retry fail count d1 : 0
read flash unc retry fail count d2 d3 : 2058
raid ecc recovery ok count d1 : 0
raid ecc recovery ok count d2 d3 : 128
raid ecc recovery fail count d1 : 0
raid ecc recovery fail count d2 d3 : 2478
logical good block count d1 : 0
logical good block count d2 d3 : 984
total early bad physical block count : 47
total later bad physical block count : 63
total read fail block count d1 : 0
total read fail block count d2 d3 : 63
total program fail block count d1 : 0
total program fail block count d2 d3 : 0
total erase fail block count d1 : 0
total erase fail block count d2 d3 : 0
raid ecc entry : 0
read disturb count : 0
flash max pecycle : 3000
revoked vb number : 84
acceptable revoked vb number : 100
Среднее количество циклов запись/стирание более 5 500. В остальном — нормальный процесс постепенного отмирания ячеек после такого объема записанных данных.
Обновление от 17.05.2021
Это последнее обновление, ибо накопитель скончался. Когда я пришел в понедельник на работу, где стоит компьютер, используемый для тестирования, оказалось, что с накопителем что-то случилось и даже перезагрузка не проходит. БИОС накопитель не видит.
В пятницу он был еще жив и вполне бодро тестировался, преодолев 1.34 ПБ. К сожалению, это последние значения, которые я видел.
Заключение. Ресурсный тест SSD Reletech P400 — не чемпион, но и не аутсайдер
Итак, что у нас есть сказать за Reletech P400? Сначала о грустном. Рекордов он не поставил, хотя и провальности говорить тоже нельзя.
Наверняка помните, что Toshiba RC500 сумел преодолеть 1.7 ПБ без единой проблемы, после чего отправился на годичное «воздержание» с записанными на него данными. На пользу это не пошло и столь долгое отлучении от живительного электропитания привело к потере всех записанных данных и неработспособности накопителя.
Еще раньше Crucial BX500 выдержал почти 1.5 ПБ без единой потерянной ячейки, после чего умер контроллер… И тут появляется крамольная мысль, а не контроллер ли это опять часом? Ведь последнее значение здоровья было 84% и в этом плане ничего не изменилось с момента предыдущего обновления.
Теперь о не грустном. Первое поколение китайской NAND показало себя достойно. Бояться ее точно не стоит. Уж гарантированный ресурс она отработает, и даже больше. При этом скоростные показатели вполне на уровне конкурентов. В своей категории, конечно. Это не топовый SSD, но нормальный бюджетно-средний накопитель с кэширующей DRAM.
Скоропостижная смерть наталкивает на мысль, что причиной может быть контроллер. Если у меня возникнет вновь мысль что-то так потестировать (например, вдруг выйдут SSD с 5-битовыми ячейками NAND PLC), я точно это буду делать с радиатором.
Даже самая простая железочка сбрасывает несколько градусов, а это всегда только в плюс. Невольно возникает подозрение, что ресурс NAND как-то уж подозрительно близок к ресурсу самого контроллера, и отказа чего бояться больше — непонятно.
Я бы рекомендовал поставить хоть какой-то радиатор если SSD Reletech P400, да и любой другой, используется более-менее активно. Если есть такая возможность, конечно.
В любом случае, бэкап — наше все. А у меня на этом все. Спасибо тем, кто следил за тестом.
Тестирование окончено.
Надёжность SSD накопителей и средства мониторинга
Но немного предыстории. Сервер стоит уже более 6 лет, и единственное что там за долгие годы не менялось это корпус 🙂 Предшественниками данного SSD были WD Raptor, который прожил ровно год, после чего скоропостижно скончался и был заменён «старшим братом» — WD VelociRaptor, который так же через год работы приказал долго жить (до сих пор храню в ящике как память вместе с древним Quantum Fireball :)). Выбор в пользу Intel X25-V был очень прост — нужно было в кратчайшие сроки купить что-то на замену умершему харду, при весьма ограниченном бюджете. Естественно читать обзоры и сравнивать времени не было вообще, поэтому был куплен первый попавшийся (а точнее первый попавшийся с переходником на 3,5″) и самый дешёвый на тот момент SSD (хотя в то время SSD я не использовал даже в обычных ПК). Теперь расскажу немного о задачах сервера и чем он занимается. Несмотря на то, что это «домашний» сервер, делает он очень много, в частности:
- Web-сервер, на котором расположено несколько сайтов, довольно посещаемых (порядка 150 уников в сутки на каждом)
- MySQL сервер, естественно без него не будет работать ни один из сайтов, но так же база данных используется для собственной системы статистики и так же туда свои показатели пишет система мониторинга zabbix.
- Deluge (торрент-клиент, да-да на SSD, как считают многие — главный убийца твёрдотельных накопителей :)), который временные файлы пишет на системный диск, а потом уже переносит скачанное на обычный HDD.
- zabbix-agentd — один из самых «прожорливых» сервисов в моей системе, который крайне активно пишет различные показатели в БД.
- airvideoserver — кодировщик видео для мобильных устройств, кодирует видео на лету и складывает кэш на системный диск.
Остальные задачи сами по себе не так интересны, поэтому просто перечислю их: avahi, dhcpd, fail2ban, iptables, netatalk, nginx, openvpn, php-fpm, pure-ftpd, samba, sshd, zabbix-server — эти сервису уже не столь прожорливы, но активно пишут логи.
Всё это работает на базе Gentoo Linux. Почему я так подробно всё это рассказываю — на сервере поднято достаточно много сервисов, которые не только пишут логи (а логи в системе не отключены вообще и ни о какой поддержке TRIM говорить просто не приходится), но и создают в системе временные файлы (например — airvideoserver), а так же крайне сильно нагружают дисковую подсистему именно на запись.
Вот что намерил iotop за 5 минут работы:
Конечно с одной стороны не так уж и много, но накопитель активно используется как на чтение, так и на запись. Особенно активно пишутся логи системы (когда какой-нибудь локальный поиск по ftp пытается проиндексировать сервер и 100500 раз не может авторизоваться под анонимомусом).
Для начала посмотрим — были ли за время жизни диска какие-либо ошибки:
А теперь давайте обратимся к SMART`у диска:
Обратите внимание на параметр Power_On_Hours — 19727 часов, что даёт нам 822 дней аптайма, а ещё более интересный показатель — Host_Writes_32MiB — количество записанных сраниц по 32Мб, т.е. считаем: 473216*32/1024/1024 =~ 14,44Tb. А это порядка 18Гб/сутки, не такой уж и маленький показатель, учитывая что объём накопителя всего 40Гб (соответственно получается, что диск перезаписан полностью порядка 370 раз, а если вспомнить что ресурс записи MLC памяти порядка 10000 раз, запас у нас остаётся вполне приличный. Хотя конечно стоит оговориться что здесь нет равномерной записи на модули памяти, на какие то всё-таки информация пишется чаще, а на какие то — реже, но это не сильно портит статистику, а если говорить о более дорогих моделях SSD на SLC памяти, то там ресурс записи в каждую ячейку памяти ещё в 10 раз больше). Reallocated Sector Count (количество переназначенных, сбойных блоков) — 6, не такое большое число, что бы уже стоило начать волноваться за накопитель. Так же нас ещё интересует параметр Media_Wearout_Indicator — это своеобразный счётчик состояния накопителя. У нового накопителя эта цифра равна 99-100, а почти умирающего стремится к нулю (хотя есть преценденты, что и при значении Media_Wearout_Indicator — 0, накопитель прекрасно работал). Основываясь на этом можно сделать вывод, что накопитель более чем жив, хотя и используется больше, чем просто SSD для домашней рабочей машинки. И это касается не только моделей производства Intel (а я напомню, что X25-V это одна из самых простых и дешёвых моделей на рынке). К сожалению, пока что нет новых технологических решений относительно новых типов памяти, поэтому компании ведут активную борьбу на фронте контроллеров для SSD накопителей. В частности OCZ в прошлом году начала выпуск своих накопителей на базе нового контроллера Indilinx, который с выходом каждой новой версии прошивки всё больше и больше увеличивает собственную скорость работы, что отмечено многочисленными тестами в интернете (к слову, сам я на своих рабочих машинах уже перешёл на Vertex 4, но это ни в коем случае не реклама). К несчастью обычные SSD крайне редко дают нам какие-либо утилиты для мониторинга их состояния и приходится прибегать к использованию стороннего ПО, которое не всегда оптимизировано для работы с данными конкретного накопителя (ведь параметры SMART`а у разных производителей могут отличаться, так же как и «нормальное» значение этих параметров). Максимум, что предоставляет производитель — средства для обновления прошивки накопителя, чего конечно несомненно мало. А для мониторинга параметров состояния накопиля можно использовать только сторонние решения (как в примере статьи — smartmontools). Но корпоративный сегмент живёт немного по другим правилам, в частности наличие полного набора ПО для работы с накопителем — вполне нормальная вещь, которая порой играет немаловажную роль в выборе накопителя. Компания ADVANSERV активно продвигает на российский корпоративный рынок PCI-E SSD решения от компании Fusion-io, поэтому хотелось бы немного отвлечься от нашего подопытного и поговорить о ПО Fusion ioSphere Management Solution, которое нацелено на мониторинг состояние их SSD накопителей.
Ключевыми особенностями данного ПО являются:
- Возможность мониторинга и управления несколькими устройствами из одной консоли управления
- Интуитивно понятный пользовательский веб-интерфейс (который правда требует наличие Flash)
- Обнаружение и инвентаризация модулей ioMemory
- Разнообразные отчёты о работе систем
- Прогнозирование отказа
- LDAP аутентификация пользователей
Теперь разберём каждый из пунктов немного подробнее.
- Возможность управления несколькими устройствами ioMemory из одной консоли управления позволяет упростить процедуру управления и мониторинга устройств, и увеличить удобство и скорость работы.
- Автоматическое обнаружение устройств ioMemory ускоряет ввод в эксплуатацию и настройку устройств. Возможность скопировать настройки оборудования так же сильно облегчает процесс конфигурирования новых устройств.
- Мониторинг в режиме реального времени позволяет активно контролировать здоровье и производительность всех ioMemory в вашей сети, чтобы предвидеть проблемы прежде, чем они станут критическими. Готовые и настраиваемые профили оповещений, обеспечивают немедленное уведомление администратора об имеющихся проблемах, требующих его внимания, предотвращая простои и потери данных.
- История производительности, представленная в панеле управления, даёт вам общее представление о работе оборудования на протяжение всего его срока службы для более эффективного планирования вашей инфраструктуры.
- Прогнозирование отказа, на базе данных о количестве перезаписаной информации на флэш-память, позволяет предотвратить неожиданный отказ оборудования и простой компании. По сути, эти данные берутся из SMART`а устройства и предоставляются в удобном графическом представлении.
- LDAP аутентификация позволяет разграничить доступ к системе на основе уже имеющихся механизмов, без каких-либо дополнительных затрат, как финансовых, так и временных.
ioSphere является расширением базового набора ПО ioManager 3. Это расширение включает в себя большую наглядность и создание отчетов для нескольких модулей ioMemory (при чём эти модули могут быть разных моделей) на нескольких серверах. В таблице ниже приведены дополнительные функции ioSphere:
Управление и отчеты | ioManager 3 | ioSphere |
Установка | Веб-сервер | Веб-сервер |
Обнаружение и инвентаризация | Один узел | Множество узлов |
Удаленный доступ | Х | Х |
ioMemory конфигуратор | Один узел | Множество узлов |
Показатель эффективности в реальном времени | Х | Х |
История производительности | Х | |
Прогноз отказа | Х | |
Мониторинг | ioManager 3 | ioSphere |
Мониторинг устройств ioMemory | Один узел | Множество узлов |
Индивидуальные критерии оповещения | Х | |
SMS / e-mail оповещения | Х | |
История поиска оповещения | Х | |
Аутентификация пользователя | Х | Х |
LDAP аутентификация | Х |
В визуальном представлении это выглядит следующим образом:
Данное ПО, ввиду использования web-интерфейса, работает на различных системах, как windows, так и linux/unix, стоит только оговориться, что корректная работа гарантируется только в Internet Explorer и Firefox — работа в других браузерах возможна, но официально не заявлена (в частности известны проблемы в работе Google Chrome на Mac). В ближайшее время мы постараемся рассказать более подробно о различных софтварных решениях от компании Fusion-io.
В конце хочется отметить, что надёжность современных SSD не уступает по надёжности решениям на обычных HDD накопителях. Конечно риск выхода из строя оборудования есть всегда и это касается не только накопителей. Но гарантия производителя и покупка оборудования у проверенного поставщика сведут к минимуму ваши нервные переживания. И главное правило в отношении любых накопителей — делайте бекапы. Даже самое «стойкое» решение на даёт 100% сохранности данных.
Тестирование SSD Toshiba CD5 и CM5-R
11.07.19
Твердотельные накопители Toshiba давно не встречались в наших обзорах — статья о двух SSD предыдущего поколения с интерфейсом SAS вышла два с лишним года назад. При этом стоит отметить, что каждое поколение серверных накопителей Toshiba было очень удачным: практически самая высокая производительность на рынке на начало продаж, отсутствие проблем с совместимостью и высокая надёжность. Обе модели из вышеупомянутого обзора, PX05-SR и PX05-SM , благодаря отличным техническим характеристикам не потеряли актуальность и продаются в 2019 году, но кое-что важное за последние два года всё же случилось: появилась технология многослойной флеш-памяти Toshiba BiCS Flash. Вместе с увеличением количества хранимых бит в ячейке данная технология позволила существенно увеличить объёмы накопителей при одновременном снижении цены. Как это отразилось на характеристиках, мы выясним в ходе тестирования двух накопителей Toshiba с интерфейсом NVMe, CD5 и CM5-R.
Технология Toshiba BiCS FLASH
Для начала стоит рассказать о технологии многослойной флеш-памяти. Необходимость увеличения плотности хранения информации существовала на протяжении всей истории накопителей, и флеш-память не стала исключением. Существует три способа наращивания плотности хранения для NAND-памяти: уменьшение техпроцесса, увеличение количества хранимых бит в каждой ячейке и упаковка чипов «в стопку». Последний способ является самым эффективным, хоть и сложным в разработке. Внедрение нового техпроцесса занимает много времени, требует замены дорогостоящего оборудования, при этом темпы уменьшения техпроцесса замедлились, так как для NAND уменьшение техпроцесса ведёт к снижению ресурса и надёжности, что требует компенсации. Увеличивать количество бит на ячейку без негативных последствий тоже нельзя. Все основные производители NAND лишь относительно недавно преодолели проблемы производительности TLC и внедрили QLC, но последняя пока что предназначена в первую очередь для десктопных накопителей. 3D-технология была не менее сложной в освоении (технологию BiCS Toshiba анонсировала ещё в 2007 году), но и результат впечатляет: в 2017 году Toshiba представила первые образцы 64-слойной памяти, чуть позже — 96-слойной TLC и QLC.
Серийное производство 96-слойной TLC NAND с впечатляющей плотностью размещения данных в 256 гигабит на чип началось в середине 2018 года. Помимо очевидных плюсов в виде снижения стоимости за гигабайт за счёт повышенной плотности многослойной компоновки инженеры Toshiba обещают повышение надёжности (за счёт увеличения расстояний между ячейками) и снижение энергопотребления.
Серверные SSD Toshiba в 2019 году
Серверные SSD в данный момент разделены у Toshiba на две категории: «накопители для предприятий» и «накопители для датацентров». Для первой категории производитель делает упор на производительность и ресурс, для второй — на энергоэффективность. Во всех накопителях при этом реализована защита данных при отключении питания. Внутри категорий накопители Toshiba разделены на несколько групп в зависимости от ресурса.
10/25 DWPD:
- PM5-M. Новая линейка с интерфейсом SAS на основе BiCS Flash TLC с 10 DWPD. По характеристикам видно, что при грамотном подходе на основе TLC можно создавать высокопроизводительные накопители с большим ресурсом.
- PX05SM и PX05SH. Первая линейка по объёмам и ресурсу соответствует новой PM5-M, так что вскоре можно ожидать её снятия с производства, а вот PX05-SH с ресурсом в 25 DWPD ещё долгое время будет оставаться востребованным. Накопители с ресурсом свыше 10 DWPD исчезли из портфолио других крупных производителей, так что здесь Toshiba практически остаётся монополистом.
- NVMe-накопители CM5-V в форм-факторах U.2 и плат расширения PCIe. Накопители на основе BiCS Flash объёмом от 800 до 6400 ГБ.
- PM5-V и PX05SV. PM5-V — новое поколение на BiCS, которое, скорее всего, вытеснит основанные на MLC PX05SV.
- NVMe-накопители CM5-R в форм-факторах U.2 и плат расширения PCIe. Накопители на основе BiCS Flash объёмом от 960 до внушительных 15360 ГБ. Один из них, CM5-R, участвует в тестировании.
- PM5-R и PX05SR. По аналогии с другими линейками, PM5-R — аналог CM5-R с интерфейсом SAS, PX05SR отстаёт по производительности и максимальному объёму (4 ТБ вместо 15,36).
- PX05SL — младшая линейка с интерфейсом SAS и ресурсом 0,5 DWPD.
В категорию накопителей для датацентров переместились SSD с интерфейсом SATA – HK6-V, HK6-R и HK6-DC. Эта линейка пришла на смену очень удачным накопителям HK4R и HK4E, которые на протяжении нескольких лет занимали одни из первых мест по соотношению цена производительность в сегменте бюджетных SATA SSD. Остальные накопители в категории используют интерфейс NVMe, ведь речь идёт о повышении эффективности.
- CD5 — линейка накопителей в форм-факторе U.2, объёмы от 960 до 7680 ГБ. Точный ресурс не указан, он обозначен как «< 1 DWPD».
- XD5 в форм-факторах M.2 и U.2. По назначению эта линейка частично пересекается с CD5, но тут уменьшено энергопотребление (7 Вт в активном режиме, чтобы вписаться в ограничения компактного M.2). M.2-разновидность в данном случае имеет длину 110 мм (форм-фактор M2-22110) — некоторые платы позволяют установить максимум 80-мм платы.
- XD6 — модель, которая выйдет в 2020 году и заменит XD5. Те же объёмы и ресурс, но планируется в два раза увеличить производительность случайного чтения, до полумиллиона IOPS.
Toshiba CD5
Характеристики
- Объём: 960, 1920, 3840, 7680 ГБ
- Форм-фактор: 2,5″, высота 15 мм (U.2)
- Интерфейс: PCIe 3.0, ×4; поддержка спецификации NVMe 1.3a
- Заявленная производительность (для модели 7680 ГБ)
- Последовательный доступ: чтение — 3140 МБ/с, запись — 1980 МБ/с
- Случайный доступ (блок 4 КиБ): чтение — 550 000 IOPS, запись — 50 000 IOPS
- Ресурс: < 1 DWPD
- Гарантийный срок: 5 лет
Официальная спецификация.
Toshiba CM5-R
Характеристики
- Объём: 960, 1920, 3840, 7680, 15360 ГБ
- Форм-фактор: 2,5″, высота 15 мм (U.2)
- Интерфейс: PCIe 3.0, ×4; поддержка спецификации NVMe 1.3a
- Заявленная производительность (для модели 7680 ГБ)
- Последовательный доступ: чтение — 3350 МБ/с, запись — 3040 МБ/с
- Случайный доступ (блок 4 КиБ): чтение — 770 000 IOPS, запись — 80 000 IOPS
- Ресурс: 1 DWPD
- Гарантийный срок: 5 лет
Официальная спецификация.
Под повышением эффективности в накопителях на основе многослойной памяти TLC подразумевается не только снижение цены (и вместе с ней — увеличение соотношения объём/цена и производительность/цена), но и снижения энергопотребления. Вместо максимально возможных для накопителей в форм-факторе U.2 25 ватт, показателя, к которому накопители предыдущих поколений приближались вплотную, новые SSD потребляют 6 и 13 Вт. Характерных чёрных радиаторов в задней части корпуса тут уже нет, температура даже при минимальном охлаждении во время тестов не превышала 45 градусов.
Тестирование
Условия тестирования
Конфигурация тестового стенда:- Процессор Intel Xeon E5-2630 V4 (10 ядер, 2,2 ГГц, HT включен)
- 32 ГБ памяти
- Системная плата Supermicro X10SRi-F (1x socket R3, Intel C612)
- CentOS Linux 7.6.1810
- Для генерации нагрузки применялся FIO версии 3.14
- Toshiba CD5 7680 ГБ (KCD51LUG7T68)
- Toshiba CM5-R 7680 ГБ (KCM51RUG7T68)
Использованы модифицированные тесты из SNIA Solid State Storage Performance Test Specification v2.0.1. Данная спецификация описывает алгоритмы различных тестов и формат отчетов. Ниже приведены параметры тестов и отличия от SNIA PTS:
- IOPS Test. Измеряется количество IOPS (операций ввода-вывода в секунду) для блоков различного размера (1024 КиБ, 128 КиБ, 64 КиБ, 32 КиБ, 16 КиБ, 8 КиБ, 4 КиБ, 0,5 КиБ) и случайного доступа с различным соотношением чтение/запись (100/0, 95/5, 65/35, 50/50, 35/65, 5/95, 0/100). Параметры: 16 потоков с глубиной очереди 8. Отличие от спецификации — из теста был исключён блок 0,5 КиБ (512 байт).
- Throughput Test. Тестируется пропускная способность при последовательном доступе: чтение и запись блоками 1 МиБ и 128 КиБ.
- Latency Test. Измеряется значение средней и максимальной задержки для различных размеров блока (8 КиБ, 4 КиБ, 0,5 КиБ) и соотношений чтение/запись (100/0, 65/35, 0/100) при минимальной глубине очереди (1 поток с QD=1). Отличия от спецификации:
- исключён блок 0,5 КиБ
- вместо однопоточной нагрузки с очередями 1 и 32 нагрузка варьируется по количеству потоков (1, 2, 4) и глубине очереди (1, 2, 4, 8, 16, 32) для СХД, массивов, одиночных накопителей SAS и SATA. Для NVMe и all-flash конфигураций используется большее количество потоков с глубиной очереди до 128.
- вместо соотношения 65/35 используется 70/30
- приводятся не только средние и максимальные значения, но и перцентили 99%, 99,9%.
- для выбранного значения количества потоков строятся графики зависимости задержки (99%, 99,9% и среднего значения) от IOPS для всех блоков и соотношений чтение/запись
Для первых трех тестов проводится серия замеров из 25 раундов длительностью 1 минута каждый. Перед тестом производится зануление (в данном случае — secure erase при помощи утилиты hdparm), затем — предварительная нагрузка: последовательная запись блоками 128 КиБ до достижения 2-кратной емкости. Далее выбирается по одной из величин окно установившегося состояния (4 раунда), которое проверяется построением графика. Критерии установившегося состояния: линейная аппроксимация в пределах окна не должна выходить за границы 90%/110% среднего значения.
SNIA PTS: IOPS test (IOPS при варьировании размера блока и соотношения чтение/запись)
Тут сразу следует оговориться, что мы не предусмотрели в этот раз достаточного количества ресурсов. Ввод-вывод в блочных устройствах, даже с учётом оптимизаций NVMe, достаточно сильно нагружает процессор. Для тестирования CD-5 единственного 10-ядерного Intel Xeon E5-2630 V4 с базовой тактовой частотой вполне достаточно (нагрузка при 100% доступе на чтение блоками 4 КиБ была менее 50%), то в случае с CM5-R нагрузка приблизилась к 100%, при этом не сохранились нагрузки по ядрам. Тут следовало использовать как 14–16 ядер с более высокой тактовой частотой, и использовать в тесте количество потоков по числу ядер с учётом Hyper-Threading. Причём крайне желательно, чтобы это был один процессор. Так как контроллер PCIe является частью процессора, то при использовании высокопроизводительных устройств (накопители, контроллеры Ethernet и Infiniband) следует учитывать привязку слотов расширения к процессорам, так же, как мы учитываем NUMA при работе с памятью.
Toshiba CD5
Табличные данные:Размер блока, КиБ | Чтение/запись | ||||||
0/100 | 5/95 | 35/65 | 50/50 | 65/35 | 95/5 | 100/0 | |
4 | 205848 | 91678 | 304683 | 241511 | 296083 | 351779 | 497902 |
8 | 187268 | 46830 | 165521 | 120714 | 148137 | 142568 | 298281 |
16 | 96881 | 50605 | 58502 | 49327 | 74084 | 50672 | 102026 |
32 | 50518 | 27052 | 17982 | 28993 | 37048 | 46975 | 26233 |
64 | 22789 | 3829 | 10886 | 17062 | 18510 | 37492 | 22447 |
128 | 8333 | 3927 | 5418 | 8112 | 9257 | 15766 | 21188 |
1024 | 517 | 529 | 391 | 1718 | 1155 | 1433 | 2811 |
Toshiba CM5-R
Табличные данные:Размер блока, КиБ | Чтение/запись | ||||||
0/100 | 5/95 | 35/65 | 50/50 | 65/35 | 95/5 | 100/0 | |
4 | 311008 | 334946 | 545323 | 593754 | 596171 | 708111 | 752167 |
8 | 305462 | 249361 | 323601 | 339444 | 340872 | 388749 | 394631 |
16 | 180080 | 138188 | 168206 | 176329 | 183779 | 199478 | 197895 |
32 | 92328 | 63423 | 85200 | 88654 | 95513 | 100410 | 99268 |
64 | 48467 | 43752 | 45661 | 46314 | 49002 | 50336 | 49642 |
128 | 24602 | 20221 | 22454 | 24007 | 25303 | 25644 | 25270 |
1024 | 3090 | 2285 | 2670 | 3129 | 3173 | 3215 | 3227 |
Оба накопителя показали отличные результаты. Производительность на чтение оказалась чуть ниже заявленной из-за нехватки производительности процессора. Производительность на запись, как обычно в этом тесте, наоборот, существенно выше, так как данный тест не предполагает выхода в режим насыщения.
Latency vs IOPS test
Данные усреднялись по четырём из 25-ти раундов длительностью 35 секунд (5 «прогревочных» + 30-секундная нагрузка) каждый. Для графиков выбрана серия значений с глубиной очереди от 1 до 32 при 1–4 потоках (хотя для накопителей SATA достаточно максимальной глубины очереди 32 при одном потоке). По мере увеличения глубины очереди растёт задержка, и по подобному графику можно оценить не просто абстрактное число IOPS, а производительность с учётом задержки. На одном графике объединены показатели обоих накопителей.
Средняя задержка:
Нагрузка на чтение даже с суммарной глубиной очереди в 128 (4 потока с QD=32) не приводит к росту средней задержки выше 200 микросекунд. Так что для таких накопителей при тестировании следует увеличивать максимальную глубину очереди в несколько раз до достижения задержки хотя бы в 400–500 микросекунд. Но в данном случае время тестирования было жёстко ограничено и не была учтена высокая нагрузка на процессор.
Этот тест наглядно демонстрирует разницу между CD5 и CM5-R. Если первый заявлен как накопитель для нагрузок на чтение (даже для ресурса на запись вместо точного значения указано «< 1 DWPD») и уже при добавлении 30% записи демонстрирует лишь ограниченные возможности по масштабированию, то CM5-R вполне способен работать при смешанных нагрузках.
99,9%-перцентиль задержки:
Существенная разница между накопителями наблюдается даже при 100% чтении. По заявленным характеристикам этого не видно — сравнивая 770 против 550 тысяч IOPS, можно прийти к выводу о достаточности любого из этих накопителей для задач, требующих высокой производительности доступа на случайной чтение небольшими блоками. Но помимо количества операций ввода-вывода не менее важной является также и способность накопителя обеспечить их с как можно меньшей задержкой, причём её значение должно быть предсказуемо небольшим. Toshiba CD5 и CM5-R способны обеспечить, к примеру 400 тысяч IOPS, но при этом CM5-R демонстрирует в два раза меньшее значение 99,9-перцентиля* задержки.
*Значение N%-го перцентиля величины в данном случае означает, что N% всех измеренных значений величины меньше указанного значения.
Заключение
Новые твердотельные накопители Toshiba, основанные на технологии BiCS Flash, благодаря сочетанию больших объёмов и высокой производительности на чтение способны составить серьёзную конкуренцию накопителям предыдущих поколений с интерфейсом SATA.
ADATA Ultimate SU800: современный 3D NAND
Начнем с азов: в представленном накопителе использована память 3D NAND, которая, как известно, существенно увеличивает плотность размещения ячеек памяти. А уже за счет этого автоматически снижается стоимость хранения данных, что, по идее, должно было сделать хранилища данного типа массовыми, распространенными и повсеместными.
Но увы, долгожданная экспансия задержалась: нет, вендоры-то готовы начать производство и отгрузку «хоть сейчас», однако им банально не хватает микросхем той самой памяти! Отчего ее выпуск затормозился — можно лишь гадать; но причины сугубо технические. Дефицит вызван сложностями производства, большим количеством брака, неготовностью оборудования — причин множество, но результат — один: SSD-накопители на основе памяти 3D NAND присутствуют в модельном ряду только изготовителей модулей памяти. И вдруг — неожиданное появление на рынке ADATA Ultimate SU800 прозвучало, как гром среди ясного неба: это означает, что конструкторам удалось договориться с производителем о поставках микросхем, и, вполне возможно, вскоре на рынке станут массово появляться вожделенные накопители — быстрые, надежные и недорогие.
Но чтобы не гадать, посмотрим, что представляет собой новинка. Прежде всего — память. Ну конечно же. Micron MT29F768G08EECBBJ4-37:B! Давние партнерские отношения принесли свои плоды и в этот раз — именно 32-слойная (384 Гбит) TLC 3D NAND и установлена в накопителе. Дополняет ее буфер, LDDR3-1600, емкостью 512 Мбайт, а управляет этим «бутербродом»… SMI SM2258! Сложно сказать, насколько это неожиданно: «однокристалка» изначально создавалась для работы с классической «одноэтажной» TLC NAND, но в последствии в Micron объяснили, что за счет технологии NAND-Xtend и продвинутых алгоритмов SLC-кеширования стало возможным задействовать ее в качестве базовой платформы для памяти нового типа. Более того, Micron предложила всем желающим приступить к проектированию собственных версий накопителей, воспользовавшись микроконтроллером с готовой прошивкой.
Видимо, в ADATA так и поступили, пренебрегая тем, что на выходе получить самую высокую производительность не выйдет: все-таки SM2258 не самый шустрый среди 32-битных RISC-архитектур. Но в результате максимальная скорость линейного чтения у SU800 достигает 550 Мбит/с, а произвольного чтения — 85000 IOPS. Показатели для записи в первом случае меньше всего лишь на 50 Мбит/с, во втором — вообще не отличаются. Конечно, это не дотягивает до расчетных 90К IOPS, но и так очень, очень неплохо. Рекомендованная цена на накопитель емкостью 512 Гбайт объявлена в $140, среднее время наработки на отказ оценено в 2 млн ч. Форм фактор накопителя — ожидаемые 2,5 дюйма, толщина корпуса — 7 мм.
Изучение показало, что корпус составного типа: верхняя половина пластиковая, нижняя — металлическая. Это понятно: металлическая половинка выполняет еще и функции радиатора для контроллера. То, что конструкция референсная, сразу понятно по плате: она имеет восемь посадочных мест под микросхемы памяти, из которых устанавливается ровно столько, сколько требуется для продажной емкости хранилища. Соответственно, в версии 512 Гбайт их шесть штук, а поскольку в каждой два модуля, то емкость накопителя составляет 576 Гбайт. Логично: надо же иметь запас на случай ремонта поврежденных ячеек! Запас, кстати, солидный, почти 100 Гбайт, так что надежность обещает быть высокой.
Чтобы пользователь имел возможность контролировать этот процесс, разработана специальная фирменная утилита — ADATA SSD Toolbox. С ее помощью можно провести тестирование памяти накопителя, посмотреть информацию S.M.A.R.T., а также отключить ненужные службы операционной системы Windows. Впрочем, явного прироста производительности «оптимизация» не продемонстрировала, но это в тестах, а субъективно компьютер стал работать немного быстрее. Возможно, тот самый «эффект помытой машины», спорить не стану. Что же касается производительности, она на уровне заявленной разработчиками, что, с одной стороны, хорошо. А с другой — становится очевидным, что контроллер все-таки слабоват для ультрасовременной памяти и не позволяет в полном объеме оценить ее преимущества.
Ну что же, пора итоги подводить. Появление первого SSD на 3D TLC NAND Flash — знаковое событие: очевидно, что Micron таким нехитрым образом продемонстрировала собственную готовность к поставкам платформы для создания ультрасовременных бюджетных накопителей вендорам второго эшелона. Но пока неясно, готова ли она столь же щедро раздавать сами микросхемы памяти по демпинговым ценам в востребованных количествах? Пока цена на ADATA Ultimate SU800 откровенно высоковата, но ведь и он — первый из могикан, накопитель нового поколения, который уже пошел в серию. И его можно вполне пощупать и оценить в реальных конфигурациях, что и рекомендую проделать самым нетерпеливым.
SSD от Intel, качество и надежность.
В этом обзоре я буду рассказывать о твердотельном накопителе от компании Intel. Собирался компьютер другу и был выбор между несколькими SSD, это Adata S511, Corsair Force CSSD-F120GBGT-BK, и собственно купленный INTEL 330 Series SSDSC2CT120A3K5. Все они 120Гб. Выбор пал на intel, так как Adata у меня у самого, а хотелось испробовать, что то новенькое, а вот почему не Corsair, потому что в нем, на сколько я понял, используется более старый контроллер SandForce, поэтому Intel. Забегая вперед я скажу, что я не прогадал и диск, правда замечательный, далее расскажу мой опыт и перекрестно некоторую информацию с других ресурсов которую я нашел по этому устройству.
Внутренности:
Поставляется диск в красивой упаковочке, традиционной для Intel. Упаковка рассчитана для разных емкостей диска, потому как объем указан на наклейке. На задней стороне упаковки на основных языках повествуется, что в данной упаковке находится твердотельный накопитель Intel для ПК (настольного или мобильного), что на него распространяется 3х летняя ограниченная гарантия, текст которой находится внутри. Русский текст находится на боковине, ну хоть не обделили =).
На задней стороне так же описан комплект поставки. Упаковка запечатана специальной липкой лентой, так чтобы следы вскрытия сразу были видны.
Внутри упаковки находится прямоугольный картонный бокс, где все и лежит. Сразу предупреждение о том, что надо снять с тела статическое напряжение, чтобы не повредить диск, чего как бы я не делал =).
Как видно на фото, картонный бокс имеет несколько отсеков как бы, диск лежит отдельно, внизу него находились наклейка, руководство и диск с программным обеспечением. Заглядываем далее и обнаруживаем тот самый адаптер, который нам позволит вставить 2,5 дюймовый SSD в стандартную корзину для 3,5 дюймовых дисков. Весь комплект выглядит так:
SSD 120ГБ Intel, Sata кабель, Переходник питания с MOLEX на Sata, Диск с ПО, наклейка, инструкция, адаптер для корзины HDD, Болтики чтобы прикрутить SSD к адаптеру и болтики чтобы прикрутить адаптер к корзине HDD.
SSD естественно тонкий, но бывают и еще тоньше. Ширина составляет 9мм! В некоторые ноутбуки он не полезет, будьте аккуратны.
Сам я не открывал внутренности, но нашел ресурс где люди сделали это за меня, так что фото внутрянки не мои — позаимствованы, ссылки в конце.
На печатной плате располагается сам контроллер SandForce SF-2281 (о нем ниже), и микросхемы памяти типа MLC, 8 штук с одной стороны платы, построенные на 25nm чипах 29F16B08CCME2 имеющих объем 16GB каждый. Intel указывает что эта память лучшая из лучших, ведь для себя она может позволить отбирать только «сливки», потому что Intel делает NAND память самостоятельно и чтобы вы не купили вы можете быть уверены в наивысшем качестве. Вот такой вот маркетинг, ну да и ладно, будет на это надеяться.
Как заявляют некоторые источники память 29F16B08CCME2 является синхронной, что, несомненно, радует. Такая же память стоит в более дорогих моделях и сериях от Intel.
«Внутри Intel SSD 330 Series 120GB находится восемь 16GiB синхронных флеш-микросхем Intel 29F16B08CCME2 MLC NAND на одной стороне. В каждой микросхеме находится по два 8GiB-кристалла. Физический объём накопителя составляет 128GiB, из которых 16GiB (12,5%) отведены в резерв. Форматированная ёмкость — 111GiB. Дизайн печатной платы Intel SSD 330 полностью совпадает с платой Intel SSD 520. Более того, маркировка микросхем 330-й серии совпадает с маркировкой микросхем 520-й серии. Отличием является ресурс 3,000 циклов записи флеш-микросхем 330-й серии, тогда как ресурс флеш-микросхем 520-й серии составляет 5,000 циклов записи. Второе отличие — в версии прошивки 300i для Intel SSD 330 и 400i для Intel SSD 520.»
Немного главной информации о контроллере SandForce 2281 и об использовании синхронной и асинхронной памяти:
«В основе работы всех контроллеров SandForce заложена оригинальная идея сжатия информации «на лету» перед её записью во флэш-память. Хотя эта технология требует применения более сложной логики в самом контроллере, она имеет сразу несколько неоспоримых преимуществ. Конечно, главное с точки зрения пользователя — это высокая производительность, так как при сжатии данных уменьшаются обращения к флэш-памяти. Но это неминуемо влечёт за собой и другой полезный побочный эффект — рост надёжности, так как при работе в составе SandForce-диска флэш-память испытывает меньшее количество циклов перезаписи. Ещё одна важная особенность SandForce — технология RAISE, которая отводит часть доступной памяти под хранение контрольных сумм данных, что позволяет уверенно восстанавливать записанную информацию при ошибках чтения из флэша.
Иными словами, дизайн SandForce хорошо приспособлен для работы с недорогой NAND-памятью, которая может иметь не только невысокое качество, но и низкую скорость. Даже в том случае, если в диске будут использоваться асинхронные микросхемы с интерфейсом ONFI 1.0 и с пропускной способностью 50 Мбайт/с, восьмиканальная архитектура контроллера SF-2281 позволит получить вполне приемлемую производительность диска на уровне 400 Мбайт/сек на несжимаемых данных. Если же данные будут иметь более привычную для настольных систем избыточную структуру, то эта скорость повысится и даже сможет выбрать всю пропускную способность интерфейса SATA-600. Такие свойства контроллера SF-2281 толкают производителей на поиски оптимального баланса между быстродействием и ценой и обеспечивают разнообразие продуктов.»
По моему мнению, это очень полезная информация, для выбора SSD, конечно разобраться в этом не совсем легко, но нужно обязательно иметь в виду, что данный контроллер будет хорош при работе, как с асинхронной, так и с синхронной памятью. Разница может быть не совсем видна на глаз, особенно по сравнению с HDD, но приятно понимать, что у тебя быстрее, чем у других. =)
Но на сколько я понял очень сложно найти информацию о пропускной способности памяти.
На счет продолжительности жизни этого SSD Intel гарантирует работоспособность в течение трех лет, при суммарном объеме записи 20ГБ в день.
Тест:
Тест проводился в программе CrystalDiskMark. Картинка показывает чтение/запись на случайных (несжимаемых) данных. Почему значение 160Мб/с? Это потому что именно несжимаемые данные, если тест провести на сжимаемых данных, то скорость будет в районе 470МБ/с. Но реалии таковы что медленней 160 МБ/с скорость не опустится. Но тут более интересны строки 4K и 4KQ32 и они имеют отличные значения, по сравнению с обычными HDD.
Использование:
В UEFI (новый BIOS) необходимо выставить режим AHCI в режиме работы SATA. Это важно, потом сменить будет очень тяжело. Windows 7 64bit встала без каких либо проблем. Windows автоматически выключает ряд твиков, которые можно отключить вручную, для того чтобы на SSD не писались лишние данные.
TRIM например включается автоматически, чтобы проверить необходимо:
• В меню «Пуск» в поле поиска вводим cmd. • Кликаем правой кнопкой мыши по исполняемому файлу cmd.exe и выбираем «Запуск от имени администратора».
• В командной строке вводим «fsutil behavior query DisableDeleteNotify» (без кавычек).
• Если компьютер выдаёт DisableDeleteNotify = 0, поддержка TRIM включена.
• Если выводится сообщение DisableDeleteNotify = 1, поддержка TRIM отключена.
Советую отключить Восстановление системы, потому что много мелких файлов пишется в этом случае и восстановление обычно не помогает при каких либо соях. Советую создавать образ системы/ всего диска, где находится система сторонними программами, такими как Acronis. У меня Восстановление было отключено сразу. Найти это можно:
• Кликаем правой кнопкой мыши по значку «Компьютер» в меню «Пуск» и выбираем «Свойства».
• Выбираем вкладку «Защита системы».
• Кликаем по кнопке «Настроить».
• Устанавливаем флажок напротив пункта «Отключить защиту системы».
Индексация данных обычно включена, и стоит её выключить. Для SSD это мало нужная штука.
• Кликните левой кнопкой мыши по пункту «Компьютер» в меню «Пуск».
• Кликните правой кнопкой по иконке вашего SSD-накопителя и выберите «Свойства».
• Снимите флажок «Разрешить индексирование содержимое файлов на этом диске в дополнение к свойствам файла».
• Должно появиться окно предупреждения — отменять индексацию только для выбранного диска либо для всех вложенных папок и каталогов. Выбираем второй вариант, нажимаем ОК.
На счет отключения файла подкачки у меня есть мнение, что этого не стоит делать для обычных пользователей. Система обычно сама решает, сколько памяти ей нужно и если вы не уверены в своих возможностях то не трогайте это, если уверены, то будьте готовы столкнуться к возможным проблемам со стабильностью системы. Я для себя не отключал файл подкачки, проблем с падением производительности нет. Пробовал отключать, прироста в производительности не обнаружил, но нестабильность присутствовала, при том, что оперативной памяти 8ГБ.
Настройка электропитания. Советую не отключать SSD в простое системы.
• Заходим в «Панель управления».
• Выбираем «Электропитание», затем разворачиваем список «Показать дополнительные планы электропитания».
• Выбираем профиль «Высокая производительность» или «Сбалансированный режим».
• Кликаем мышью по «Настройке плана электропитания», кликаем по «Изменить дополнительные параметры электропитания».
• В появившемся диалоговом окне разворачиваем список «Жёсткий диск».
• В окошке «Отключать жёсткий диск через» вводим 0, что означает «Никогда».
• Нажимаем ОК.
Остальное все по вашему желанию, есть еще пара твиков, но их я никак не трогал и даже не смотрел в их сторону, ибо незачем.
Intel предлагает для своего продукта поддержку в виде программного обеспечения, которую можно скачать с официального сайта.
«»
Советую скачать Intel® Solid-State Drive Toolbox. Там вы сможете просмотреть состояние Вашего SSD, установить последнюю прошивку, есть функция как раз настройки SSD и системы под SSD. Все необходимые операции. Я посчитал, что ПО очень удачно и нужно.
Общий вывод: отличный диск для системы, очень хороший, полный комплект, ПО на хорошем уровне, приятно использовать данное устройство. 10 из 10. Цена может не радовать, на данный момент есть более дешевые конкуренты, но это все же Intel.
Ресурсы, использованные во время/для написания обзора (надеюсь что не будет такого, что скажите, что я все стырил со сторонних сайтов, потому что обзор писал сам, информацию тоже было не легко найти, особенно про чипы):
http://www.fcenter.ru/online.shtml?articles/hardware/hdd/31944
http://my-ssd.ru/st/Intel_SSD_330_Series
http://www.in4line.com/2012/05/22/test-ssd-diska-intel-330-maple-crest-ili-skaz-o-tom-kak-intel-sandforce-2-pobedil.html
http://communities.intel.com/thread/24418
[http://www.storagereview.com/intel\_ssd\_330\_reviewhttp://www.nix.ru/support/faq/show\_articles.php?number=818&faq\_topics=NAND-SSD-ONFI](http://www.storagereview.com/intel_ssd_330_reviewhttp://www.nix.ru/support/faq/show_articles.php?number=818&faq_topics=NAND-SSD-ONFI )
http://www.xtremesystems.org/forums/showthread.php?274523-Some-questions-for-25nm-IMFT-NAND-flash
http://nanogate.blogspot.com/2012/04/intel-ssd-330-series.html
http://nanogate.blogspot.com/2011/08/ssd.html
http://www.hardcoreware.net/intel-520-series-ssd-240gb-review/3/
http://www.thg.ru/storage/ssd_tweaks/print.html
Спасибо за внимание!
Тест надежности твердотельных накопителей: как долго прослужат твердотельные накопители?
Твердотельные накопители, или твердотельные накопители, сейчас становятся такими же повсеместными, как и жесткие диски, или жесткие диски, которые когда-то были. Хотя многие люди изначально считали их слишком дорогими, структура ценообразования изменилась, что позволило инженерам и производителям оборудования использовать твердотельные накопители как для коммерческих, так и для промышленных продуктов. Тем не менее, многие люди постоянно задаются вопросом не о стоимости, а о долговечности. Если вы подумываете о твердотельном накопителе, вы с облегчением узнаете, что эти диски служат как минимум столько же, сколько жесткие диски, а зачастую они более надежны.Поскольку твердотельные накопители присутствуют на рынке в течение длительного периода времени, существует значительный объем данных, подтверждающих это. Как проходит тест надежности SSD? Вы можете быть удивлены тем, насколько надежными могут быть эти диски.
Факторы, влияющие на долговечность накопителя
Хотя время может быть фактором для твердотельного накопителя, как и для любого другого компонента компьютера, надежность твердотельных накопителей обычно зависит от типа памяти и способа сохранения блоков памяти. данные, а также как часто данные записываются и перезаписываются на устройстве.С точки зрения типов памяти наиболее распространены SLC и MLC. SLC, или одноуровневая память ячейки, обычно используется в промышленных приложениях. В этом виде памяти на каждую ячейку памяти хранится один бит данных, что делает его самым быстрым и надежным форматом для твердотельных накопителей. MLC — или многоуровневая ячейка — память хранит два бита данных на ячейку. Это дополнительное хранилище на ячейку приводит к немного меньшей скорости и надежности. Такой тип SSD обычно встречается в потребительских товарах.
Блоки памяти в твердотельных накопителях неэффективно используются.В результате SSD-диски служат дольше, если у них есть алгоритм выравнивания износа для обеспечения сбалансированного использования блоков. Что касается операций, на долговечность SSD влияют только операции записи, а не операции чтения. SSD изнашивается быстрее, когда он используется в приложении с высоким уровнем операций записи по сравнению с приложениями, которые в основном включают операции чтения.
Информация о тесте надежности SSD
Если вы заинтересованы в использовании SSD в своем приложении, вы можете рассмотреть возможность индивидуального тестирования надежности.Delkin может выполнить тест надежности SSD, чтобы помочь вам оценить, какой вариант хранения будет наиболее подходящим для нужд вашего приложения.
У вас есть вопросы о надежности и SSD? Пусть Делкин объяснит, чего ожидать и как мы можем помочь в тестировании устройств. Свяжитесь с нашей командой сегодня, чтобы обсудить вашу заявку.
(PDF) Измерение и анализ данных о надежности SSD на основе ускоренных испытаний на долговечность
Электроника 2019,8, 1357 18 из 19
22.
Schroeder, B .; Торговец, А .; Лагисетти, Р. Надежность твердотельных накопителей на базе nand: что говорят нам полевые исследования. Proc. IEEE
2017,9, 1751–1769.
23.
Cai, Y .; Ghose, S .; Luo, Y .; Mai, K .; Mutlu, O .; Харач, Э. Уязвимости в флэш-памяти mlc nand
программирование: экспериментальный анализ, эксплойты и методы устранения. В материалах Международного симпозиума IEEE
по архитектуре высокопроизводительных компьютеров (HPCA), Остин, Техас, США,
4–8 февраля 2017 г .; стр.49–60.
24.
Im, J .; Jeong, W .; Kim, D .; Nam, S .; Shim, D .; Чой, М .; Юн, H .; Kim, D .; Kim, Y .; Парк, H .; Kwak, D .;
Парк, С .; и другие. 7.2 флэш-память v-nand емкостью 128 ГБ 3b / cell со скоростью ввода-вывода 1 ГБ / с. В материалах Международной конференции по твердотельным схемам (ISSCC) IEEE
, Сан-Франциско, Калифорния, США, 22–26 февраля 2015 г .; С. 1–3.
25.
Kang, D .; Jeong, W .; Kim, C .; Kim, D .; Чо, Й .; Канг, К .; Ryu, J .; Канг, К .; Lee, S .; и другие.256 ГБ 3 байт / ячейка
флэш-память v-nand с 48 сложенными слоями wl. IEEE J. Solid-State Circuits 2017,1, 210–217.
26.
Micheloni, R .; Aritome, S .; Криппа, Л. Архитектура массивов для 3-мерной флэш-памяти. Proc. IEEE
2017
, 9,
1634–1649.
27.
Парк, К .; Nam, S .; Kim, D .; Kwak, P .; Ли, Д .; Choi, Y .; Чой, М .; Kwak, D .; Kim, D .; Kim, M .;
Park, H .; и другие.
Трехмерная вертикальная флэш-память mlc 128 ГБ с 24 слоями, уложенными в стопку, и высокоскоростное программирование со скоростью 50 МБ / с.
.IEEE J. Solid-State Circuits 2015,1, 204–213.
28.
Kim, C .; Чо, Дж .; Jeong, W .; Парк, И .; Парк, H .; Kim, D .; Канг, Д .; Lee, S .; Lee, J .; Kim, W .; Park, J .; Ahn, Y .; и другие.
11,4 Флэш-память WL 3D V-NAND с 64-стеками, 3 бита на ячейку, 512 ГБ. В материалах конференции IEEE International
Solid-State Circuits Conference (ISSCC), Сан-Франциско, Калифорния, США, 5–9 февраля 2017 г .; С. 202–203.
29.
Tanaka, T .; Helm, M .; Вали, Т .; Ghodsi, R .; Каваи, К.; Park, J .; Yamada, S .; Pan, F .; и другие. 7.7 A 768Gb
3b / cell 3D-флэш-память NAND с плавающим затвором. В материалах конференции IEEE International Solid-State Circuits
Conference (ISSCC), Сан-Франциско, Калифорния, США, 31 января — 4 февраля 2016 г .; С. 142–144.
30.
Micheloni R .; Криппа, Л. 3D-накопители флэш-памяти NAND. В 3D Flash Memories; Micheloni R., Ed .;
Издательство: Дордрехт, Нидерланды, 2016; С. 63–83.
31.
Кацумата, Р.; Kito, M .; Fukuzumi, Y .; Kido, M .; Tanaka, H .; Komori, Y .; Ишидуки, М .; Matsunami, J .;
Fujiwara, T .; Nagata, Y .; и другие. Флэш-память BiCS в форме трубы с 16 сложенными слоями и многоуровневой ячейкой
для устройств хранения сверхвысокой плотности. В материалах симпозиума по технологии СБИС,
Гонолулу, Гавайи, США, 15–17 июня 2009 г .; С. 136–137.
32.
Lue, H .; Сюй, Т .; Hsiao, Y .; Hong, S .; Wu, M .; Hsu, F .; Lien, N .; Wang, S .; Hsieh, J .; Ян, Л.; и другие.
масштабируемая 8-слойная 3D-флеш-память TFT NAND с вертикальным затвором (VG), использующая устройство BE-SONOS
со скрытым каналом без стыков. В материалах симпозиума по технологии СБИС, Гонолулу, Гавайи, США, 15–17 июня 2010 г .;
с. 131–132.
33.
Whang, S .; Лук-порей.; Шин, Д .; Kim, B .; Kim, M .; Bin, J .; Han, J .; Kim, S .; Ли, Б .; Jung, Y .; и другие. Novel
Трехмерный двойной управляющий вентиль с окружающим плавающим затвором (DC-SF) Флэш-ячейка NAND для файлового хранилища 1 Тб
.В материалах Международного совещания по электронным устройствам (IEDM), Сан-Франциско,
CA, США, 6–8 декабря 2010 г .; С. 1–4.
34.
Compagnoni, C .; Года, А .; Spinelli, A .; Feeley, P .; Lacaita, A .; Висконти, А. Обзор эволюции технологии флэш-памяти
NAND. Proc. IEEE 2017,9, 1609–1633.
35.
Parat K .; Деннисон, К. Технология 3D NAND с плавающим затвором и CMOS под массивом. В материалах
Международного собрания электронных устройств IEEE (IEDM), Вашингтон, округ Колумбия, США, 7–9 декабря 2015 г .;
с.1–4.
36.
Venkatesan S .; Аулайхем, М. Обзор технологий 3D NAND и приглашенный доклад в Outlook.
В материалах симпозиума по технологии энергонезависимой памяти (NVMTS), Сендай, Япония,
22–24 октября 2018 г .; С. 1–5.
37.
Xiong, Q .; Wu, F .; Lu, Z .; Zhu, Y .; Zhou, Y .; Чу ý.; Xie, C .; Хуанг, П. Характеризация 3-мерных плавающих ворот nand
вспышка: наблюдения, анализ и выводы. ACM Trans. Хранение 2018,2, 1–31.
38. Spinelli, A .; Compagnoni, C .; Лакайта, А. Надежность флэш-памяти NAND: плоские ячейки и возникающие проблемы
в 3D-устройствах. Компьютеры 2017,2, 1–16.
39.
Seo, M .; Ли, Б .; Парк, С .; Эндох, Т. Новая концепция трехмерной вертикальной FG nand флэш-памяти
с использованием контрольного шлюза с раздельной боковой стенкой. IEEE Trans. Электрон. Приборы 2012,8, 2078–2084.
40.
Ma, R .; Wu, F .; Чжан, М .; Lu, Z .; Wan, J .; Се, К.Схема прогнозирования срока службы с учетом RBER для флэш-памяти NAND 3D-TLC
. IEEE Access 2019,7, 696–708.
Электроника | Бесплатный полнотекстовый | Измерение и анализ данных надежности SSD на основе ускоренного теста на выносливость
1. Введение
В настоящее время спрос на твердотельные накопители (SSD) на основе технологии NAND Flash растет на потребительском рынке, корпоративном рынке, рынке встроенных продуктов и т. Д., А твердотельные накопители широко используются в различных компьютерах. системы.С технической точки зрения все основные производители флэш-памяти сосредоточены на технологии трехмерного стекирования и 64- или 96-слойных решениях. По сравнению с 2D-планарной технологией, 3D-нанотехнология — это шаг назад, но она достигла уровня 20–30 нм или даже выше. Благодаря постоянному совершенствованию производственных технологий, рентабельность твердотельных накопителей за последние 10 лет резко возросла, и большое количество центров обработки данных начали развертывать твердотельные накопители для дальнейшей оптимизации своих услуг хранения.Твердотельные накопители
демонстрируют многомерные преимущества по сравнению с жесткими дисками, которые раньше были доминирующими в индустрии хранения данных. С точки зрения производительности и энергопотребления твердотельные накопители могут обеспечить не только более высокую скорость чтения / записи, но и лучшую производительность произвольного доступа к вводу-выводу, а твердотельные накопители меньше по размеру и потребляют меньше энергии. С точки зрения надежности отсутствие движущихся частей внутри SSD может устранить проблемы с надежностью, такие как столкновение головки, царапины на диэлектрике или электромеханический отказ шпинделя, и эти функции могут защитить SSD от физического воздействия.С другой стороны, твердотельные накопители на базе флэш-памяти NAND имеют только ограниченное количество циклов программирования / стирания (P / E), что означает, что проблема старения твердотельных накопителей неизбежна. Показатели надежности, указанные производителем, являются лишь общей гарантией. Более того, хотя средняя емкость SSD увеличивается с развитием процесса производства NAND, увеличение количества матриц также усугубляет помехи между флеш-ячейками и, таким образом, влияет на общую надежность флеш-памяти. Несмотря на то, что Hetzler et al.[1] подвергли сомнению надежность твердотельных накопителей, все больше предприятий предпочитают хранить данные на твердотельных накопителях; поэтому очень важно понимать характеристики надежности твердотельных накопителей. В последнее время было проведено несколько работ, посвященных анализу поведения при сбоях флеш-устройств в производственных средах при реальных рабочих нагрузках. В справочнике [2] изучаются отказы SSD в центре обработки данных Microsoft. Ссылка [3] посвящена неисправимым битовым ошибкам SSD в парке серверов Facebook. Ссылка [4] сообщает о различных программных и аппаратных ошибках SSD от Google.В дополнение к исследованиям, опубликованным крупными компаниями, люди также используют синтетические рабочие нагрузки и небольшое количество флеш-чипов для проведения исследований в лабораторных условиях [5]. В последние несколько лет твердотельные накопители корпоративного класса в основном состояли из флэш-памяти SLC (одноуровневая ячейка) или eMLC (многоуровневая ячейка предприятия). Сейчас многие производители выпустили твердотельные накопители 3D TLC для корпоративного рынка. Приоритет твердотельных накопителей 3D TLC в хранилищах центров обработки данных становится все выше и выше, но отсутствуют эффективные профилактические меры для дальнейшего повышения надежности твердотельных накопителей в среде центра обработки данных.Чтобы лучше понять характеристики надежности 3D TLC Flash на протяжении всего срока его службы, мы сначала разработали метод испытания на долговечность SSD и провели ускоренное испытание на долговечность с смоделированной рабочей нагрузкой из реальных приложений в лабораторных условиях (согласно JEDEC JESD218 [6] и JESD219 [ 7]) в течение нескольких месяцев мы затем изучали характеристики надежности SSD в течение всего срока службы на основе 1,5 ПБ данных.Целью данной статьи является обобщение характеристик надежности 3D TLC Flash, которые мы наблюдали в процессах тестирования и экспериментов, а также обеспечение соответствующей основы для повышения надежности хранения SSD в среде центра обработки данных и исследования надежности. меры обеспечения безопасности, такие как прогнозирование отказов SSD.Анализируя данные, полученные в ходе экспериментов, мы обнаружили следующие явления. Во-первых, неисправимые битовые ошибки не возникают на ранних этапах срока службы SSD, но внезапно увеличиваются до большого числа, когда SSD приближается к пределу выносливости, на что влияют высокие рабочие температуры и данные, записанные на SSD. Во-вторых, контроллер 3D TLC SSD обычно интегрирован с алгоритмом сжатия, и усиление записи будет меньше 1, но будет большое увеличение, когда SSD приблизится к пределу выносливости.В-третьих, при нормальных условиях рабочая температура SSD будет соответствовать естественным колебаниям температуры в пределах определенного диапазона, но устойчивое состояние высокой рабочей температуры возникает, когда SSD приближается к пределу выносливости. Затем SSD перейдет в режим «защиты от записи», чтобы больше нельзя было записывать данные, и вернется к обычной рабочей температуре. Кроме того, коэффициенты корреляции Пирсона, Спирмена и Кендалла для подсчета понижения передачи SATA между неисправимыми ошибками, записью NAND и т. Д. Приблизительно равны 0.2 или меньше; поэтому мы считаем, что изменение этих атрибутов мало связано с надежностью NAND Flash, и они не подходят для использования в качестве основных показателей для определения того, выйдет ли из строя SSD.
Эта статья организована следующим образом. В разделе 2 рассматривается соответствующая работа. В разделе 3 дается обзор базовой технологии. В разделе 4 рассматривается методология измерения. Раздел 5 представляет графическое отображение и анализ данных SMART. В разделе 6 обсуждается корреляционный анализ атрибутов SMART.Раздел 7 подводит итоги выводов.2. Сопутствующие работы
Многие исследования были сосредоточены на надежности микросхем флэш-памяти, которые включают множество аспектов. В источниках [5,8,9,10,11,12,13] изучалась тенденция отказов микросхем флэш-памяти. В других исследованиях анализировались различные факторы сбоев флэш-памяти, такие как нарушение чтения [14,15,16,17], нарушение программы [9,18], сохранение данных [10,19] и сбои питания [20,21]. Кроме того, существуют исследования, изучающие влияние различных факторов на частоту появления ошибок флеш-чипов [13].Meza et al. [3] исследовали отказы SSD в парке серверов Facebook и использовали неисправимые ошибки в качестве важного показателя для выявления отказов SSD. Schroeder et al. [22] изучали отказы SSD в центре обработки данных Google и придерживаются противоположного мнения, чем Меза [3]; они считают, что генерация неисправимых ошибок не имеет непосредственного отношения к программе и стиранию SSD, поэтому UBER (коэффициент неисправимых битовых ошибок) не является правильной метрикой сбоев. Во многих исследованиях сбои SSD анализировались с разных точек зрения, но есть также некоторые работы, которые сосредоточены на одной конкретной проблеме SSD и предоставляют соответствующие методы оптимизации, такие как Cai et al.[8,9,10,11,14,18,19,23], фокусируясь на модели ошибок микросхемы флэш-памяти MLC и предлагая некоторые улучшенные технологии для уменьшения влияния ошибок флэш-памяти и повышения надежности флэш-памяти. По мере постепенного развития технологии 3D NAND многие производители начали разрабатывать SSD на базе 3D NAND Flash [24,25,26,27]. В некоторых исследованиях обсуждалась архитектура и принципы работы ячеек памяти 3D NAND Flash [28,29,30,31,32,33,34]. Парат [35] представил флэш-память 3D NAND первого поколения Intel-Micron с вертикальной канальной структурой затвора объемного звучания, которая имеет лучшие характеристики ячеек, чем 2D NAND, и представила некоторые технические проблемы, связанные с долговечностью и надежностью, с которыми столкнется 3D NAND.Венкатесан [36] обсудил основы и электронные свойства 3D NAND Flash с точки зрения интеграции производственного процесса и проектирования оборудования. Ссылки [11,37,38] сравнивали 2D NAND Flash и 3D NAND Flash с точки зрения физической структуры и принципа работы, а также анализировали преимущества и проблемы, связанные с 3D-технологией. Сео [39] изучал взаимовлияние ячеек флэш-памяти с точки зрения состава ячеек флэш-памяти 3D NAND. Хотя многие исследования показали, что флэш-память 3D NAND имеет такие преимущества, как высокая плотность хранения и низкая цена, недостатки в долговечности и частоте ошибок данных остаются тоже очевидно.Ма [40] протестировал и проанализировал RBER (необработанный коэффициент ошибок по битам) 3D TLC NAND Flash, а также предложил схему прогнозирования срока службы 3D TLC NAND Flash на основе RBER и SVM (машина опорных векторов), результаты эксперимента показали, что прогноз Схема позволяет существенно продлить срок службы флеш-блоков. Q. Xiong et al. [37] исследовали задержку и частоту ошибок по необработанным битам в 3D NAND на основе плавающего затвора и получили аналогичные результаты с 2D NAND. Тору [41] изучил и проанализировал проблемы, на которые следует обратить внимание при разработке следующего поколения 3D NAND Flash с точки зрения энергопотребления, производительности и надежности.Луо [42] описал влияние температуры, программного интервала и точности программы на 3D NAND Flash. В соответствии с характеристиками 3D NAND Flash в недавних исследованиях [16,17] было предложено переназначение горячих страниц для чтения на блоки SLC, что эффективно уменьшило влияние на надежность, вызванное нарушением чтения. Классификация вышеуказанных исследований представлена в таблице 1. Однако в этих исследованиях отсутствует макроанализ изменений показателей надежности SSD на протяжении всего срока службы SSD.Насколько нам известно, большая часть предыдущих исследований была посвящена MLC, SLC и другим типам Flash. Это первая работа, которая посвящена испытанию на выносливость твердотельных накопителей 3D TLC в течение всего срока их службы. В работе показаны и проанализированы изменения данных о надежности SSD. Благодаря анализу данных о надежности твердотельных накопителей наши мнения совпадают с мнениями, приведенными в [3]. Мы считаем, что неисправимые ошибки связаны с программой флеш-памяти, и UE является хорошим показателем для оценки отказов SSD. Между тем, мы также считаем, что особое изменение температуры также важно для определения того, вот-вот выйдет ли SSD из строя.3. Базовая технология
Чтобы лучше описать процесс измерения, реализованный в этой статье, мы даем краткий обзор нескольких основных методов в этом разделе.
3.1. PostMark
PostMark [43] — это однопоточная программа синтетического тестирования производительности, изобретенная NetApp в 1997 году. Она предназначена для измерения производительности файловых систем с рабочими нагрузками, в которых преобладают небольшие файловые операции и короткий срок службы файлов. Этот тип рабочей нагрузки типичен для почтовых служб, онлайн-новостей, бизнес-транзакций в Интернете и других сценариев приложений.Postmark не выполняет никакой программной обработки и только приближает активность файловой системы.PostMark начинается с создания случайного пула файлов, где файлы состоят из символов, чисел и так далее. Размер файла равномерно распределяется в указанном диапазоне. После создания файла выполняется серия «транзакций» (это термин PostMark, относящийся к чему-то похожему на операцию, а не к концепции базы данных). Количество файлов, подкаталогов, диапазон размеров файлов и количество транзакций устанавливаются пользователем.Каждая транзакция PostMark состоит из двух частей: создание / удаление файла и чтение / добавление файла. Частота каждого типа транзакции и затронутые ею файлы выбираются случайным образом, чтобы минимизировать влияние кэширования файловой системы, файлов с упреждающим чтением, кэширования на уровне диска и кэширования трассировки. Кроме того, PostMark может регулировать эту корреляцию, устанавливая параметры чтения или создавая параметры отклонения для получения желаемых результатов. Операция создания файла создает случайный текстовый контент и записывает его в файл.Операция удаления файлов случайным образом выбирает файлы из активного набора для удаления. Операция чтения файла случайным образом выбирает файл и читает весь файл (с использованием установленного размера блока). Операция записи файла случайным образом выбирает файл и добавляет к нему произвольную длину. Пользователь также может выбрать, использовать ли буферизованный ввод-вывод.
3.2. Технология SMART
SMART (Технология самоконтроля, анализа и отчетности) — это разновидность технологии самоанализа и обнаружения дисков [44]. Он контролирует оборудование диска (головка, пластины, мотор и др.)) с помощью тестовых команд в микропрограмме диска и сравнивает его с пороговым значением, установленным производителями. Если отслеживаемое значение превысило пороговое значение, аппаратные / программные мониторы на хосте отправят пользователям предупреждение, и для обеспечения надежности данных будет выполнено небольшое автоматическое восстановление. За исключением некоторых старых жестких дисков, большинство жестких дисков имеют эту технологию. SMART также присутствует в большинстве SSD-накопителей и может получить доступ к некоторым параметрам SSD, таким как номер модели, емкость, рабочая температура, объем данных, количество ошибок и т. Д.4. Методика измерения
Это исследование, основанное на измерениях, направлено на лучшее понимание характеристик надежности 3D TLC Flash. Чтобы сделать процесс измерения максимально реалистичным, для измерения необходима рабочая нагрузка, соответствующая реальному сценарию. Остальная часть этого раздела подробно описывает нашу методологию измерения.
4.1. Обзор SSD Образец
Мы выбрали твердотельные накопители 3D TLC емкостью 120 Гб от Intel (рис. 1) в качестве образцов для испытаний на выносливость. На плате есть несколько основных компонентов, таких как интерфейсы питания и данных, контроллер, DRAM, NAND и так далее.Все компоненты могут содержать несколько NAND IC (интегральных схем). Контроллер представляет собой микропроцессор, использующий внешнюю DRAM в качестве рабочей памяти и выполняющий логику во встроенном ПО. Контроллер взаимодействует как с NAND, так и с хостом, он отвечает за преобразование запросов чтения и записи от хоста в операции ввода-вывода NAND. Флэш-чипы NAND были соединены каналом, и каждый чип состоит из одного или нескольких кристаллов, а каждый кристалл состоит из нескольких плоскостей. Обычно плоскость состоит из ряда блоков, которые являются единицами для операции стирания, а блок состоит из нескольких страниц, которые являются наименьшей единицей для чтения или записи.Параллелизм передачи данных включает четыре основных уровня: уровень канала, уровень кристалла, уровень кристалла и уровень плоскости. DRAM обычно используется для временной буферизации запросов на запись или данных, к которым осуществляется доступ, и таблицы сопоставления, которая используется для сопоставления логического адреса файловой системы и физического адреса флэш-памяти. Другие основные параметры SSD показаны в таблице 2. Эти параметры показывают тип SSD и соответствующий процесс NAND.4.2. Настройка измерения
Каждый SSD был подключен к одной машине, чтобы избежать помех от других устройств или программ.На каждой машине был установлен только один жесткий диск (для хранения данных) и один твердотельный накопитель, и никакие другие задачи не занимали ресурсы ЦП или дискового ввода-вывода. Весь процесс представлял собой ускоренный процесс устаревания SSD, поэтому мы хотели, чтобы процесс имитировал реальный сценарий, а также происходил как можно быстрее. При настройке рабочей нагрузки для эталонного теста мы обращались к характеристикам рабочей нагрузки системы Oracle Archive [45], в которой операция записи, а не операция чтения, может ускорить обращение SSD. Oracle Archive — это режим архивирования базы данных Oracle.В этом режиме база данных сначала выполняет резервное копирование предыдущих оперативных журналов повтора, затем стирает журналы резервного копирования и начинает записывать новые оперативные журналы повторов (файлы повторов). Характеристики рабочей нагрузки этого приложения обычно преобладают в письменной форме. На операцию чтения приходится примерно 0–20%, а большая часть операций случайного чтения и записи составляет примерно 80–100%, большинство из которых являются случайными записями. Обработанные файлы были в основном небольшими файлами с размерами файлов, распределенными в диапазоне 0–2 кбайт, 8–16 кбайт и 32–64 кбайт.В соответствии с характеристиками рабочей нагрузки Oracle Archive мы настроили соответствующие параметры для теста PostMark, как показано в таблице 3, и размеры файлов были сгенерированы случайным образом и варьировались от 32 до 64 КБ с соотношением чтения / записи 2 / 8, размер блока операций чтения и записи составлял 8 КБ, количество одновременных файловых операций — 100 000, количество транзакций — 400 000, количество рабочих каталогов — 50. Параметры PostMark по умолчанию были недостаточно большими; поэтому установленные нами параметры были увеличены.4.3. Измерение расхода
Стандарт JESD218 направлен на обеспечение испытания твердотельных накопителей на выносливость. Этот стандарт охватывает полное испытание на износостойкость и проверку сохранения данных для твердотельных накопителей, рис. 2, но не охватывает все аспекты надежности твердотельных накопителей, такие как сбои печатных плат, сбои контроллера или программные ошибки, вызванные излучением. Целью нашего измерения было получение ряда данных о надежности, когда твердотельные накопители были изношены до предела выносливости; поэтому мы провели только ускоренный тест на выносливость при комнатной температуре и исключили тест на сохранение данных.Мы разработали процесс управления потоком измерений, включая процедуру создания рабочей нагрузки для выполнения теста и сбора данных. Тестирование выполнялось непрерывно, и данные о надежности SSD собирались до тех пор, пока данные не перестали быть записаны на SSD в течение нескольких месяцев. Обзор потока измерений и сбора данных показан на рисунке 3. Во время теста на выносливость PostMark непрерывно создавал рабочие нагрузки для поддержания твердотельных накопителей в рабочем состоянии, а выполнение программы было автоматическим процессом, что показано на Рисунок 4.Во-первых, были инициализированы управляющие скрипты для настройки параметров PostMark и других сопутствующих программ. Во-вторых, было запущено выполнение PostMark, и результаты были сохранены по окончании выполнения. Затем программа проверяет, перешел ли SSD в режим «защиты от записи». Если было «Да», это означало, что SSD достиг предела выносливости, процесс тестирования этого образца SSD был завершен. Если было «Нет», выполнение PostMark запускалось снова, чтобы продолжить тестирование.4.4. Сбор данных
Во время процедуры измерения данные SMART и данные статистики устройства с SSD были получены с помощью Smartmontools [44]. Поскольку твердотельные накопители разных производителей имеют разные атрибуты SMART, некоторые атрибуты SMART получить не удалось. У некоторых атрибутов SMART было только имя и не было соответствующих значений. Аналогичная проблема для данных статистики устройства. В списке статистики некоторые атрибуты не содержат никаких значений, и эти виды атрибутов SMART или атрибутов статистики устройства не входят в объем этой работы.В таблице 4 перечислены некоторые атрибуты SMART, которые были собраны и использованы в этом исследовании, а тип представляет типы собранной информации, совокупный представляет старение с течением времени, а нормализованные значения представляют диапазоны от 1 до 100, в которых более низкие значения хуже, а более высокие. Некоторые статистические данные устройства, собранные и используемые в исследовании, перечислены в таблице 5, которая отражает статистическую информацию от устройств, такую как статистика температуры, статистика ошибок, статистика передачи и сводная статистика.Мы реализовали программу на Python для обработки данных в формате MySQL и сохранения их в базе данных. Мы также разработали несколько сценариев Linux Shell для хранения результатов выполнения PostMark и соответствующих данных в формате файла. Интервал сбора — один час.5. Графическое отображение и анализ данных SMART
Ячейки NAND Flash могут подвергаться ограниченному количеству циклов P / E, которые меняются в зависимости от процесса, что также называется рейтингом выносливости. Вспышка постоянно изнашивается, когда израсходованы все ее циклы P / E.Как правило, твердотельные накопители используют выравнивание износа для равномерного распределения износа в каждой флеш-ячейке для усреднения общего износа. Однако со временем общий износ в конечном итоге приведет к сбоям SSD.
В этом разделе мы представляем некоторые атрибуты SMART, собранные в результате измерений, и анализируем изменения атрибутов и связанных явлений. В тесте использовалось 10 машин, включая три различные конфигурации оборудования: Type-A × 4, Type-B × 4 и Type-C × 2. На всех машинах использовалась одна и та же версия операционной системы и другое связанное программное обеспечение. конфигурации показана в Таблице 6.Твердотельные накопители использовались для тестирования и были описаны в разделе 4. Измерение в этой работе включает 10 твердотельных накопителей, но 3 из них вышли из строя во время измерения из-за внезапного отключения электроэнергии. Поэтому мы только показываем и анализируем тенденции изменения атрибутов SSD SMART из 7 образцов. Атрибуты показаны на рисунке 4, где по оси X отложено время, а по оси Y — нормализованные значения каждого атрибута.5.1. Запись хоста и запись NAND
Как объяснялось ранее, рейтинг выносливости ячеек флэш-памяти зависит от количества циклов P / E, которые они могут потреблять.На накопительные циклы P / E SSD напрямую влияет объем записываемых на него данных. Накопленные циклы P / E SSD можно оценить в соответствии с объемом данных, записанных на SSD. В некотором смысле объем данных, записываемых на SSD, может быть эквивалентен циклам P / E.
Есть два типа данных, записываемых на SSD. Один из них — это запись хоста, которая представляет собой объем данных, которые должны быть записаны на SSD, передаваемые операционной системой через интерфейс. Другой — это запись NAND, которая представляет собой объем данных, фактически записанных во флэш-память NAND.На рисунке 5 показаны различия в записи хоста и записи NAND для образца SSD. В нормальных программных условиях, поскольку контроллер 3D TLC SSD имеет алгоритм сжатия, усиление записи (WAF) может быть меньше 1, то есть количество записей NAND меньше, чем количество записей хоста.В течение длительного периода твердотельные накопители демонстрируют стабильное состояние программирования, и по мере выполнения теста количество операций записи на хосте продолжает увеличиваться примерно до 80–90% стадии измерения, скорость роста операций записи на хост замедляется и, в связи с этим, увеличивается. из-за износа твердотельные накопители не могут принять ранее запрошенный объем данных.В то же время резко увеличивается скорость записи NAND. Причина этого увеличения заключается в том, что когда SSD приближается к постоянному износу, большинство блоков фактически уже изношены, и только несколько блоков все еще могут быть запрограммированы. На этом этапе доступное пространство на SSD не может удовлетворить программный запрос, сгенерированный программой тестирования.
5.2. Усиление записи
Для записи того же объема данных, что и ранее, SSD необходимо выполнить дополнительную сборку мусора, чтобы обеспечить пустое пространство в блоках, которые не были полностью изношены для программ обработки данных.Этот процесс также приводит к быстрому увеличению WAF (усиление записи) SSD. Когда количество операций записи NAND увеличивается к концу, показанному на рис. 5, SSD очень близок к износу, и любые другие программные операции могут привести к сбоям SSD. В случае потери данных SSD переходит в режим «защиты от записи» и не может выполнять какие-либо программные операции (количество записей NAND перестает расти). Процесс изменения WAF показан на рисунке 6. Из рисунка видно, что WAF каждого образца долгое время находится в относительно стабильном состоянии, но они значительно увеличиваются с одинаковой скоростью, когда твердотельные накопители близки к пределу выносливости. .Уравнение (1) используется для вычисления WAF, соответствующего ежедневному объему данных, где i представляет дни, NW представляет записи NAND, HW представляет записи хоста.WAFi = NWi + 1 − NWiHWi + 1 − HWi (i = 1,2 ⋯ n)
(1)
5.3. Индикатор износа носителя
Каждый производитель SSD предлагает несколько типов продуктов для разных рынков и устанавливает основные параметры на основе рейтинга. Из-за ограниченного срока службы SSD производители часто определяют количество записываемых терабайт (TBW) SSD в соответствии с типом флэш-памяти, емкостью, гарантийным сроком и другими показателями и используют его в качестве рейтинга выносливости для SSD.
Индикатор износа носителя — это нормализованное значение, которое показывает степень износа SSD. Стоимость нового SSD начинается со 100 и уменьшается до 1 с увеличением циклов P / E. На рисунке 5 показаны изменения в этом атрибуте, видно, что значение уменьшилось до 1 примерно после 40% измерения, а объем данных, записанных на SSD, достиг порогового значения, заявленного производителем. В более позднее время твердотельные накопители все еще поддерживают стабильное состояние программы обработки данных; Таким образом, мы считаем заявленный производителями порог слишком консервативным.Значение индикатора износа носителя, равное 1, недостаточно для того, чтобы указать, что срок службы твердотельного накопителя подошел к концу.5.4. Неисправимые ошибки
В исследовании Facebook [3] основное внимание уделяется MLC NAND Flash из-за ее более низкого возраста и меньшего использования твердотельных накопителей; возраст SSD составляет от 0,5 до 2,4 лет в среднем на разных аппаратных платформах, а у SSD меньше 100 циклов P / E. Их отчет показывает, что у «старых» SSD больше неисправимых ошибок, чем у «молодых» SSD, и для каждой платформы большая часть ошибок возникает из-за нескольких SSD, а частота неисправимых битовых ошибок (UBER) составляет от 10-9 до 10. −11.Google подсчитал долю твердотельных накопителей, на которых в течение четырех лет возникли неисправимые ошибки, в своем исследовании [4] и показало, что твердотельные накопители часто имеют неисправимые ошибки. Согласно различным типам твердотельных накопителей, от 26% до 90% твердотельных накопителей имеют как минимум одну неисправимую ошибку. Мы наблюдаем, что неисправимые ошибки неизбежны вместе с износом твердотельных накопителей, и все образцы в измерениях более или менее имеют неисправимые ошибки. Неисправимые ошибки возникают не сразу, когда SSD вводятся в эксплуатацию, и они внезапно увеличиваются до большого числа, когда SSD приближается к пределу выносливости, как показано на рисунке 5, в течение длительного периода времени, и у SSD нет неисправимых ошибки.Неисправимые ошибки появляются примерно на 80% стадии измерения, а на следующем этапе кумулятивное количество неисправимых ошибок быстро увеличивается и, наконец, останавливается на определенном значении. Согласно наблюдениям, UBER в наших выборках составляет 3 × 10-14, что аналогично результатам Microsoft и Facebook, которые показывают, что все коэффициенты более чем на порядок превышают 10-15 и 10-16, которые требуются стандарт JEDEC [6] для приводов потребительского и корпоративного класса соответственно.Причины такого широкого диапазона UBER могут отличаться от нашего предположения.5.5. Температура
Бытует мнение, что высокие температуры могут отрицательно сказаться на производительности SSD и ускорить старение ячеек флэш-памяти. Влияние внешней температуры особенно важно, если твердотельные накопители и центры обработки данных имеют соответствующие методы охлаждения в соответствии с характеристиками флэш-памяти. Помимо факторов внешней температуры, также необходимо понимать характеристики изменения внутренней температуры SSD, поскольку диски развернуты до окончательного износа.Мы можем получить в реальном времени рабочую температуру контроллера SSD с помощью датчика, установленного производителем внутри SSD, который может лучше отображать изменения внутренней температуры SSD.
На рисунке 5 показано изменение внутренней температуры SSD, поскольку мы инициализируем измерение до тех пор, пока SSD не изнашиваются до предела выносливости. Общая тенденция аналогична неисправимым ошибкам, записи NAND и другим атрибутам. В течение длительного периода времени температура стабильно колеблется в диапазоне 40–50 ° C, и примерно на 90% времени измерения температура начинает значительно повышаться и достигает диапазона 50–55 ° C. С.После того, как контроллеры SSD находятся в этом температурном диапазоне и прослужат примерно полнедели, SSD переходят в режим «защиты от записи» и больше не могут записывать данные, затем температура возвращается в предыдущий диапазон, охватывающий 40–50 ° C. Конкретные причины будут обсуждаться в следующих параграфах.5,6. Ошибка понижения передачи SATA
Интерфейс SATA может перейти на более низкую скорость передачи сигналов (например, с 6 Гбит / с до 3 Гбит / с) при обнаружении слишком большого количества ошибок. Такая низкая скорость передачи сигналов приведет к снижению производительности SSD.Причиной такого явления могут быть временные или постоянные ошибки. Согласно нашим наблюдениям, некоторые твердотельные накопители выбирают более низкую скорость передачи сигналов при достижении предела выносливости. Кроме того, как указано в Таблице 7, более половины твердотельных накопителей были переведены на более раннюю версию один раз, а несколько твердотельных накопителей никогда не переходили на более раннюю. Моменты появления этого явления обычно наступают после того, как твердотельные накопители переходят в режим «защиты от записи», а на рис. 5 показаны изменения процессов в количестве ошибок переключения на пониженную передачу SATA для твердотельных накопителей в течение срока их службы.5.7. Совместный анализ атрибутов SMART
Как показано на рисунке 5, некоторые атрибуты, такие как температура, запись в NAND, износ, количество ошибок переключения на пониженную передачу SATA, неисправимые ошибки и время работы, отображаются для лучшего сравнения некоторых изменений и явлений различных атрибутов. . Некоторые очевидные изменения видны на рисунке. Изменение износа было объяснено ранее, поэтому мы не будем здесь подробно объяснять его.Существует сильная связь между записью в NAND, температурой и неисправимыми ошибками, а количество операций записи в NAND быстро увеличивается примерно на 80–90% процесса измерения.Как упоминалось ранее, твердотельные накопители должны выполнять больше операций по сборке мусора, чтобы предоставить достаточно свободного места для программы обработки данных, в то время как их циклы P / E часто используются. Однако программный процесс для NAND Flash требует приложения высокого напряжения на управляющем затворе транзистора с плавающим затвором, чтобы позволить заряду пройти через оксидный слой из канала в слой с плавающим затвором. Из-за износа SSD оксидный слой флеш-ячеек не может эффективно обеспечивать функцию изоляции заряда.После выполнения программы контроллер обнаружит, что флеш-ячейки не могут эффективно различать напряжение, представленное данными, что приводит к сбою программы. Процесс программы будет дольше, даже если объем данных останется прежним.
Частая регулировка напряжения для работы программы сильно загружает контроллер SSD, поэтому общая температура микросхем значительно возрастет. На последнем этапе твердотельные накопители полностью достигли предела выносливости и переходят в режим «защиты от записи»; таким образом, больше нельзя было запрограммировать данные.Значение записи NAND перестает расти, и могут выполняться только операции чтения; таким образом, общая температура SSD возвращается к нормальному состоянию.
На рис. 7 показана взаимосвязь между неисправимыми ошибками и циклами P / E для всех выборок. Можно видеть, что циклы P / E, испытываемые образцами, составляют примерно от 1500 до 2000, цикл с наибольшим количеством циклов P / E превышает 2500; все они соответствуют характеристикам TLC NAND Flash со средним циклом P / E от 1000 до 3000. Неисправимые ошибки каждого SSD появляются на более позднем этапе его срока службы, это также момент времени, когда температура и NAND записываются показывают резкие увеличения.Внезапное увеличение количества неисправимых ошибок в последующее короткое время также связано с серьезным износом SSD. Большинство ячеек все еще можно использовать до того, как они достигнут предела выносливости, но они также очень уязвимы. Ошибки в данных могут возникать чаще, чем раньше, при чтении или программировании ячеек флэш-памяти. Чтобы проверить влияние колебаний температуры окружающей среды на меняющиеся тенденции надежности SSD, два SSD находятся в состоянии нормальной комнатной температуры, а другие — в состоянии постоянной комнатная температура, которая составляет 25∘C.Как показано на рисунке 5, температуры первых двух SSD (a и b) колеблются в более широком диапазоне, чем другие, но общие тенденции аналогичны, поэтому мы считаем, что колебания температуры окружающей среды мало влияют на меняющиеся тенденции надежности SSD.Анализ диаграмм в вышеприведенных параграфах ясно показывает, что многие атрибуты SMART значительно меняются по мере того, как твердотельные накопители приближаются к своим пределам выносливости. Ряд явлений, таких как быстрый рост числа UE и постоянная высокая рабочая температура контроллера, указывают на то, что твердотельные накопители выйдут из строя.
В некоторых исследованиях сравнивались и анализировались характеристики различных типов флеш-чипов. Cai et al. [11] изучали характеристики TLC NAND Flash и MLC NAND Flash с точки зрения тенденций распределения порогового напряжения, программных ошибок, ошибок сохранения данных, ошибок нарушения чтения и других; они думают, что TLC NAND Flash и MLC NAND Flash демонстрируют схожее поведение. Mielke et al. [13] изучили две серии твердотельных накопителей (S3500 и S3610) на предмет сохранения данных, битовых ошибок и механизмов отказа, и они показали схожие характеристики.Schroeder et al. [4] и Narayanan et al. [2] изучили различные модели SSD-накопителей с различными типами флеш-чипов в центрах обработки данных Google и Microsoft соответственно и обсудили несколько характеристик надежности SSD. Вывод показал, что ряд различных типов твердотельных накопителей частично демонстрирует схожие характеристики надежности или тенденции. Поэтому мы полагаем, что представленные в данной статье тенденции изменения характеристик надежности 3D TLC NAND Flash имеют определенную репрезентативность и могут в определенной степени отражать некоторые характеристики надежности других типов флеш-чипов.Кроме того, твердотельные накопители на базе флэш-памяти NAND имеют большую вероятность выхода из строя из-за внезапных сбоев питания. Хотя производители могут развернуть защитную емкость на материнской плате SSD, чтобы справиться с этой проблемой, все же необходимо усилить механизм защиты.
6. Анализ корреляции атрибутов SMART
В этом разделе мы стремимся изучить внутренние отношения между атрибутами SMART и определить, являются ли некоторые атрибуты SMART доминирующими при сбоях SSD, а также мы предоставляем поддержку для выбора параметров прогнозирования сбоев SSD, которая будет скоро будут исследованы.Мы анализируем отношения между различными атрибутами SMART, отфильтрованными нашим анализом и посредством визуальной проверки коэффициентов корреляции Пирсона, Спирмена, Кендалла.
6.1. Коэффициент корреляции Пирсона
В статистике коэффициент корреляции Пирсона широко используется в науке как мера линейной корреляции между двумя переменными X и Y следующим образом:ρ = cov (X, Y) var (X) × var (Y)
(2)
где cov (X, Y) — ковариация, var (X) — дисперсия X, var (Y) — дисперсия Y.Коэффициент корреляции Пирсона симметричен: P (X, Y) = P (Y, X), и согласно неравенству Коши-Шварца он имеет значение от 1 до -1, где 1 — полная положительная линейная корреляция, 0 — нет линейной корреляции, а -1 — полная отрицательная линейная корреляция.6.2. Коэффициент ранговой корреляции Спирмена
В статистике коэффициент ранговой корреляции Спирмена является непараметрическим индексом для измерения зависимости двух переменных и использует монотонные функции для оценки связи между двумя переменными.Если нет повторяющихся значений данных, идеальная корреляция Спирмена 1 или -1 возникает, когда каждая из переменных является идеальной монотонной функцией другой.
Для двух переменных, X и Y (или двух наборов), все элементы в них равны N. i-е (1 <= i <= N) значения двух переменных представлены Xi и Yi. Два ранжированных набора x и y получаются после упорядочивания X и Y (по возрастанию или убыванию), где xi и yi - это ранг Xi в X и Yi в Y, соответственно. Набор d разности ранжирования получается вычитанием соответствующих элементов в наборе x и y, где di = xi-yi, (1 <= i <= N).Коэффициент ранговой корреляции Спирмена рассчитывается следующим образом:ρs = 1−6∑i = 1Ndi2N (N2−1)
(3)
6.3. Коэффициент ранговой корреляции Кендалла
В статистике коэффициент ранговой корреляции Кендалла, который обычно называют тау-коэффициентом Кендалла, представляет собой статистику, используемую для измерения порядковой связи между двумя измеренными величинами. Тау-тест — это непараметрический тест гипотезы для статистической зависимости, основанный на тау-коэффициенте. Значение коэффициента корреляции Кендалла находится в диапазоне от -1 до 1, и это означает, что две переменные имеют последовательную или противоположную ранговую корреляцию, когда τ равно 1 или -1, соответственно, и это означает, что две переменные независимы, когда τ равно 0.
Для двух переменных, X и Y (или двух наборов), все элементы в них равны N. i-е (1 <= i <= N) значения двух переменных представлены Xi и Yi. Соответствующие элементы в X и Y образуют пару множества XY, в котором элементами являются (Xi, Yi) (1 <= i <= N). Когда любые два элемента (Xi, Yi) и (Xj, Yj) из множества XY имеют одинаковый ранг, то есть случай 1 или случай 2 (случай 1: Xi> Xj и Yi> Yj, случай 2: Xi6.4. Анализ трех коэффициентов корреляции
Для корреляционного анализа мы выбираем подсчет понижения передачи SATA, неисправимые ошибки, температуру, запись NAND, износ и запись хоста. Мы реализуем программу в Matlab [46] со ссылкой на уравнения (2) — (4) для вычисления коэффициентов корреляции.Значения коэффициентов корреляции Пирсона, Спирмена и Кендалла между выбранными атрибутами SMART показаны в Таблице 8, Таблице 9 и Таблице 10 соответственно. Как показано в таблицах, все три коэффициента корреляции записи NAND и записи хоста близки или равны 1, что показывает сильную положительную корреляцию, которая согласуется с нашим интуитивным пониманием. Все три коэффициента корреляции записи NAND и износа близки к -1, что показывает сильную отрицательную корреляцию и также согласуется с результатами интуитивного наблюдения.Ошибка понижения передачи SATA появляется относительно поздно при визуальном осмотре, и три коэффициента корреляции между числом понижающих передач SATA и неисправимыми ошибками составляют приблизительно 0,2, что является слабым, а связь между числом понижающих передач SATA и другими атрибутами слабее или даже неактуальна.Три коэффициента корреляции между неисправимыми ошибками и записью NAND или записью хоста находятся в диапазоне от 0,4 до 0,6, что указывает на умеренную степень корреляции. Коэффициент корреляции Пирсона между неисправимыми ошибками и температурой равен 0.77, что указывает на сильную корреляцию. Однако коэффициенты корреляции Спирмена и Кендалла находятся в диапазоне от 0,2 до 0,4, что является лишь слабой корреляцией. Таким образом, общий объем данных, записанных на SSD, оказывает значительное влияние на неисправимые ошибки. Существует сильная взаимосвязь между температурой как при записи NAND, так и при неисправимых ошибках при визуальном осмотре. Коэффициент корреляции Пирсона температуры и записи NAND составляет примерно 0,3, но коэффициент корреляции Спирмена и Кендалла очень низок, и причина должна заключаться в том, что коэффициент корреляции Спирмена и Кендалла является коэффициентами ранговой корреляции, тогда как температура колеблется в небольшом диапазоне. , поэтому соответствующая смена ранга не очевидна.
Таким образом, поскольку корреляция между счетчиками понижающей передачи SATA и другими атрибутами слабая, мы полагаем, что изменение в подсчетах понижающей передачи SATA не связано с надежностью флэш-памяти NAND и не подходит в качестве основного показателя для идентификации SSD. неудачи. Износ имеет сильную корреляцию только с атрибутами, связанными с записью данных, и оценка производителя порогового значения является консервативной, что также не является подходящей метрикой для определения надежности SSD.На некоторые атрибуты, связанные с объемом данных, обычно влияет рабочая нагрузка, но они могут более или менее отражать общую надежность SSD. Неисправимые ошибки показывают определенную степень корреляции с другими атрибутами, коэффициенты корреляции между неисправимыми ошибками и другими атрибутами составляют около 0,5–0,8, что является сильным. В частности, коэффициенты корреляции между неисправимыми ошибками, записью NAND и температурой явно выше, чем другие, и они тесно связаны с изменениями надежности SSD.Поэтому мы считаем, что неисправимые ошибки, запись NAND и температура являются доминирующими показателями для выявления отказов SSD и имеют большое значение для мониторинга при оценке надежности SSD.
7. Выводы
В этой статье разрабатывается метод испытания на долговечность твердотельных накопителей и проводится испытание на долговечность твердотельных накопителей 3D TLC на протяжении всего срока их службы, а также анализируются явления, вызванные изменениями данных о надежности твердотельных накопителей. Сначала мы представляем последовательность испытаний на износостойкость, метод сбора данных и введение данных о надежности SSD.Затем мы анализируем данные, собранные в результате измерений, и результаты показывают некоторые ценные явления, касающиеся изменений данных о надежности твердотельных накопителей на протяжении их срока службы, некоторые из которых не были предоставлены в существующих исследованиях. Мы также провели корреляционный анализ некоторых атрибутов SMART. Анализируя коэффициенты корреляции между различными значениями, мы показываем некоторые внутренние отношения между атрибутами SMART SSD, которые помогают понять характеристики отказов SSD.
Выводы, сделанные в этом документе, полезны для выполнения анализа модели и выбора параметров при построении модели прогнозирования отказов SSD, которая может повысить надежность служб хранения в центре обработки данных за счет снижения риска потери данных. Кроме того, анализ тенденций изменения надежности SSD и соответствующий корреляционный анализ могут предоставить направления для оптимизации конструкции уровня преобразования флэш-памяти SSD. Хотя наша работа сосредоточена на флэш-памяти TLC NAND, данные собираются с настоящих микросхем флэш-памяти, и мы считаем, что полученные результаты также будут применимы к развивающейся технологии 3D NAND.
Вклад авторов
Концептуализация, Y.W. и X.D .; методология, Y.W .; программное обеспечение, Y.W .; валидация, Y.W. и X.D .; формальный анализ, Y.W .; расследование, Y.W .; письменная — подготовка оригинального черновика, Y.W .; написание – просмотр и редактирование, X.D., X.Z. и L.W .; привлечение финансирования, X.D.
Финансирование
Это исследование финансировалось Национальным планом ключевых исследований и разработок Китая в рамках гранта № 2016YFB1000303.
Благодарности
Y.W.хотел бы поблагодарить Сяошэ Дуна, Синцзюнь Чжана, Лунсян Ван и Вэйгуо Ву за их ценные советы и обзоры этой статьи.
Конфликт интересов
Авторы заявляют об отсутствии конфликта интересов.
Обозначение
WAF | Усиление записи |
NW | Записывает NAND |
HW | Хост записывает | Коэффициент корреляции Pearson | коэффициент корреляции |
τs | Коэффициент ранговой корреляции Кендалла |
Аббревиатуры
SSD | твердотельные накопители | |
ТБ программы | EE / erase | |
RBER | частота ошибок необработанных битов | |
UBER | частота неисправимых ошибок по битам | |
UE | неисправимые ошибки | |
отчеты о самоконтроле | и технология SMART
- Hetzler, S.Влияние надежности жесткого диска и флэш-памяти на систему. В IDEMA Techn. Symp. 2008 г. Доступно в Интернете: http://www.idema.org/wpcontent/downloads/1918.pdf (по состоянию на 9 мая 2008 г.).
- Narayanan, I .; Wang, D .; Jeon, M .; Sharma, B .; Колфилд, L .; Sivasubramaniam, A .; Катлер, Б .; Liu, J .; Хессиб, Б .; Вайд К. Отказы SSD в центрах обработки данных: что? когда? и почему? В материалах 9-й конференции ACM International по системам и хранению данных (SYSTOR), Хайфа, Израиль, 6–8 июня 2016 г .; С. 1–7. [Google Scholar]
- Meza, J.; Wu, Q .; Kumar, S .; Мутлу, О. Масштабное исследование отказов флеш-памяти в полевых условиях. В материалах Международной конференции 2015 ACM SIGMETRICS по измерению и моделированию компьютерных систем (SIGMETRICS), Портленд, ОН, США, 15–19 июня 2015 г .; С. 177–190. [Google Scholar]
- Schroeder, B .; Lagisetty, R .; Торговец, А. Надежность Flash в производстве: ожидаемое и неожиданное. В материалах 14-й конференции USENIX по файловым технологиям и технологиям хранения (FAST), Санта-Клара, Калифорния, США, 27 февраля — 2 марта 2016 г .; стр.67–80. [Google Scholar]
- Grupp, L .; Дэвис, Дж .; Суонсон, С. Мрачное будущее флеш-памяти nand. В материалах 10-й конференции USENIX по файловым технологиям и хранилищам (FAST), Сан-Хосе, Калифорния, США, 14–17 февраля 2012 г. [Google Scholar]
- Стандарт JEDEC: требования к твердотельным накопителям (SSD) и метод испытаний на износостойкость : JESD 218B.01; Ассоциация твердотельных технологий JEDEC: АРЛИНГТОН, Вирджиния, США, 2016.
- Стандарт JEDEC: Устойчивые рабочие нагрузки твердотельных накопителей (SSD): JESD219A; Ассоциация твердотельных технологий JEDEC: АРЛИНГТОН, Вирджиния, США, 2012 г.
- Cai, Y .; Haratsch, E .; Mutlu, O .; Май, К. Образцы ошибок в флэш-памяти mlc nand: измерение, характеристика и анализ. В материалах конференции и выставки «Дизайн, автоматизация и испытания в Европе» (DATE), Дрезден, Германия, 12–16 марта 2012 г .; С. 521–526. [Google Scholar]
- Cai, Y .; Mutlu, O .; Haratsch, E .; Май, К. Вмешательство программ в флеш-память mlc nand: характеристика, моделирование и смягчение последствий. В материалах 31-й Международной конференции IEEE по компьютерному дизайну (ICCD), Эшвилл, Северная Каролина, США, 6–9 октября 2013 г .; стр.123–130. [Google Scholar]
- Cai, Y .; Luo, Y .; Haratsch, E .; Mai, K .; Мутлу, О. Сохранение данных во флеш-памяти mlc nand: характеристика, оптимизация и восстановление. В материалах 21-го Международного симпозиума IEEE по архитектуре высокопроизводительных компьютеров (HPCA), Бурлингем, Калифорния, США, 7–11 февраля 2015 г .; С. 551–563. [Google Scholar]
- Cai, Y .; Ghose, S .; Haratsch, E .; Luo, Y .; Мутлу, О. Характеристика, устранение и восстановление ошибок в твердотельных накопителях на основе флэш-памяти.Proc. IEEE 2017 , 9, 1666–1704. [Google Scholar] [CrossRef]
- Yamaga, Y .; Matsui, C .; Sakaki, Y .; Такеучи, К. Анализ надежности твердотельных накопителей на основе масштабируемой флэш-памяти nand с реальными характеристиками рабочей нагрузки с использованием точного теста надежности на основе реального использования. IEICE Trans. Электрон. 2018 , 4, 243–252. [Google Scholar] [CrossRef]
- Mielke, N .; Frickey, R .; Каластирский, И .; Quan, M .; Устинов, Д .; Васудеван, В. Надежность твердотельных накопителей на базе флеш-памяти nand.Proc. IEEE 2017 , 9, 1725–1750. [Google Scholar] [CrossRef]
- Cai, Y .; Luo, Y .; Ghose, S .; Мутлу, О. Ошибки, связанные с нарушением чтения во флеш-памяти mlc nand: характеристика, смягчение и восстановление. В материалах 45-й ежегодной Международной конференции IEEE / IFIP по надежным системам и сетям (DSN) 2015 г., Рио-де-Жанейро, Бразилия, 22–25 июня 2015 г .; С. 438–449. [Google Scholar]
- Papandreou, N .; Parnell, T .; Pozidis, H .; Mittelholzer, T .; Eleftheriou, E .; Кэмп, К.; Гриффин, Т .; Tressler, G .; Уоллс, А. Использование адаптивных пороговых значений напряжения чтения для повышения надежности систем флэш-памяти mlc nand. В Трудах 24-го издания Симпозиума Великих озер по СБИС (GLSVLSI), Хьюстон, Техас, США, 21–23 мая 2014 г .; С. 151–156. [Google Scholar]
- Liu, C .; Chang, Y .; Чанг, Я. Выравнивание чтения для систем флэш-памяти. В материалах 8-й Международной конференции по системам и хранению данных ACM (SYSTOR), Хайфа, Израиль, 26–28 мая 2015 г .; С. 1–5. [Google Scholar]
- Zhu, Y.; Wu, F .; Xiong, Q .; Lu, Z .; Xie, C. Alarm: метод перераспределения с учетом местоположения для повышения надежности 3D-флеш-памяти. В материалах Международной конференции по сетям, архитектуре и хранению данных (NAS), Шэньчжэнь, Китай, 7–9 августа 2017 г .; С. 1–10. [Google Scholar]
- Cai, Y .; Yalcin, G .; Mutlu, O .; Haratsch, E .; Unsal, O .; Cristal, A .; Май, К. Исправление ошибок с помощью соседней ячейки для флэш-памяти mlc nand. В материалах Международной конференции ACM 2014 г. по измерению и моделированию компьютерных систем (SIGMETRICS), Остин, Техас, США, 16–20 июня 2014 г .; стр.491–504. [Google Scholar]
- Cai, Y .; Yalcin, G .; Mutlu, O .; Haratsch, E .; Cristal, A .; Unsal, O .; Май, К. Исправление и обновление флэш-памяти: управление ошибками с учетом удержания для увеличения срока службы флэш-памяти. В материалах 30-й Международной конференции IEEE по компьютерному дизайну (ICCD), Монреаль, Квебек, Канада, 30 сентября — 3 октября 2012 г .; С. 94–101. [Google Scholar]
- Zheng, M .; Tucek, J .; Цинь, Ф .; Лиллибридж, М. Понимание устойчивости SSD при сбое питания. В материалах 11-й конференции USENIX по файловым технологиям и технологиям хранения (FAST), Сан-Хосе, Калифорния, США, 12–15 февраля 2013 г .; стр.271–284. [Google Scholar]
- Zheng, M .; Tucek, J .; Цинь, Ф .; Lillibridge, M .; Чжао, Б .; Ян Э. Анализ надежности твердотельных накопителей при сбое питания. ACM Trans. Comput. Syst. 2017 , 4, 1–28. [Google Scholar] [CrossRef]
- Schroeder, B .; Торговец, А .; Лагисетти, Р. Надежность твердотельных накопителей на базе nand: что говорят нам полевые исследования. Proc. IEEE 2017 , 9, 1751–1769. [Google Scholar] [CrossRef]
- Cai, Y .; Ghose, S .; Luo, Y .; Mai, K .; Mutlu, O .; Харач, Э. Уязвимости в программировании флэш-памяти mlc nand: экспериментальный анализ, эксплойты и методы устранения.В материалах Международного симпозиума IEEE по архитектуре высокопроизводительных компьютеров (HPCA), Остин, Техас, США, 4–8 февраля 2017 г .; С. 49–60. [Google Scholar]
- Im, J .; Jeong, W .; Kim, D .; Nam, S .; Shim, D .; Чой, М .; Юн, H .; Kim, D .; Kim, Y .; Парк, H .; и другие. 7.2 флэш-память v-nand емкостью 128 ГБ на ячейку 3 ГБ со скоростью ввода-вывода 1 ГБ / с. В материалах Международной конференции по твердотельным схемам (ISSCC) IEEE, Сан-Франциско, Калифорния, США, 22–26 февраля 2015 г .; С. 1–3. [Google Scholar]
- Канг Д.; Jeong, W .; Kim, C .; Kim, D .; Чо, Й .; Канг, К .; Ryu, J .; Канг, К .; Lee, S. 256 ГБ 3 байт / ячейка v-nand флэш-памяти с 48 сложенными слоями wl. IEEE J. Solid-State Circuits 2017 , 1, 210–217. [Google Scholar] [CrossRef]
- Micheloni, R .; Aritome, S .; Криппа, Л. Архитектура массивов для трехмерной флеш-памяти. Proc. IEEE 2017 , 9, 1634–1649. [Google Scholar] [CrossRef]
- Park, K .; Nam, S .; Kim, D .; Kwak, P .; Ли, Д .; Choi, Y .; Чой, М .; Kwak, D .; Kim, D .; Ким, М.; и другие. Трехмерная вертикальная флэш-память nand mlc емкостью 128 ГБ с 24 слоями, уложенными в стопку, и высокоскоростным программированием со скоростью 50 МБ / с. IEEE J. Solid-State Circuits 2015 , 1, 204–213. [Google Scholar] [CrossRef]
- Kim, C .; Чо, Дж .; Jeong, W .; Парк, И .; Парк, H .; Kim, D .; Канг, Д .; Lee, S .; Lee, J .; Kim, W .; и другие. 11.4 Флэш-память WL 3D V-NAND с 64-стеками, 3 бит / ячейка, 512 ГБ. В материалах Международной конференции по твердотельным цепям (ISSCC) IEEE, Сан-Франциско, Калифорния, США, 5–9 февраля 2017 г .; стр.202–203. [Google Scholar]
- Tanaka, T .; Helm, M .; Вали, Т .; Ghodsi, R .; Kawai, K .; Park, J .; Yamada, S .; Pan, F .; Einaga, Y .; Ghalam, A .; и другие. 7.7 Флэш-память 3b / ячейка NAND с плавающим затвором емкостью 768 ГБ. В материалах Международной конференции по твердотельным цепям (ISSCC) IEEE, Сан-Франциско, Калифорния, США, 31 января — 4 февраля 2016 г .; С. 142–144. [Google Scholar]
- Micheloni, R .; Криппа, Л. 3D-накопители флэш-памяти NAND. В 3D Flash Memories; Micheloni, R., Ed .; Издательство: Дордрехт, Нидерланды, 2016; стр.63–83. [Google Scholar]
- Katsumata, R .; Kito, M .; Fukuzumi, Y .; Kido, M .; Tanaka, H .; Komori, Y .; Ишидуки, М .; Matsunami, J .; Fujiwara, T .; Nagata, Y .; и другие. Флеш-память BiCS в форме трубы с 16 сложенными слоями и многоуровневой работой ячеек для устройств хранения сверхвысокой плотности. В материалах симпозиума по технологии СБИС, Гонолулу, Гавайи, США, 15–17 июня 2009 г .; С. 136–137. [Google Scholar]
- Lue, H .; Сюй, Т .; Hsiao, Y .; Hong, S .; Wu, M .; Hsu, F .; Lien, N .; Ванга, С.; Hsieh, J .; Ян, Л .; и другие. Высоко масштабируемая 8-слойная трехмерная TFT NAND флэш-память с вертикальным затвором (VG), использующая устройство BE-SONOS со скрытым каналом без переходов. В материалах симпозиума по технологии СБИС, Гонолулу, Гавайи, США, 15–17 июня 2010 г .; С. 131–132. [Google Scholar]
- Whang, S .; Лук-порей.; Шин, Д .; Kim, B .; Kim, M .; Bin, J .; Han, J .; Kim, S .; Ли, Б .; Jung, Y .; и другие. Новый трехмерный двойной управляющий вентиль с окружающим плавающим вентилем (DC-SF) флэш-память NAND для приложения для хранения файлов объемом 1 ТБ.В материалах Международного совещания по электронным устройствам (IEDM), Сан-Франциско, Калифорния, США, 6–8 декабря 2010 г .; С. 1–4. [Google Scholar]
- Compagnoni, C .; Года, А .; Spinelli, A .; Feeley, P .; Lacaita, A .; Висконти, А. Обзор эволюции технологии флэш-памяти NAND. Proc. IEEE 2017 г. , 9, 1609–1633. [Google Scholar] [CrossRef]
- Parat, K .; Деннисон, С. Технология 3D NAND с плавающим затвором и CMOS под массивом. В материалах конференции IEEE International Electron Devices Meeting (IEDM), Вашингтон, округ Колумбия, США, 7–9 декабря 2015 г .; стр.1–4. [Google Scholar]
- Venkatesan, S .; Аулайхем, М. Обзор технологий 3D NAND и приглашенный доклад в Outlook. В материалах симпозиума по технологии энергонезависимой памяти (NVMTS), Сендай, Япония, 22–24 октября 2018 г .; С. 1–5. [Google Scholar]
- Xiong, Q .; Wu, F .; Lu, Z .; Zhu, Y .; Zhou, Y .; Чу ý.; Xie, C .; Хуанг, П. Характеристика трехмерных плавающих затворов nand flash: наблюдения, анализ и последствия. ACM Trans. Хранилище 2018 , 2, 1–31. [Google Scholar] [CrossRef]
- Спинелли, А.; Compagnoni, C .; Лакайта, А. Надежность флэш-памяти NAND: плоские ячейки и новые проблемы в 3D-устройствах. Компьютеры 2017 г. , 2, 16. [Google Scholar] [CrossRef]
- Seo, M .; Ли, Б .; Парк, С .; Эндох, Т. Новая концепция трехмерной вертикальной FG nand флэш-памяти с использованием контрольного шлюза с раздельной стенкой. IEEE Trans. Электрон. Приборы 2012 , 8, 2078–2084. [Google Scholar] [CrossRef]
- Ma, R .; Wu, F .; Чжан, М .; Lu, Z .; Wan, J .; Се, К. Схема прогнозирования срока службы с учетом RBER для флэш-памяти 3D-TLC NAND.IEEE Access 2019 , 7, 696–708. [Google Scholar] [CrossRef]
- Tanzawa, T. Соображения по поводу мощности, производительности, надежности и производительности в технологии 3D nand. IEICE Trans. Электрон. 2018 , 1, 78–81. [Google Scholar] [CrossRef]
- Luo, Y .; Ghose, S .; Cai, Y .; Haratsch, E .; Mutlu, O. Heatwatch: Повышение надежности устройств флэш-памяти 3D nand за счет использования самовосстановления и контроля температуры. В материалах Международного симпозиума IEEE по архитектуре высокопроизводительных компьютеров (HPCA), Вена, Австрия, 24–28 февраля 2018 г .; стр.504–517. [Google Scholar]
- Катчер, Дж. Постмарк: технический отчет о тесте производительности новой файловой системы; NetApp: Саннивейл, Калифорния, США, 1997. [Google Scholar]
- Аллен Б. Мониторинг жестких дисков с помощью smart. Linux J. 2004 , 117, 74–77. [Google Scholar]
- Basak, J .; Wadhwani, K .; Воруганти, К. Идентификация рабочей нагрузки хранилища. ACM Trans. Хранилище 2016 , 3, 1–14. [Google Scholar] [CrossRef]
- MathWorks Documentation R2019a. Доступно в Интернете: https: // ww2.mathworks.cn/help/stats/corr.html (по состоянию на 12 марта 2006 г.).
Рисунок 1. Образец твердотельного накопителя (SSD) со снятым корпусом и выявленными примечательными компонентами.
Рисунок 1. Образец твердотельного накопителя (SSD) со снятым корпусом и выявленными примечательными компонентами.
Рисунок 2. Упрощенный тест на выносливость JESD218. «Нагрузка на выносливость при комнатной температуре» — это то, что мы провели.
Рисунок 2. Упрощенный тест на выносливость JESD218. «Нагрузка на выносливость при комнатной температуре» — это то, что мы провели.
Рисунок 3. Обзор нашего потока измерений и сбора данных.
Рисунок 3. Обзор нашего потока измерений и сбора данных.
Рисунок 4. Процедура автоматического выполнения PostMark в потоке измерений.
Рисунок 4. Процедура автоматического выполнения PostMark в потоке измерений.
Рисунок 5. Совместное отображение всех образцов.
Рисунок 5. Совместное отображение всех образцов.
Рисунок 6. Усиление записи SSD (WAF).
Рисунок 6. Усиление записи SSD (WAF).
Рисунок 7. Циклы P / E (программа / стирание) и неисправимые ошибки.
Рисунок 7. Циклы P / E (программа / стирание) и неисправимые ошибки.
Таблица 1. Классификация, основанная на различных исследовательских категориях NAND Flash.
Таблица 1. Классификация, основанная на различных исследовательских категориях NAND Flash.
Классификация | Ссылки |
---|---|
Общие отказы | [2,3,4,5] |
Тенденции отказов | [5,8,9,10,11,12,13] |
Нарушение чтения | [14,15,16,17] |
Нарушение программы | [9,18] |
Сохранение данных | [10,19] |
[20,21] | |
Ошибки микросхемы флэш-памяти | [3,8,9,10,11,14,18,19,22,23] |
Основная идея 3D NAND Flash | [24 , 25,26,27,35,36] |
Архитектура ячеек 3D NAND | [28,29,30,31,32,33,34] |
Сравнение 2D и 3D NAND | [ 11,37,38] |
Недостатки и устранение недостатков 3D NAND | [37,39,40,41,42] |
Таблица 2. Архитектура SSD и базовые параметры.
Таблица 2. Архитектура SSD и базовые параметры.
Базовый параметр | Значение | |
---|---|---|
Интерфейс | SATA 3.0 6 Гбит / с | |
FTL Задержка служебных данных | 50 мкс | |
903 903 903 903 903 903 905 | Плашки на канал | 4 |
Емкость | 120 ГБ | |
Размер элемента | 16 нм | |
Тип ячейки | TLC |
Таблица 3. Детали конфигурации PostMark.
Таблица 3. Детали конфигурации PostMark.
Параметр | Значение |
---|---|
Размеры файлов | 32,768–65,536 байт |
Количество файлов | 100,000 |
8192 байта | |
Коэффициент чтения / записи | 2/8 |
Буферизованный ввод / вывод | Да |
Версия PostMark | 1.51 |
Таблица 4. Атрибуты SMART.
Таблица 4. Атрибуты SMART.
Атрибут | Значение SMART | Тип | |
---|---|---|---|
Счетчик перераспределенных секторов | Исходное значение | Кумулятивное | |
Время работы в часах | Кумулятивное 9030Необработанное значение | Кумулятивное | |
Доступное зарезервированное пространство | Значение | Нормализованное | |
Счетчик сбоев программы | Необработанное значение | Кумулятивное | |
Кумулятивное стирание 9010 Счетчик сбоев 9030 | Счетчик понижения передачи SATA | Исходное значение | Накопительное |
Температура воздушного потока | Исходное значение | Накопительное | |
Счетчик возврата при отключении питания | Исходное значение | Запись903 Накопительное значение 903 ue | Кумулятивное |
Общее количество записанных LBA | Необработанное значение | Накопленное | |
Общее количество прочитанных LBA | Исходное значение | Накопленное | |
Исходное значение | Накопительное |
Таблица 5. Статистика устройства.
Таблица 5. Статистика устройства.