Можно ли определить память и дисковое пространство для контейнера Docker? Docker-это замена виртуальных машин, но я смущен использованием ресурсов Docker. Я могу установить ресурсы, которые будут…

Я использую последнюю версию docker 1.8.2 на Mac OSX 10.10.5 Во время сборки у меня заканчивается дисковое пространство. Текущие документы указывают на https:/ /…

У меня есть веб-приложение, запущенное с использованием Docker compose, для которого я хочу отключить все ведение журнала (или, по крайней мере, распечатать его в системный журнал вместо файла)….

Я новичок в docker. Хотелось бы узнать об идеальных способах очистки контейнеров docker. Чтобы очистить контейнеры, я просто останавливаю контейнер и просто удаляю его с помощью команды docker rm ….

Я запускаю контейнер docker на своей удаленной машине. Очень часто на удаленной машине заканчивается дисковое пространство. Обычно я удаляю каталог docker на своем удаленном компьютере и снова…

Я запускаю конвейер Jenkins на Ubuntu 16.04, используя образ Docker для запуска модульных тестов в моем проекте Android. Я настроил Jenkins так, чтобы сохранять только 1 сборку за раз и отбрасывать…

Когда я boot мой docker-compose up -d он занимает очень мало места на диске. Но в течение нескольких недель я теряю место на своем сервере. Я не пробую никаких других изображений, так что проблема…

У меня есть приложение python Flask, работающее в контейнере docker, а также несколько других приложений и обратный прокси-сервер nginx. Некоторые другие приложения записывают файлы журналов на…

У меня есть сервер ноутбука JupyterHub, и я работаю на управляемом kubernetes на aws (EKS). Мой репозиторий docker — это AWS ECR. Я итеративно разрабатываю свой образ docker для тестирования. Мой…

Ниже приведена файловая система в overlay2, поедающая дисковое пространство, на Ubuntu Linux 18.04 LTS Дисковое пространство сервера 125 Гб overlay 124G 6.0G 113G 6%…

Тревоги памяти и диска — RabbitMQ

Во время работы узлы RabbitMQ потребляют разный объем памяти и диска. пространство в зависимости от рабочей нагрузки. При пиках использования объем памяти и свободного дискового пространства может достигать потенциально опасные уровни. В случае памяти узел может быть убит механизмом завершения процесса с низким потреблением памяти в операционной системе (известный как «убийца OOM» в Linux, например). В случае свободного места на диске, узлу может не хватить памяти, а это значит, что он не сможет выполнять множество внутренних операций.

Чтобы уменьшить вероятность этих сценариев, RabbitMQ имеет два настраиваемых ресурса водяные знаки. Когда они будут достигнуты, RabbitMQ заблокирует соединения, которые публикуют сообщения.

В частности, RabbitMQ будет блокировать подключения, которые публиковать сообщения, чтобы не быть убитыми ОС (убийца нехватки памяти) или исчерпание всего доступного свободного дискового пространства:

• Когда использование памяти превышает настроенный водяной знак (предел)
• Когда свободное место на диске падает ниже настроенного водяного знака (лимит)

Узлы временно будут блокировать публикацию подключений путем приостановки чтения из клиентского соединения.Соединения, которые используются только для , потребляют сообщений, не будут заблокированы.

Мониторинг пульса соединения также будет отключен. Все сетевые подключения будут отображаться в rabbitmqctl, а пользовательский интерфейс управления как блокирующий, то есть они не пытались опубликовать и могут продолжить, или заблокированы, то есть они опубликованы и сейчас приостановлено. Совместимые клиенты будут уведомлены когда они заблокированы.

Соединения, которые только потребляют, не блокируются аварийными сигналами ресурса; поставки им продолжайте как обычно.

Современные клиентские библиотеки поддерживают уведомление о подключении. (расширение протокола), поэтому приложения могут отслеживать их блокировку.

При запуске RabbitMQ в кластере выдает аварийные сигналы памяти и диска. общекластерные; если один узел превышает лимит, то все узлы заблокирует соединения.

Цель состоит в том, чтобы остановить производителей, но позволить потребителям продолжать незатронутый. Однако, поскольку протокол разрешает производителям и потребителям работать на одном и том же канале, и на разных каналах одного разовое соединение, эта логика обязательно несовершенная.В практика, которая не создает проблем для большинства приложений поскольку дросселирование наблюдается просто как задерживать. Тем не менее, если позволяют другие конструктивные соображения, он рекомендуется использовать только отдельные соединения для любого производство или потребление.

Когда действует сигнал тревоги, публикация соединений блокируется обратным давлением TCP. На практике это означает, что операции публикации в конечном итоге полностью перестанут работать. Разработчики приложений должны быть готовы справиться с такими сбоями и использовать подтверждения издателя. чтобы отслеживать, какие сообщения были успешно обработаны и обработаны RabbitMQ.

Когда сервер близок к использованию всех файловых дескрипторов что ОС предоставила ему доступ, он откажется от клиента соединения. См. Руководство по сети, чтобы узнать больше.

Когда клиенты пытаются публиковать быстрее, чем сервер принимают их сообщения, они переходят в режим временного управления потоком.

Получение помощи и обратная связь

Если у вас есть вопросы по содержанию этого руководства или любая другая тема, связанная с RabbitMQ, не стесняйтесь спрашивать их в списке рассылки RabbitMQ.

Помогите нам улучшить документы

Если вы хотите внести свой вклад в улучшение сайта, его исходный код доступен на GitHub. Просто создайте вилку репозитория и отправьте запрос на перенос. Спасибо!

Вот что делать, если на вашем компьютере заканчивается свободное место

Вы путешествуете по Интернету с мышью в одной руке, кофе в другой, а потом — wham — как Wile E.Койот врезался в кирпичную стену, ваш компьютер остановил вас. «Мало места на диске» отображается на панели задач вашего ПК. Или, если вы работаете на Mac, вы увидите окно с тревожным предупреждением, в котором говорится: «Ваш загрузочный диск почти заполнен».

«Поскольку компьютеры теперь настолько гибкие — от музыки и видео до изображений, которые они загрузили со своего телефона, — на ваш компьютер попадает очень много источников данных», — говорит Джейми МакГаффи, президент Плимута, штат Мичиган. на основе EdgeRunner, который производит SpaceMonger, отличный инструмент для Windows, позволяющий узнать, сколько места занимают ваши файлы.
[time-brightcove not-tgx = ”true”]

Но прежде чем вам понадобится такая программа, как его, вы должны предпринять еще несколько шагов, чтобы сесть на диету для жесткого диска.

Шаг 1. Очистите корзину

Большинству людей, читающих эту статью, это покажется легкой задачей, поэтому это первый шаг. Итак, если вы забыли выгрузить переполненную корзину в углу экрана, сделайте это сейчас. Хотя возможно, что вы сможете освободить достаточно места для решения проблемы, это вряд ли так.Вы прошли через годы и гигабайты пренебрежения, и потребуется более одного щелчка мышью, чтобы решить проблему.

Шаг 2. Сделайте дамп папки загрузки

Неважно, используете ли вы Mac или ПК, папки загрузок похожи на отдельный небольшой эпизод Hoarders. Помните, что скачанный AOL Instant Messenger, ваше резюме с той работы, на которую вы подали заявку в 2007 году, и фотографии, которые ваш друг сделал с концерта, на который вы ходили три лета назад? Они все здесь, устраивают вечеринку, которая бушует так сильно, что разрушает ваш компьютер.

Пора отбросить некоторые из этих файлов. Если вы работаете на Mac, вы найдете папку «Загрузки» рядом с корзиной для мусора на панели Dock. Если у вас компьютер, вы можете найти его, перейдя по адресу c: // users / username / appdata / local / temp. Просмотрите там файлы и выбросьте те, которые вам больше не нужны. Если вы частый пользователь Интернета, вы удивитесь не только тому, сколько там файлов, но и тому, сколько места вы освободите.

Шаг 3. Удалите одноразовые файлы

МакГаффи указывает на одноразовые файлы как на серьезное нарушение дискового пространства для людей, которые хотят восстановить некоторое пространство на своем жестком диске.«Файлы обычно больше, потому что люди используют свои ПК как многоцелевые инструменты с графикой, видео и музыкальными файлами», — говорит он. «Вы можете просто оставить вещи там и забыть о них, но со временем к ним привязаны значительные объемы хранилища».

Хотя папка загрузки является главным нарушителем в предоставлении убежища для большинства этих файлов, вы найдете их по всему жесткому диску, особенно в медиабиблиотеке. Видео, которые вы сняли на телефон, но с тех пор никогда не просматривали, ваша слюнявшая коллекция десертных фотографий и музыкальные альбомы прошлого года — все эти файлы сидят на вашем жестком диске, и пора их выбросить.

Но хуже всего являются файлы фильмов, загрузки кинематографических фильмов, которые вы купили (вы ведь купили их, не так ли?) В Интернете. Каждый из них может занимать от одного до пяти гигабайт. И если вы действительно купили эти фильмы, нет особых причин хранить их на своем компьютере, потому что все крупные интернет-магазины позволяют повторно загружать файлы после первоначальной покупки.

Шаг 4. Очистите облачное хранилище

Облачное хранилище — отличный инструмент для людей, которые могут получить доступ к своим данным, где бы они ни находились.Но если его не остановить, он может занимать место на жестком диске вашего компьютера, как рак. «Люди забывают, что автоматические резервные копии очень большие, — говорит МакГаффи. «Вещи, резервные копии которых создаются на мобильных устройствах и синхронизируются из облака, занимают много места».

Но сокращение объема резервных копий и облачного хранилища может оказаться проблемой. Начните с перехода в облачное хранилище и удаления файлов, которые вам больше не нужны — эти файлы также находятся на вашем компьютере, и когда вы удаляете их из Интернета, служба синхронизирует и удаляет их с жесткого диска.Также рекомендуется поискать полностью дублирующиеся облачные библиотеки на вашем компьютере. Иногда, когда сервисы обновляют то, как они работают, они оставляют библиотеки из прошлых версий.

Кроме того, особенно если вы используете iPhone или iPad, зайдите в iTunes, выберите «Настройки» и посмотрите на вкладку «Устройства». Там вы найдете список всех резервных копий для вашего iDevice. Удалите все, кроме самого последнего. «Кажется, что каждое устройство выполняет кросс-синхронизацию со всеми остальными устройствами, и именно здесь вы получаете много места для хранения», — говорит МакГаффи.

Шаг 5. Аудит всего компьютера

Именно здесь на помощь приходят такие программы, как SpaceMonger. Это приложение для ПК и его конкуренты WinDirStat и TreeSize сканируют жесткие диски и позволяют пользователям по-разному оценивать распределение памяти. Используя визуальный элемент Treemap, пользователи могут быстро увидеть, какие каталоги занимают больше всего места на диске, и углубиться в эти папки, чтобы даже обнаружить отдельные файлы, которые являются виновниками. Эти программы отлично подходят для поиска разрозненных файлов, которые портят вашу машину, например, кучи вложений электронной почты, когда вы купили дом в 2004 году.

На Mac DaisyDisk также разбивает хранилище на удобный для просмотра интерфейс, похожий на круговую диаграмму.

Шаг 6: Архив на внешний диск

После того, как вы изучите предыдущие шаги и все свои файлы, у вас будет отличное представление о том, что сковывает все одеяла на вашем компьютере. Хотя такие элементы, как ваши фото- и музыкальные библиотеки, по умолчанию хранятся на внутреннем жестком диске вашего компьютера, вы можете переместить их на внешние диски (по крайней мере, на Mac), предоставив остальной части вашей системы пространство для локтя, которое она должна перемещать, как Дорожный бегун, а не его злополучный противник.

питон — Почему рассол ест память?

Я пытаюсь иметь дело с записью большого количества маринованных данных на диск небольшими частями. Вот пример кода:

  из импорта cPickle *
из gc import collect

ПУТЬ = r'd: \ test.dat '
@профиль
def func (элемент):
    для e в элементе:
        f = открыть (ПУТЬ, 'a', 0)
        f.write (дампы (e))
        f.flush ()
        f.close ()
        дель ф
        собирать()

если __name__ == '__main__':
    k = [x для x в xrange (9999)]
    func (k)
  

open () и close () помещены внутри цикла для исключения возможных причин накопления данных в памяти.

Чтобы проиллюстрировать проблему, я прилагаю результаты профилирования памяти, полученные с помощью модуля сторонних разработчиков Python memory_profiler:

  Строка # Использование памяти Приращение Содержание строки
==============================================
    14 @profile
    15 9,02 МБ 0,00 МБ def func (элемент):
    16 9,02 МБ 0,00 МБ путь = r'd: \ test.dat '
    17
    18 10,88 МБ 1,86 МБ для e в элементе:
    19 10,88 МБ 0,00 МБ f = открыто (путь, 'a', 0)
    20 10.88 МБ 0,00 МБ f.write (дампы (e))
    21 10,88 МБ 0,00 МБ f.flush ()
    22 10,88 МБ 0,00 МБ f.close ()
    23 10,88 МБ 0,00 МБ del f
    24 собирать ()
  

Во время выполнения цикла происходит странный рост использования памяти. Как это можно устранить? Какие-нибудь мысли?

Когда количество входных данных увеличивается, объем этих дополнительных данных может вырасти до размера, намного большего, чем входные (обновление: в реальной задаче я получаю 300 + МБ)

И более широкий вопрос — какие существуют способы правильно работать с большими объемами данных ввода-вывода в Python?

обн: Я переписал код, оставив только тело цикла, чтобы увидеть, когда именно происходит рост, и вот результаты:

  Строка # Использование памяти Приращение Содержание строки
==============================================
    14 @profile
    15 9.00 МБ 0,00 МБ def func (элемент):
    16 9,00 МБ 0,00 МБ путь = r'd: \ test.dat '
    17
    18 # для е в элементе:
    19 9,02 МБ 0,02 МБ f = открыто (путь, 'a', 0)
    20 9,23 МБ 0,21 МБ d = дампы (шт.)
    21 9,23 МБ 0,00 МБ для записи (d)
    22 9,23 МБ 0,00 МБ f.flush ()
    23 9,23 МБ 0,00 МБ f.close ()
    24 9,23 МБ 0,00 МБ del f
    25 9,23 МБ 0,00 МБ собрать ()
  

Вроде dumps () жрет память.(Хотя на самом деле думал будет писать ())

RAM против дискового пространства

RAM по сравнению с памятью жесткого диска

Как RAM , так и память жесткого диска называются памятью, что часто вызывает путаницу. RAM означает Оперативная память. Физически это набор микросхем в вашем компьютере. Когда ваш компьютер включен, он загружает данные в RAM . Программы, которые в настоящее время выполняются, а открытые файлы хранятся в RAM ; Все, что вы используется, работает где-то в RAM .Как только электричество RAM вырезана, все забывает; вот почему несохраненный документ теряется, если компьютер зависает или происходит сбой питания. Когда вы сохраняете документ, который хранится на жестком диске или другом типе носителя. Как правило, этот тип хранилища является магнитным и не зависит от электричества. чтобы запомнить, что на нем написано. Однако он намного медленнее, чем RAM . Компьютер может получить доступ ко всему, что хранится в RAM почти мгновенно.Вещи на жестком диске необходимо найти, прочитать и отправить в RAM , прежде чем они можно обработать. Если ваш компьютер сообщает, что у вас мало места на диске, у вас тоже есть много программ или файлов на вашем компьютере. Чтобы исправить это, вам понадобится новый жесткий диск, или потребуется удалить неиспользуемые программы или удалить ненужные файлы выключить компьютер. Если ваш компьютер сообщает, что у вас мало памяти, значит, у вас тоже работает много программ, или на вашем компьютере нет необходимой ОЗУ для запуска программного обеспечения, которое вы хотите.Перезагрузка компьютера очистит ОЗУ и обычно устраняет 90% ошибок нехватки памяти. Если на вашем компьютере больше RAM чем минимальные требования программы, и перезагрузка компьютера не решить проблему, ошибка могла быть вызвана переполнением буфера или другим техническая проблема, выходящая за рамки данного руководства.

Панель управления сервера

Чтобы получить доступ к панели мониторинга сервера, выберите Домашняя страница AppDynamics> Серверы> Панель мониторинга .

Выберите сервер из списка и дважды щелкните имя сервера, чтобы отобразить его информационную панель. На этой панели инструментов вы можете:

• Просматривать диаграммы ключевых показателей производительности для выбранных отслеживаемых серверов:
  • Доступность сервера
  • Процент использования ЦП, памяти и сети
  • Свойства сервера
  • Показатели диска, раздела и тома
  • Десять первых процессов, потребляющих ресурсы ЦП и память
• Измените временной период отображаемых показателей.
• Просмотр оценки общего состояния сервера на основе любых нарушений правил работоспособности. См. Просмотр состояния правила работоспособности в пользовательском интерфейсе.
• Просмотрите иерархию или группировку сервера, как указано в controller-info.xml , используя свойство конфигурации machine-path.
• Щелкните любую точку на графике, чтобы увидеть значение метрики для этого времени.
• Отсортируйте диаграмму, используя любой из столбцов в качестве ключа сортировки.
• Найдите и переключитесь на другие панели мониторинга сервера в раскрывающемся списке рядом с уровнем сервера.
• Просмотрите совокупность первых десяти процессов по загрузке ЦП и десяти процессов с наибольшим объемом памяти.

Метрики панели мониторинга сервера

Идентификатор хоста, работоспособность, иерархия (

• Идентификатор хоста : это идентификатор сервера, уникальный для контроллера AppDynamics.
• Health : показывает общее состояние сервера. Чтобы узнать подробности, наведите указатель мыши на значок здоровья; например, при наведении курсора на восклицательный знак (!) в красном поле появляется следующее: «На этом компьютере есть критические нарушения правил работоспособности в течение указанного диапазона времени.»
• Иерархия : это произвольная иерархия для группирования серверов вместе, заданная свойством иерархии компьютеров.

Средняя нагрузка

Загрузка ЦП представлена ​​как среднее значение за последние 1 минуту, 5 минут и 15 минут. Загрузка ЦП — это процент использования ЦП процессами, которые в данный момент выполняются или ожидают запуска. Эти показатели отображаются в процентах на панели мониторинга сервера и масштабируются на 100 в обозревателе показателей.

Доступность

• Доступность : процент времени, в течение которого машинный агент может взаимодействовать с контроллером. Машинный агент один раз в минуту отправляет информацию о доступности в виде контрольного сообщения в контроллер AppDynamics, чтобы указать, что агент активен. Контрольное сообщение может отображаться как доступное при сбое других функций машинного агента и сервера. Доступность указывает только на то, что машинный агент обменивается данными с контроллером, и не указывает на общее состояние функций внутри машинного агента.
• диаграмма временных рядов : показывает тенденцию доступности Machine Agent с течением времени. Бывают ситуации, когда машинный агент может связываться с контроллером, в то время как другие функции машинного агента или процессы на сервере не работают. Не используйте метрику временных рядов для обозначения общей доступности сервера.

ЦП

• Использование ЦП : Среднее использование ЦП в выбранном диапазоне времени.
• # of Cores : Количество ядер для ЦП.
• диаграмма временных рядов : показывает тенденцию процентной загрузки ЦП с течением времени.
  

Память

• Установлено : Общий объем свободной и используемой памяти на сервере.
• Использование памяти : процент используемой памяти.
• Использование подкачки : Использование подкачки отслеживает использование файла подкачки. Файл подкачки позволяет операционной системе использовать пространство на жестком диске для имитации дополнительной памяти. Когда в системе не хватает памяти, она меняет местами часть ОЗУ, используемую бездействующей программой, на жесткий диск, чтобы освободить память для других выполняющихся программ.Когда простаивающая, выгруженная программа снова начинает выполняться, она перемещается обратно в ОЗУ, потенциально вытесняя какую-то другую неактивную программу. Это вызывает большое количество операций чтения и записи на жесткий диск, что может значительно замедлить работу системы.
• график временных рядов : показывает тенденцию использования памяти во времени.

Сеть

• Интерфейсы : Количество сетевых интерфейсов на сервере.
• Исходящие : Килобайт данных, отправляемых в секунду для всех отслеживаемых сетевых устройств.
• Входящие : килобайт данных, получаемых в секунду для всех отслеживаемых сетевых устройств.
• диаграмма временных рядов : показывает динамику входящего и исходящего объема сети с течением времени.

Тома

• Всего : Свободное и используемое пространство для хранения на диске, разделе или томе. Для систем Linux это не включает дисковое пространство, зарезервированное ядром.
• Бесплатно : Общий объем доступной памяти.Для систем Linux это не включает дисковое пространство, зарезервированное ядром.
• Использование (%) : процент используемого пространства для хранения на каждом диске, разделе и томе.
• диаграмма временных рядов : показывает тенденцию использования хранилища во времени.

10 первых процессов, использующих ЦП

• Счетчик : количество процессов в этом классе.
• ЦП (%) : процент ресурсов ЦП, потребляемых всеми процессами этого класса.
• Память (%) : процент памяти, потребляемой всеми процессами в классе.
• PID : ID процесса.
• PPID : идентификатор родительского процесса.

10 первых процессов, потребляющих память

• Счетчик : количество процессов в этом классе, потребляющих ресурсы памяти.
• ЦП (%) : процент использования ЦП всеми процессами этого класса.
• Память (%) : процент памяти, потребляемой всеми процессами этого класса.
• PID : ID процесса.
• PPID : идентификатор родительского процесса.

Использование памяти на хосте

Назад СОДЕРЖАНИЕ Последний Следующий

Использование памяти на хосте

Операционные системы хоста плохо себя ведут, когда им не хватает свободной памяти для собственного использования. Когда в хост-операционной системе Windows или Linux не хватает оперативной памяти для собственного использования, она «ломается» — она ​​постоянно меняет свои части между оперативной памятью и файлом подкачки на диске.Чтобы защитить себя от виртуальных машин, вызывающих перегрузку хоста, VMware Workstation вводит ограничение на общий объем оперативной памяти, которая может быть использована виртуальными машинами.

Некоторая память должна быть доступна на хосте, чтобы хост мог правильно работать во время работы виртуальных машин. Объем памяти, зарезервированной для хоста, зависит от операционной системы хоста и размера памяти главного компьютера.

Совместное использование памяти

Многие рабочие нагрузки предоставляют возможности для совместного использования памяти между виртуальными машинами.Например, на нескольких виртуальных машинах могут быть запущены экземпляры одной и той же гостевой операционной системы, загружены одни и те же приложения или компоненты, либо они могут содержать общие данные.

VMware Workstation использует запатентованную технику прозрачного совместного использования страниц для безопасного устранения избыточных копий страниц памяти. При совместном использовании памяти рабочая нагрузка часто потребляет меньше памяти, чем при работе на физическом компьютере. В результате система может эффективно поддерживать более высокие уровни избыточной нагрузки.Объем памяти, сэкономленный за счет совместного использования памяти, сильно зависит от характеристик рабочей нагрузки. Рабочая нагрузка, состоящая из множества почти идентичных виртуальных машин, может освободить более 30 процентов памяти, в то время как более разнообразная рабочая нагрузка может привести к экономии менее 5 процентов памяти.

Совместное использование памяти VMware Workstation выполняется как фоновая операция, которая ищет возможности для совместного использования с течением времени. Объем сохраненной памяти может изменяться со временем; для довольно постоянной рабочей нагрузки сумма обычно увеличивается медленно, пока не будут использованы все возможности совместного использования.

Указание объема оперативной памяти, используемой всеми виртуальными машинами

Второй параметр конфигурации, который вы можете установить, — это объем оперативной памяти, который VMware Workstation может зарезервировать для всех работающих виртуальных машин вместе взятых. Чтобы установить этот параметр, перейдите в меню Edit > Preferences > Memory .

Параметр зарезервированной памяти указывает максимальный объем ОЗУ, который разрешено использовать VMware Workstation. Но эта память заранее не выделяется.Даже если несколько виртуальных машин работают одновременно, VMware Workstation может использовать только часть указанной здесь оперативной памяти. Любая неиспользуемая оперативная память доступна для использования другими приложениями. Если вся указанная здесь оперативная память используется одной или несколькими виртуальными машинами, операционная система хоста не может использовать эту оперативную память сама или разрешить другим приложениям использовать ее.

Оперативная память, используемая VMware Workstation, включает оперативную память, доступную для гостевых операционных систем, а также небольшой объем служебной памяти, связанной с запуском виртуальной машины.

Объем оперативной памяти, фактически используемый для конкретной виртуальной машины, изменяется динамически по мере ее работы. Если несколько виртуальных машин работают одновременно, они работают вместе для управления памятью.

Рекомендуемый объем ОЗУ для всех работающих виртуальных машин рассчитывается на основе физической памяти главного компьютера и отображается в элементе управления зарезервированной памятью — Изменить > Параметры > Память . Если вы хотите, чтобы VMware Workstation использовала больше или меньше оперативной памяти, переместите этот ползунок, чтобы изменить количество.

Если вы установите это значение слишком большим, хост может перегружаться, когда на нем работают другие приложения. Если вы установите слишком низкое значение, виртуальные машины могут работать очень плохо, и вы не сможете запустить столько виртуальных машин одновременно.

Использование дополнительной памяти

По умолчанию VMware Workstation ограничивает количество виртуальных машин, которые могут работать одновременно, в зависимости от объема памяти, указанного в настройках приложения. Это не позволяет виртуальным машинам вызывать плохую работу друг друга.

Чтобы позволить запускать больше или больше виртуальных машин, вы можете настроить третий параметр — объем памяти виртуальной машины, которую операционная система хоста может переместить на диск. Чтобы изменить эту настройку, перейдите в меню Edit > Preferences > Memory и измените настройку дополнительной памяти. Выберите один из следующих переключателей:

Назад СОДЕРЖАНИЕ Последний Следующий

Хранение | Прометей

Prometheus имеет сложную локальную подсистему хранения. Для индексов он использует LevelDB. Для основной массы образцы данных, он имеет свой собственный уровень хранения, который организует образцы данных в кусках постоянного размера (полезная нагрузка 1024 байта). Эти затем фрагменты сохраняются на диске в одном файле для каждого временного ряда.

В этом разделе рассматриваются различные параметры конфигурации и проблемы, которые вы может столкнуться.Чтобы глубже погрузиться в тему, ознакомьтесь со следующими выступлениями:

Использование памяти

Prometheus хранит в памяти все используемые в данный момент фрагменты. Кроме того, он сохраняет как можно больше самых последних использованных фрагментов памяти. Ты должен сказать Прометей, сколько памяти он может использовать для этого кеширования. Флаг storage.local.target-heap-size позволяет вам установить размер кучи (в байтах) Прометей не стремится превзойти. Обратите внимание, что объем физической памяти Сервер Prometheus будет использоваться в результате сложных взаимодействий Go время выполнения и операционная система, и их очень сложно точно предсказать.Как правило эмпирически, у вас должно быть не менее 50% запаса физической памяти по сравнению с настроенный размер кучи. (Или, другими словами, установите storage.local.target-heap-size до значения двух третей лимита физической памяти Прометей не должен превышают.)

Значение по умолчанию для storage.local.target-heap-size равно 2 ГБ и, таким образом, адаптировано до 3GiB использования физической памяти. Если у вас меньше физической памяти, вы должны понизить значение флага. Если у вас больше доступной памяти, вы должны соответственно увеличьте значение.В противном случае Прометей не воспользуется память и, следовательно, будет работать намного хуже, чем мог бы.

Поскольку Prometheus использует большую часть своей кучи для долговременного выделения памяти куски, целевой процент сборки мусора по умолчанию установлено значение 40. Вы все еще можете изменить эту настройку через GOGC переменная окружения как обычно. Если вам нужно сэкономить мощность процессора и вы можете согласитесь работать с меньшим количеством блоков памяти, попробуйте более высокие значения.

Для высокопроизводительных настроек вам может потребоваться настроить больше флагов.Пожалуйста, прочитайте в разделах ниже.

ПРИМЕЧАНИЕ. До версии 1.6 не было флага storage.local.target-heap-size . Вместо этого количество блоков, хранящихся в памяти, нужно было настроить с помощью флаги storage.local.memory-chunks и storage.local.max-chunks-to-persist . Эти флаги все еще существуют по соображениям совместимости. Однако, storage.local.max-chunks-to-persist больше не действует, и если хранилище.local.memory-chunks имеет ненулевое значение x , он используется для переопределить значение storage.local.target-heap-size на 3072 * x .

Использование диска

Prometheus хранит данные временных рядов на диске в каталоге, указанном флаг storage.local.path . Путь по умолчанию — ./data (относительно рабочий каталог), что хорошо, чтобы быстро что-то опробовать, но, скорее всего, не то, что вам нужно для реальных операций.Флаг storage.local.retention позволяет настроить время удерживания образцов. Отрегулируйте его под свои нужды и ваше доступное дисковое пространство.

Кодирование фрагментов

Prometheus в настоящее время предлагает три различных типа кодирования фрагментов. Кусок кодировка для вновь созданных фрагментов определяется -storage.local.chunk-encoding-version Флаг . Допустимые значения: 0, 1, или 2.

Тип 0 — это простое дельта-кодирование, реализованное для первого фрагмента Prometheus. слой хранения.Тип 1 — текущая кодировка по умолчанию, двойная дельта-кодировка. с гораздо лучшим сжатием, чем тип 0. Обе кодировки имеют фиксированная ширина байта на выборку по всему фрагменту, что позволяет быстро доступ. В то время как тип 0 является самым быстрым кодированием, разница в стоимости кодирования по сравнению с кодировкой 1 крошечный. Из-за лучшего сжатия типа 1, действительно нет причин для выбора типа 0, кроме совместимости с очень старые версии Прометея.

Тип 2 — это кодирование с переменной разрядностью, т.е.е. каждый образец в чанке может использовать другое количество бит. Метки времени тоже кодируются двойной дельтой, но с немного другой алгоритм. Существует ряд различных схем кодирования. доступно для образцов значений. Выбор производится по частям в зависимости от характера значений выборки (постоянное, целое, регулярно возрастающее, случайное…). Крупный части кодировки типа 2 вдохновлены статьей, опубликованной Facebook инженеры: Gorilla: быстрая, масштабируемая база данных временных рядов в памяти .

Для типа 2 доступ к блоку должен происходить последовательно, а кодирование а стоимость декодирования немного выше. В целом, тип 2 приведет к большей загрузке ЦП и увеличенная задержка запроса по сравнению с типом 1, но предлагает значительно улучшенный степень сжатия. Точные цифры сильно зависят от набора данных и вид запросов. Ниже приведены результаты типичного производственного сервера с довольно дорогой набор правил записи.

Вы можете изменять кодировку фрагмента каждый раз при запуске сервера, поэтому Приветствуется экспериментирование с вашим собственным вариантом использования. Однако примите во внимание что только вновь созданные фрагменты будут использовать вновь выбранную кодировку фрагментов, поэтому это займет некоторое время, пока вы не увидите эффекты.

Для получения дополнительных сведений о компромиссе между кодировками фрагментов см. это сообщение в блоге.

Настройки для большого количества временных рядов

Prometheus может обрабатывать миллионы временных рядов. Однако с указанным выше упомянутый параметр по умолчанию для storage.local.target-heap-size , вы будете ограничено примерно 200 000 временных рядов, одновременно присутствующих в памяти. Для большего серии, вам нужно больше памяти, и вам нужно настроить Prometheus для использования из него, как описано выше.

Каждый из вышеупомянутых фрагментов содержит образцы одного временного ряда.А Таким образом, временной ряд представляется в виде серии фрагментов, которые в конечном итоге в файле временного ряда (по одному файлу на временной ряд) на диске.

Серия, в которую недавно поступили новые образцы, будет иметь открытый неполный кусок головы . Как только этот кусок будет полностью заполнен или серия не будет полученные образцы через некоторое время, головной кусок закрывается и становится фрагментом ожидает добавления к соответствующему файлу серии, т. е. ожидает для настойчивости . После того, как чанк был сохранен на диске, он становится выселяемый , при условии, что он в настоящее время не используется запросом.Прометей будет выселить из памяти удаляемые фрагменты, чтобы удовлетворить настроенную целевую кучу размер. Серия с открытой головкой называется активной серией . Это отличается от серии памяти , которая также включает серии без открытого головной фрагмент, но все же другие фрагменты в памяти (ждут ли сохранения, используется в запросе или может быть выселен). Серия без каких-либо фрагментов в памяти может быть заархивировал , после чего он перестает иметь какой-либо обязательный след памяти.

Количество блоков, которые Прометей может хранить в памяти, зависит от значения флага. для storage.local.target-heap-size и от объема памяти, используемой все остальное. Если не хватает кусков, которые можно выселить, чтобы удовлетворить цель размер кучи, Prometheus будет ограничивать прием большего количества образцов (пропуская царапины и оценки правил), пока куча не уменьшится в достаточной мере. с дроссельной заслонкой проглатывание действительно плохо по разным причинам. Вы действительно не хотите быть в та ситуация.

Открытые блоки головы, блоки, все еще ожидающие сохранения, и блоки, которые используются в запросе не подлежат выселению. Таким образом, причины невозможности выселить Достаточно кусков, включая следующие:

1. Запросы, в которых используется слишком много фрагментов.
2. Чанки накапливаются в ожидании сохранения, потому что уровень хранения не может продолжать писать куски.
3. Слишком много активных временных рядов, что приводит к слишком большому количеству открытых заголовков. куски.

В настоящее время Прометей не имеет защиты от доводов (1).Оскорбительные запросы будут по сути OOM сервер.

Для защиты от дела (2) объяснена концепция настойчивой срочности. в следующем разделе.

Случай (3) зависит от целей, которые вы отслеживаете. Для смягчения незапланированного взрыва количества серий, вы можете ограничить количество образцов для каждого отдельного человека. очистить (см. sample_limit в конфигурации очистки). Если количество активных временных рядов превышает количество блоков памяти, Сервер Prometheus может себе позволить, сервер быстро ограничит прием данных, поскольку описано выше.Единственный выход из этого — дать Прометею больше ОЗУ или уменьшить количество временных рядов для приема.

На самом деле вам нужно намного больше блоков памяти, чем у вас есть серии в объем памяти. Прометей пытается максимально увеличить объем записи на диск. помогает как для HDD (записывать как можно больше после каждого поиска), так и для SSD (крошечный записи создают усиление записи, что ограничивает эффективную пропускную способность и сгорает намного быстрее в течение всего срока службы устройства). Чем больше Prometheus может группировать записи, тем эффективнее процесс сохранения куски на диск.что помогает в случае (2).

В заключение, чтобы поддерживать работоспособность сервера Prometheus, убедитесь, что на нем много запаса блоков памяти, доступных для количества серий памяти. А фактор три — хорошая отправная точка. Обратитесь к раздел с полезными метриками, чтобы узнать, что искать для. Очень широкое практическое правило для верхнего предела серии памяти: общая доступная физическая память, деленная на 10000, например О серии памяти 6M на сервере 64 ГБ.

Если вы объедините большое количество временных рядов с очень быстрыми и / или большими царапин, количество заранее выделенных мьютексов для последовательной блокировки может не быть достаточный.Если вы видите икоту, пока Прометей пишет контрольную точку или обрабатывая дорогостоящие запросы, попробуйте увеличить значение storage.local.num-fingerprint-mutexes флаг. Иногда десятки тысяч или требуется даже больше.

запросов PromQL, включающих большое количество временных рядов, будут интенсивно использовать индексы, поддерживаемые LevelDB. Если вам нужно запускать такие запросы, настройте могут потребоваться размеры кеша индекса. Актуальны следующие флаги:

• -склад.local.index-cache-size.label-name-to-label-values ​​: Для обычных сопоставление выражений.
• -storage.local.index-cache-size.label-pair-to-fingerprints : Увеличьте size, если у большого количества временных рядов одна и та же пара меток или имя.
• -storage.local.index-cache-size.fingerprint-to-metric и -storage.local.index-cache-size.fingerprint-to-timerange : Увеличить размер если у вас есть большое количество заархивированных временных рядов, то есть рядов, которые не получены образцы через некоторое время, но они все еще недостаточно стары, чтобы их можно было очистить полностью.

Вы должны поэкспериментировать со значениями флагов, чтобы выяснить, что помогает. Если запрос затрагивает более 100000 временных рядов, сотни мегабайт могут быть разумными. Если у тебя есть доступно много памяти, использование большего количества памяти для LevelDB не может повредить. Более память для LevelDB эффективно уменьшит количество блоков памяти Прометей может себе позволить.

Постоянство срочности и «ускоренный режим»

Наивно, Прометей все время пытался сохранить завершенный фрагмент на диске. как можно скорее.Такая стратегия привела бы к множеству крошечных операций записи, использует большую часть полосы пропускания ввода-вывода и сохраняет загруженность сервера. Спиннинг диски будут казаться очень медленными из-за большого количества требуемых медленных поисков, и SSD пострадают от усиления записи. Прометей вместо этого пытается сойтись как можно больше операций записи, что работает лучше, если разрешено используйте больше памяти.

Prometheus также будет синхронизировать файлы серий после каждой записи (с storage.local.series-sync-strategy = adaptive , который используется по умолчанию) и используйте пропускная способность диска для более частых проверок (на основе количества «грязных» series », см. ниже), оба пытаются минимизировать потерю данных. в случае аварии.

Но что делать, если количество блоков, ожидающих сохранения, слишком велико? Прометей вычисляет оценку срочности сохранения фрагментов. Оценка от 0 до 1, где 1 соответствует наивысшей срочности. В зависимости от оценка, Прометей будет писать на диск чаще. Если счет когда-либо преодолеть порог 0,8, Прометей переходит в «ускоренный режим» (что вы можете видеть в логах). В ускоренном режиме применяются следующие стратегии для ускорения постоянные блоки:

Файлы серии
• больше не синхронизируются после операций записи (для лучшего использования кеша страниц ОС за счет повышенного риска потери данных в случай сбоя сервера — это поведение можно отменить с помощью флага хранилище.local.series-sync-strategy ).
• Контрольные точки создаются только так часто, как настроено через storage.local.checkpoint-interval флаг (освобождение дополнительной пропускной способности диска для сохраняющиеся фрагменты ценой большей потери данных в случае сбоя и увеличено время запуска последующего аварийного восстановления).
• Операции записи в сохраняемые блоки больше не регулируются и выполняются как как можно быстрее.

Прометей выходит из режима срочности, когда счет упал ниже 0.7.

Регулирование приема происходит, если показатель срочности достигает 1. Таким образом, ускоренный режим — это не как таковой , чего следует избегать. Напротив, это измерить, что сервер Prometheus принимает, чтобы избежать действительно плохой ситуации удушение проглатывания. Иногда можно переходить в ускоренный режим, если это помогает и в конечном итоге приводит к повторному выходу из ускоренного режима. Если включен ускоренный режим, но оценка срочности все еще растет, у сервера настоящая проблема.

Настройки для очень длительного времени удерживания

Если вы установили очень долгое время хранения через хранилище .local.retention flag (больше месяца), вы можете увеличить значение флага storage.local.series-file-shrink-ratio .

Каждый раз, когда Прометею нужно отрезать несколько кусков в начале серии файл, он просто перезапишет весь файл. (Некоторые файловые системы поддерживают «head усечение », которое Прометей в настоящее время не использует по нескольким причинам.) не перезаписывать очень большой файл серии, чтобы избавиться от очень небольшого количества фрагментов, перезапись происходит только в том случае, если в файле серии удалено не менее 10% фрагментов.Этот значение может быть изменено с помощью упомянутого storage.local.series-file-shrink-ratio флаг. Если у вас много места на диске, но вы хотите минимизировать перезапись (в стоимость потраченного впустую дискового пространства), увеличьте значение флага до более высоких значений, например 0,3 для удаления 30% необходимого фрагмента.

Восстановление после сбоя

Прометей сохраняет фрагменты на диск как можно скорее после того, как они полный. Неполные фрагменты сохраняются на диск во время обычного контрольно-пропускные пункты. Вы можете настроить интервал контрольной точки с помощью флага хранилище.local.checkpoint-interval . Прометей создает контрольно-пропускные пункты чаще, если слишком много временных рядов находятся в «грязном» состояние, т.е. их текущий неполный блок заголовка не тот, который содержится в самой последней контрольной точке. Этот предел настраивается через флаг storage.local.checkpoint-dirty-series-limit .

Более активные временные ряды для циклического перехода в целом к ​​большему количеству ожидающих блоков для настойчивости, что, в свою очередь, приводит к увеличению количества контрольных точек и, в конечном итоге, к большему количеству время, необходимое для установки контрольных точек.Существует очевидный компромисс между ограничением потеря данных в случае сбоя и возможность масштабирования до большого количества активный временной ряд. Чтобы не тратить большую часть пропускной способности диска на чекпоинт, вы должны увеличить интервал чекпоинта. Сам Прометей ограничивает время нахождения в контрольных точках до 50%, ожидая после каждого завершение контрольной точки, по крайней мере, столько же, сколько прошло предыдущая контрольная точка.

Тем не менее, если ваш сервер выйдет из строя, вы все равно можете потерять данные, и ваше хранилище может быть оставлено в несогласованном состоянии.Следовательно, Прометей выполняет аварийное восстановление после некорректного завершения работы, аналогично запуску fsck для файловой системы. Подробности о катастрофе данные о восстановлении регистрируются, поэтому при необходимости вы можете использовать их для криминалистической экспертизы. Данные который не может быть восстановлен, перемещается в каталог с именем осиротевший (находится в storage.local.path ). Не забудьте удалить эти данные, если вам это больше не нужно.

Восстановление после сбоя обычно занимает меньше минуты. Если это займет много дольше, сверьтесь с журналом, чтобы узнать, что происходит.С увеличением количества временные ряды в хранилище (в архиве или нет), реиндексирование имеет тенденцию преобладать время восстановления и может занять десятки минут в крайних случаях.

Повреждение данных

Если вы подозреваете, что проблемы вызваны повреждением базы данных, вы можете принудительно выполнить аварийное восстановление, запустив сервер с флагом storage.local.dirty .

Если это не поможет, или если вы просто хотите стереть существующие базу данных, вы можете легко начать все заново, удалив содержимое каталог хранения:

1. Остановить Прометея.
2. rm -r <путь хранения> / *
3. Запустите Прометей.

Полезные метрики

Из метрик, которые Прометей раскрывает о себе, следующие: особенно полезно для настройки флагов и выяснения необходимых Ресурсы. Они также помогают создавать оповещения, чтобы вовремя узнать, есть ли Prometheus у сервера проблемы или он не работает.

• prometheus_local_storage_memory_series : Текущее количество удерживаемых серий в памяти.
• prometheus_local_storage_open_head_chunks : количество открытых блоков заголовка.
• prometheus_local_storage_chunks_to_persist : количество блоков памяти которые все еще необходимо сохранить на диске.
• prometheus_local_storage_memory_chunks : текущее количество удерживаемых блоков в памяти. Если вычесть два предыдущих, вы получите количество сохраняемых куски (которые можно удалить, если они в данный момент не используются запросом).
• prometheus_local_storage_series_chunks_persisted : гистограмма числа чанков сохранялось на партию.
• prometheus_local_storage_persistence_urgency_score : Оценка срочности как обсуждалось выше.
• prometheus_local_storage_rushed_mode равно 1, если Прометей находится в состоянии «срочно». mode », иначе 0. Может использоваться для расчета процента времени Прометей в спешке.
• prometheus_local_storage_checkpoint_last_duration_seconds : Как долго последний КПП занял.
• prometheus_local_storage_checkpoint_last_size_bytes : Размер последнего контрольная точка в байтах.
• prometheus_local_storage_checkpointing равно 1, а Прометей — контрольная точка, 0 в противном случае. Может использоваться для расчета процента времени Прометей устанавливает контрольную точку.
• prometheus_local_storage_inconsistencies_total : Счетчик для хранения обнаружены несоответствия. Если он больше 0, перезапустите сервер для восстановление.
• prometheus_local_storage_persist_errors_total : счетчик для постоянных ошибок.
• prometheus_local_storage_memory_dirty_series : Текущее количество грязных серий.
• process_resident_memory_bytes : Вообще говоря, физическая память занята процессом Прометея.
• go_memstats_alloc_bytes : размер кучи Go (выделенные объекты в использовании плюс выделенные объекты, которые больше не используются, но еще не собраны мусором).

Эта документация с открытым исходным кодом.