یکی از اتفاقات آزاردهنده در محیطهای Kubernetes این است که یک Pod بدون هشدار مشخصی Restart میشود. وقتی وضعیت آن را بررسی میکنیم، با عبارتی آشنا روبهرو میشویم:
OOMKilled
در نگاه اول ممکن است تصور کنیم حافظه سرور تمام شده است؛ اما همیشه اینطور نیست. گاهی Node هنوز حافظه آزاد دارد، ولی یک Container به محدودیت حافظه خودش رسیده و Linux آن را متوقف کرده است.
از طرف دیگر، گاهی مصرف حافظه در Dashboard چندان نگرانکننده به نظر نمیرسد، اما Application ناگهان با خطای Out of Memory مواجه میشود.
برای فهمیدن این رفتار باید ببینیم Kubernetes چطور Memory Limit را اعمال میکند، Linux Kernel چطور مصرف حافظه را مدیریت میکند و OOM Killer بر چه اساسی یک Process را برای متوقف شدن انتخاب میکند.
تفاوت درخواست و محدودیت حافظه در Kubernetes چیست؟
در Kubernetes دو مفهوم اصلی برای تعریف حافظه وجود دارد:
Memory Request: مقداری که Scheduler برای قرار دادن Pod روی Node در نظر میگیرد.Memory Limit: سقف حافظهای که Container اجازه دارد مصرف کند.
برای مثال:
resources:
requests:
memory: "512Mi"
limits:
memory: "1Gi"در این مثال، Scheduler برای زمانبندی Pod مقدار 512Mi را در نظر میگیرد، اما Container میتواند تا سقف 1Gi حافظه مصرف کند.
نکته مهم این است که Memory Request به معنی رزرو فیزیکی حافظه برای Container نیست. این مقدار بیشتر در تصمیمگیری Scheduler و محاسبه ظرفیت قابل تخصیص Node نقش دارد.
از طرف دیگر، Memory Limit برخلاف CPU Limit رفتار متفاوتی دارد.
در CPU، وقتی مصرف به Quota برسد، پردازش میتواند موقتاً Throttle شود. اما در Memory، رسیدن به محدودیت میتواند باعث فعال شدن مکانیزم OOM در Linux و متوقف شدن یک یا چند Process شود.
بنابراین افزایش Memory Limit بدون بررسی رفتار Application همیشه راهحل مناسبی نیست.
محدودیت حافظه در کدام لایه اعمال میشود؟ (Cgroups)
Kubernetes خودش مستقیماً حافظه Processها را کنترل نمیکند. این محدودیت از طریق Container Runtime و قابلیتهای Linux Kernel اعمال میشود.
مسیر کلی به این شکل است:
Kubernetes API
|
v
Kubelet
|
v
Container Runtime
|
v
Linux Cgroups
|
v
Linux Kernelدر Linux، مکانیزم Cgroups امکان محدود کردن و مانیتور کردن مصرف منابع Processها را فراهم میکند.
برای حافظه، دو نسخه اصلی وجود دارد که نحوه گزارش اطلاعات و فایلهای کنترلی آنها متفاوت است.
بررسی محدودیت حافظه در نسخه اول (Cgroups v1)
در Cgroups v1 معمولاً فایلهای زیر برای بررسی حافظه استفاده میشوند:
cat memory.usage_in_bytes
cat memory.limit_in_bytes
cat memory.failcnt
cat memory.statهر کدام اطلاعات متفاوتی ارائه میکنند:
memory.usage_in_bytes: میزان مصرف گزارششده حافظه توسط Cgroup.memory.limit_in_bytes: سقف حافظه تعریفشده.memory.failcnt: تعداد دفعاتی که تخصیص حافظه به دلیل محدودیت با شکست مواجه شده است.memory.stat: جزئیات بیشتری درباره انواع مصرف حافظه.
بالا رفتن memory.failcnt میتواند نشانهای از فشار حافظه در Cgroup باشد؛ اما بهتنهایی اثبات نمیکند که Application حتماً توسط OOM Killer متوقف شده است.
بررسی محدودیت حافظه در نسخه دوم (Cgroups v2)
در Cgroups v2 ساختار فایلها متفاوت است.
برای مشاهده مصرف فعلی و محدودیت حافظه:
cat /sys/fs/cgroup/memory.current
cat /sys/fs/cgroup/memory.maxبرای مشاهده رویدادهای مربوط به حافظه:
cat /sys/fs/cgroup/memory.eventsنمونه خروجی:
low 0
high 12
max 8
oom 2
oom_kill 1
oom_group_kill 0چند فیلد مهم:
high: تعداد دفعات عبور از مقدارmemory.high.max: تعداد دفعاتی که مصرف به محدودیتmemory.maxنزدیک شده یا تخصیص در این سطح با فشار مواجه شده است.oom: تعداد دفعات ورود به شرایط OOM در این Cgroup.oom_kill: تعداد Processهایی که در این Cgroup توسط OOM Killer کشته شدهاند.
مقادیر دقیق و رفتار برخی فیلدها به نسخه Kernel و شرایط Cgroup بستگی دارد.
یک نکته مهم دیگر: در Cgroups v2 مقدار memory.max محدودیت سخت حافظه است، در حالی که memory.high برای اعمال فشار و محدودسازی تدریجیتر مصرف حافظه استفاده میشود.
پس دیدن عبور از memory.high لزوماً به معنی Kill شدن Process نیست.
چرا Linux یک Process را متوقف میکند؟ (OOM Killer)
وقتی سیستم دیگر نتواند حافظه موردنیاز را تأمین کند، ممکن است Linux وارد شرایط Out of Memory شود.
در این شرایط، OOM Killer تلاش میکند یک یا چند Process را متوقف کند تا حافظه آزاد شود.
اما سؤال اصلی این است: Linux کدام Process را انتخاب میکند؟
برای این تصمیم، Kernel از معیارهایی استفاده میکند که به مصرف حافظه و تنظیمات OOM Process مربوط هستند.
یکی از مفاهیم مهم در این زمینه oom_score است.
این مقدار نشاندهنده امتیاز یک Process برای انتخاب شدن توسط OOM Killer است. هرچه امتیاز بالاتر باشد، احتمال انتخاب آن Process بیشتر است.
همچنین مقدار oom_score_adj میتواند روی این تصمیم اثر بگذارد.
این مقدار بین -1000 تا 1000 قرار دارد:
- مقدار منفی، احتمال انتخاب Process را کاهش میدهد.
- مقدار مثبت، احتمال انتخاب Process را افزایش میدهد.
- مقدار
-1000عملاً Process را از انتخاب معمول OOM Killer محافظت میکند.
برای مشاهده این مقادیر میتوانیم از دستورات زیر استفاده کنیم:
cat /proc/<PID>/oom_score
cat /proc/<PID>/oom_score_adjدر Kubernetes، Kubelet با توجه به QoS Class و تنظیمات مربوط به Containerها، مقادیر oom_score_adj را تنظیم میکند.
به همین دلیل QoS Class در رفتار Pod هنگام فشار حافظه اهمیت دارد.
کلاسهای کیفیت سرویس چه تأثیری بر OOM دارند؟ (QoS Classes)
Kubernetes سه کلاس اصلی QoS دارد:
| کلاس | ویژگی |
|---|---|
Guaranteed | تمام Containerها باید برای CPU و Memory مقدار Request و Limit یکسان و مشخص داشته باشند. |
Burstable | حداقل یکی از Requestها تعریف شده و شرایط Guaranteed برقرار نیست. |
BestEffort | هیچ Request یا Limit برای CPU و Memory تعریف نشده است. |
این کلاسها فقط برای دستهبندی Podها نیستند؛ در شرایط فشار حافظه، روی اولویت نسبی آنها در Eviction و تنظیمات OOM هم تأثیر دارند.
برای مثال، Podهای BestEffort معمولاً در شرایط Memory Pressure در اولویت بالاتری برای Eviction قرار میگیرند.
اما یک نکته مهم:
Guaranteed بودن یک Pod به این معنی نیست که هیچوقت OOM نمیشود.
اگر Container از Memory Limit خودش عبور کند، همچنان ممکن است توسط OOM Killer متوقف شود.
همچنین QoS Class بهتنهایی تضمین نمیکند که یک Pod در تمام شرایط از Node OOM در امان باشد.
تفاوت OOMKilled و Evicted چیست؟
این دو وضعیت گاهی با یکدیگر اشتباه گرفته میشوند، در حالی که مکانیزم و عامل ایجاد آنها متفاوت است.
OOMKilled وقتی Process به دلیل شرایط Out of Memory توسط Linux Kernel متوقف شود، ممکن است Container با وضعیت OOMKilled گزارش شود. این اتفاق میتواند در سطح محدودیت حافظه Container یا در شرایط OOM در سطح Node رخ دهد.
Evicted در Kubernetes، اگر Kubelet تشخیص دهد Node با Memory Pressure مواجه شده است، میتواند برای آزاد کردن منابع بعضی Podها را Evict کند. در این حالت Kubelet بر اساس سیاستهای Eviction، QoS و میزان مصرف منابع نسبت به Request تصمیم میگیرد.
تفاوت اصلی این دو:
- در OOMKilled، Process توسط مکانیزم OOM در Linux متوقف شده است.
- در Evicted، Kubelet برای مدیریت فشار منابع Node، Pod را از Node خارج میکند.
پس اگر Pod شما Restart شده یا از وضعیت Running خارج شده، نباید بدون بررسی وضعیت Termination فرض کنیم علت حتماً OOM Killer بوده است.
چطور علت OOMKilled را در Kubernetes پیدا کنیم؟
برای عیبیابی، بهتر است از وضعیت خود Pod شروع کنیم.
ابتدا وضعیت Container را بررسی کنید:
kubectl describe pod <POD_NAME> -n <NAMESPACE>در خروجی به بخشهای Last State، Reason و Events توجه کنید.
همچنین میتوانیم دلیل Termination آخرین اجرای Container را مستقیم استخراج کنیم:
kubectl get pod <POD_NAME> -n <NAMESPACE> \
-o jsonpath='{range .status.containerStatuses[*]}{.name}{" : "}{.lastState.terminated.reason}{"\n"}{end}'اگر خروجی OOMKilled باشد، نشانه مهمی برای ادامه بررسی در اختیار داریم.
برای مشاهده لاگ اجرای قبلی Container هم میتوانیم از دستور زیر استفاده کنیم:
kubectl logs <POD_NAME> -n <NAMESPACE> --previousالبته اگر Process توسط Kernel Kill شده باشد، ممکن است فرصت ثبت پیام خطا در Application Log را نداشته باشد.
در این شرایط باید اطلاعات Kernel و Cgroup را هم بررسی کنیم.
برای مثال روی Node:
journalctl -k --since "30 minutes ago" | grep -i -E 'oom|killed process'این دستور میتواند پیامهای Kernel مربوط به OOM را نشان دهد.
در کنار آن، بررسی memory.events در Cgroups v2 یا اطلاعات مشابه در Cgroups v1 میتواند مشخص کند فشار حافظه در سطح کدام Cgroup اتفاق افتاده است.
چطور مصرف واقعی حافظه را در Prometheus بررسی کنیم؟
یکی از اشتباهات رایج در مانیتورینگ Kubernetes این است که فقط یک Metric برای حافظه در نظر گرفته میشود.
در حالی که برای تحلیل دقیقتر باید چند نوع اطلاعات را کنار هم بررسی کنیم.
چند Metric کاربردی در cAdvisor عبارتاند از:
| Metric | کاربرد |
|---|---|
container_memory_usage_bytes | مصرف حافظه گزارششده برای Container |
container_memory_working_set_bytes | تخمینی از Working Set حافظه |
container_memory_rss | میزان RSS |
container_memory_cache | میزان Cache گزارششده |
container_memory_failures_total | آمار شکستهای تخصیص حافظه |
وجود و رفتار این Metricها به نسخه و تنظیمات cAdvisor و محیط اجرا بستگی دارد.
بررسی Working Set حافظه
برای مشاهده Working Set هر Container:
container_memory_working_set_bytes{
container!="",
image!=""
}این Metric معمولاً از مصرف کل حافظه با کسر بخشی از حافظه Inactive File محاسبه میشود و برای بررسی مصرف حافظهای که احتمالاً کمتر قابل بازیابی است، کاربرد دارد.
اما Working Set معادل دقیق RSS یا حافظهای که Application واقعاً به آن نیاز دارد نیست.
مقایسه مصرف حافظه با Limit
برای اینکه ببینیم Container چقدر به سقف حافظه خودش نزدیک شده است:
100 *
container_memory_working_set_bytes{
container!="",
image!=""
}
/
clamp_min(
container_spec_memory_limit_bytes{
container!="",
image!=""
},
1
)این Query درصد Working Set نسبت به Limit را نشان میدهد.
قبل از استفاده، باید مطمئن شوید Metric مربوط به Limit در Prometheus شما وجود دارد و مقادیر نامحدود یا غیرواقعی بهدرستی فیلتر شدهاند.
بررسی تعداد Restart و وضعیت OOMKilled
برای مشاهده Restartهای Containerها:
increase(
kube_pod_container_status_restarts_total[15m]
)و برای بررسی وضعیت آخرین Termination:
kube_pod_container_status_last_terminated_reason{
reason="OOMKilled"
}این Metricها معمولاً از طریق kube-state-metrics در دسترس هستند.
پیشنهاد میکنم در Dashboard مربوط به Kubernetes، مصرف Working Set، Memory Limit، Restart Count و وضعیت OOMKilled را کنار هم قرار دهید.
به این ترتیب میتوانید قبل از اینکه مشکل به Restartهای مکرر منجر شود، روند افزایش مصرف حافظه را تشخیص دهید.
چرا مصرف حافظه در مانیتورینگ با رفتار Application متفاوت است؟
یکی از دلایل دشوار بودن عیبیابی Memory این است که تمام Metricها یک مفهوم را اندازهگیری نمیکنند.
برای مثال:
RSS: حافظه Resident مربوط به Process را نشان میدهد.Cache: حافظهای که برای Cache کردن دادهها استفاده شده است.Working Set: تخمینی از بخشی از حافظه مصرفشده که کمتر قابل بازیابی در نظر گرفته میشود.
بنابراین ممکن است عدد Memory Usage با Working Set تفاوت قابل توجهی داشته باشد.
از طرف دیگر، بعضی Runtimeها مثل Java یا Node.js مدیریت حافظه داخلی خودشان را دارند.
برای مثال، ممکن است Heap مربوط به JVM هنوز به سقف خودش نرسیده باشد، اما مصرف کل حافظه Process به دلیل مواردی مثل Native Memory، Thread Stack و Metaspace افزایش پیدا کند و Container به Memory Limit برسد.
در چنین شرایطی صرفاً افزایش Heap یا Memory Limit بدون بررسی سایر بخشها ممکن است مشکل را حل نکند.
چطور مشکل OOMKilled را برطرف کنیم؟
برای رفع این مشکل باید ابتدا مشخص کنیم OOM در سطح Container اتفاق افتاده یا Node.
چند اقدام مهم برای بررسی وجود دارد:
۱. بازبینی Memory Limit
اگر Limit کمتر از نیاز واقعی Application باشد، افزایش کنترلشده آن میتواند از OOM شدن Container جلوگیری کند.
اما این تغییر باید با ظرفیت واقعی Node و سایر Workloadها هماهنگ باشد.
۲. بازبینی Memory Request
Request نامناسب میتواند باعث شود Scheduler ظرفیت Node را بیش از حد واقعی قابل تخصیص در نظر بگیرد.
در نتیجه چند Pod ممکن است روی یک Node قرار بگیرند و در زمان افزایش مصرف حافظه، Node با Memory Pressure مواجه شود.
۳. بررسی Memory Leak
اگر مصرف حافظه Application بهمرور افزایش پیدا میکند و پس از پایان درخواستها کاهش پیدا نمیکند، احتمال Memory Leak باید بررسی شود.
برای این کار میتوان از Heap Profile، Memory Profile و ابزارهای اختصاصی Runtime استفاده کرد.
۴. بررسی حافظه خارج از Heap
در Applicationهایی مثل Java، مصرف حافظه فقط به Heap محدود نیست.
Native Memory، Thread Stack، Metaspace و سایر بخشها هم میتوانند سهم قابل توجهی از حافظه را مصرف کنند.
بنابراین باید مصرف کل Process را در کنار تنظیمات Heap بررسی کنیم.
۵. بررسی ظرفیت و Memory Pressure در Node
اگر چندین Pod در یک Node همزمان با افزایش مصرف حافظه مواجه میشوند، احتمالاً باید ظرفیت Node، میزان Overcommit و سیاستهای Eviction را بررسی کنیم.
افزایش Limit یک Pod بدون توجه به ظرفیت Node ممکن است فقط مشکل را به سطح بالاتری منتقل کند.
جمعبندی
OOMKilled همیشه به معنی تمام شدن حافظه کل سرور نیست.
گاهی یک Container به Memory Limit خودش میرسد، گاهی Node با Memory Pressure مواجه میشود و گاهی هم مشکل از رفتار داخلی Application و مصرف حافظه خارج از Heap است.
برای عیبیابی دقیق باید وضعیت Pod، اطلاعات Cgroups، پیامهای Kernel، Metricهای Prometheus و رفتار حافظه خود Application را در کنار هم بررسی کنیم.
هدف فقط افزایش Memory Limit نیست؛ هدف این است که بفهمیم حافظه کجا مصرف میشود، چه مکانیزمی باعث توقف Process شده و چطور میتوان از تکرار این اتفاق در محیط Production جلوگیری کرد.
