فایل‌سیستم Ceph

 معماری، عملکرد و جایگاه آن در زیرساخت‌های ذخیره‌سازی مدرن

در سال‌های اخیر، رشد انفجاری داده‌ها، توسعه زیرساخت‌های ابری، مجازی‌سازی گسترده و ظهور پردازش‌های توزیع‌شده باعث شده است معماری‌های سنتی ذخیره‌سازی دیگر پاسخگوی نیاز مراکز داده مدرن نباشند . سازمان‌ها به زیرساخت‌هایی نیاز دارند که علاوه بر مقیاس‌پذیری بسیار بالا، بتوانند تحمل خطا ، دسترس‌پذیری، توزیع جغرافیایی و عملکرد همزمان در مقیاس پتابایتی را فراهم کنند. در چنین شرایطی، Ceph به عنوان یکی از مهم‌ترین معماری‌های ذخیره‌سازی توزیع‌شده متن‌باز جهان مطرح شد.

Ceph تنها یک فایل‌سیستم نیست، بلکه یک پلتفرم ذخیره‌سازی توزیع‌شده کامل است که قابلیت ارائه Block Storage، Object Storageو File Storage را به صورت همزمان فراهم می‌کند. بخش File Storage این معماری تحت عنوان CephFS شناخته می‌شود که یکی از پیشرفته‌ترین فایل‌سیستم‌های توزیع‌شده حال حاضر محسوب می‌شود.

Ceph چیست؟

Ceph یک پلتفرم ذخیره‌سازی توزیع‌شده مبتنی بر معماری Software Defined Storage است که نخستین بار توسط Sage Weil طراحی شد. هدف اصلی Ceph ایجاد یک سیستم ذخیره‌سازی بدون با Single Point of Failure قابلیت مقیاس‌پذیری افقی نامحدود بود.

Ceph بر پایه چند اصل بنیادی طراحی شده است:

• توزیع کامل داده‌ها
• عدم وابستگی به کنترلر مرکزی
• Self-Healing
• Self-Managing
• مقیاس‌پذیری افقی
• تحمل خطا در سطح نود، دیسک و شبکه
• توزیع داده بر اساس الگوریتم هوشمند

Ceph به Native صورت سه سرویس ذخیره‌سازی ارائه می‌دهد:

• RADOS Block Device (RBD)
• Ceph Object Gateway (RGW)
• Ceph File System (CephFS)

CephFS چیست؟

CephFS یا Ceph File System فایل‌سیستم توزیع‌شده Ceph است که امکان دسترسی همزمان چندین کلاینت به داده‌ها را از طریق رابط فایل‌سیستمی POSIX فراهم می‌کند.

برخلاف فایل‌سیستم‌های سنتی که وابسته به یک کنترلر مرکزی یا Metadata Server منفرد هستند، CephFS بر پایه معماری توزیع‌شده و مقیاس‌پذیر طراحی شده است.

ویژگی‌های اصلی CephFS عبارت‌اند از:

• Distributed Metadata
• Dynamic Metadata Scaling
• POSIX Compliance
• Multi-Client Access
• High Availability
• Massive Scalability
• Fault Tolerance

معماری کلی  Ceph

برای درک CephFS ابتدا باید معماری اصلی Ceph را شناخت.

Ceph از چند لایه اصلی تشکیل شده است:

• RADOS
• OSD
• MON
• MGR
• MDS
• Client Layer

هر کدام از این اجزا نقش حیاتی در عملکرد سیستم دارند.

RADOS؛ هسته اصلی Ceph

RADOS مخفف Reliable Autonomic Distributed Object Store است.

این لایه، قلب Ceph محسوب می‌شود و تمامی سرویس‌ها بر پایه آن ساخته شده‌اند.

وظایف RADOS:

• ذخیره‌سازی داده‌ها به Object صورت
• توزیع داده در کلاستر
• Replication
• Recovery
• Data Placement
• Rebalancing
• Failure Detection

در واقع CephFS مستقیما داده‌ها را روی دیسک ذخیره نمی‌کند؛ بلکه فایل‌ها به Object تبدیل شده و داخل RADOS قرار می‌گیرند.

OSD؛ Object Storage Daemon

OSD مهم‌ترین سرویس عملیاتی Ceph است.

هر OSD معمولا معادل یک دیسک یا مجموعه‌ای از دیسک‌ها است.

وظایف OSD:

• ذخیره Objectها
• Replication
• Heartbeat
• Recovery
• Rebalancing
• Integrity Check

هر OSD به صورت مستقل عمل می‌کند و در صورت خرابی، داده‌ها از سایر Replicaها بازیابی می‌شوند.

Ceph می‌تواند هزاران OSD را در یک کلاستر مدیریت کند.

MON؛ مانیتورهای کلاستر

MON یا Monitor مسئول نگهداری وضعیت کلی کلاستر است.

وظایف MON:

• نگهداری Cluster Map
• وضعیت نودها
• عضویت OSDها
• احراز سلامت کلاستر
• مدیریت Quorum

Ceph برای جلوگیری از Split Brain معمولا حداقل سه MON نیاز دارد.

MGR؛ مدیریت و مانیتورینگ

ماژول Manager یا MGR برای مدیریت پیشرفته Telemetry و استفاده می‌شود.

وظایف:

• Dashboard
• Performance Monitoring
• Metrics
• Alerting
• Orchestration

MDS؛ Metadata Server

در CephFS مهم‌ترین مؤلفه، Metadata Server یا MDS است.

MDS مسئول مدیریت Metadata فایل‌ها است.

Metadata شامل:

• نام فایل
• ساختار دایرکتوری
• Permission
• Ownership
• File Lock
• Timestamps

خود داده فایل داخل OSD ذخیره می‌شود، اما اطلاعات ساختاری MDS توسط مدیریت می‌شود.

معماری Metadata در CephFS

یکی از مهم‌ترین تفاوت‌های CephFS با فایل‌سیستم‌های سنتی، معماری توزیع‌شده Metadata است.

در بسیاری از فایل‌سیستم‌های سنتی:

• Metadata Bottleneck وجود دارد
• یک Metadata Controller مرکزی وجود دارد

اما در CephFS:

• چندین MDS می‌توانند همزمان فعال باشند
• Metadata بین MDSها تقسیم می‌شود
• Load به Dynamic صورت توزیع می‌شود

این ویژگی باعث می‌شود CephFS بتواند میلیون‌ها فایل را با عملکرد بالا مدیریت کند.

Dynamic Subtree Partitioning

یکی از قابلیت‌های پیشرفته CephFS، مکانیزم Dynamic Subtree Partitioning است.

در این روش:

• ساختار دایرکتوری به بخش‌های مختلف تقسیم می‌شود
• هر بخش توسط یک MDS مدیریت می‌شود
• در صورت افزایش Load، Metadata به MDSهای دیگر منتقل می‌شود

این معماری باعث Scale-Out واقعی در سطح Metadata می‌شود.

الگوریتم CRUSH

یکی از مهم‌ترین فناوری‌های Ceph، الگوریتم CRUSH است.

CRUSH مخفف:

Controlled Replication Under Scalable Hashing

است.

برخلاف سیستم‌های سنتی که از Lookup Table مرکزی استفاده می‌کنند، CRUSH به صورت ریاضی محل ذخیره داده را محاسبه می‌کند.

مزایای CRUSH:

• حذف Bottleneck مرکزی
• توزیع یکنواخت داده
• مقیاس‌پذیری بالا
• Rebalancing خودکار
• کاهش Overhead

زمانی که Object جدید نوشته می‌شود، CRUSH مشخص می‌کند داده روی کدام OSD ذخیره شود.

Replication و Erasure Coding

Ceph دو روش اصلی حفاظت داده دارد.

Replication

در این روش چند نسخه کامل از داده نگهداری می‌شود.

مثلا:

3 Replica

مزایا:

• Recovery سریع
• سادگی
• Performance بالا

معایب:

• مصرف ظرفیت بیشتر

Erasure Coding

در این روش داده به بخش‌های مختلف تقسیم شده و Parity تولید می‌شود.

مشابه اما RAID در مقیاس توزیع‌شده.

مزایا:

• بهره‌وری ظرفیت بسیار بالا
• مناسب آرشیو حجیم

معایب:

• CPU Overhead
• Recovery پیچیده‌تر

Self-Healing در Ceph

یکی از مهم‌ترین ویژگی‌های Ceph، قابلیت Self-Healing است.

اگر:

• دیسکی خراب شود
• نودی از دسترس خارج شود
• شبکه دچار اختلال شود

Ceph به صورت خودکار:

• Replica جدید ایجاد می‌کند
• داده‌ها را بازتوزیع می‌کند
• تعادل کلاستر را حفظ می‌کند

این فرآیند بدون دخالت انسانی انجام می‌شود.

CephFS و POSIX Compliance

CephFS از استاندارد POSIX پشتیبانی می‌کند.

این موضوع اهمیت بالایی دارد زیرا:

• نرم‌افزارهای لینوکسی بدون تغییر کار می‌کنند
• دسترسی فایل استاندارد حفظ می‌شود
• قابلیت Mount معمولی وجود دارد

CephFS می‌تواند مانند NFS یا SMB استفاده شود اما در مقیاس بسیار بزرگ‌تر.

کش و بهینه‌سازی عملکرد

CephFS دارای مکانیزم‌های متعددی برای افزایش Performance است:

• Client-side Cache
• Metadata Cache
• Writeback Cache
• Read Ahead
• Parallel I/O

همچنین استفاده از NVMe برای WAL و DB در OSDها عملکرد سیستم را به شدت افزایش می‌دهد.

Network Architecture در Ceph

Ceph معمولا از دو شبکه مجزا استفاده می‌کند:

Public Network

برای ارتباط کلاینت‌ها

Cluster Network

برای ارتباط داخلی OSDها و  Replication

این جداسازی باعث افزایش Performance و کاهش Congestion می‌شود.

High Availability در CephFS

CephFS فاقد Single Point of Failure است.

تمام سرویس‌ها می‌توانند Redundant باشند:

• MON Cluster
• MDS Failover
• OSD Replication
• Network Redundancy

در صورت خرابی یک ،MDS نود دیگر به صورت خودکار جایگزین می‌شود.

مقیاس‌پذیری CephFS

CephFS برای مقیاس‌های بسیار بزرگ طراحی شده است.

قابلیت‌ها:

• هزاران نود
• ده‌ها هزار دیسک
• میلیاردها Object
• مقیاس پتابایتی و اگزابایتی

این ویژگی باعث شده Ceph در:

• Cloud Provider ها
• HPC
• AI Infrastructure
• Research Datacenter ها

بسیار محبوب باشد.

مقایسه CephFS با فایل ‌سیستم‌های سنتی

فایل‌سیستم‌های سنتی معمولا:

• Scale-Up هستند
• وابسته به کنترلر مرکزی ‌اند
• محدودیت ظرفیت دارند
• دارای Bottleneck Metadata هستند

اما CephFS:

• Scale-Out واقعی دارد
• کاملا توزیع‌شده است
• بدون کنترلر مرکزی کار می‌کند
• Metadata توزیع‌شده دارد
• تحمل خطای بسیار بالاتری ارائه می‌دهد

کاربردهای اصلی CephFS

CephFS در سناریوهای زیر استفاده می‌شود:

• Private Cloud
• OpenStack
• Kubernetes Storage
• AI Training Dataset
• Big Data
• HPC
• Research Computing
• Video Surveillance
• Archive Storage
• Enterprise File Sharing

Ceph در Kubernetes و Cloud Native

Ceph امروزه یکی از مهم‌ترین Storage Backendها در Kubernetes محسوب می‌شود.

پروژه‌هایی مانند:

• Rook
• OpenShift Data Foundation
• CSI Drivers

باعث شده‌اند Ceph به انتخاب اصلی Cloud Native Infrastructure تبدیل شود.

چالش‌ها و پیچیدگی‌های  Ceph

باوجود مزایای فراوان، Ceph سیستم ساده‌ای نیست.

چالش‌ها:

• پیچیدگی طراحی
• نیاز به دانش عمیق Linux
• حساسیت به طراحی شبکه
• نیاز به مانیتورینگ دقیق
• مصرف منابع بالا
• پیچیدگی Troubleshooting

پیاده‌سازی اصولی Ceph نیازمند طراحی دقیق معماری است.

CephFS یکی از پیشرفته‌ترین فایل‌سیستم‌های توزیع‌شده جهان محسوب می‌شود که بر پایه معماری Object Storage طراحی شده است. این فایل‌سیستم با استفاده از معماری بدون کنترلر مرکزی، الگوریتم CRUSH، Metadata توزیع‌شده و قابلیت Self-Healing توانسته بسیاری از محدودیت‌های معماری‌های سنتی ذخیره‌سازی را برطرف کند.

CephFS امروز به عنوان یکی از مهم‌ترین فناوری‌های ذخیره‌سازی در زیرساخت‌های Cloud، Kubernetes، AI، HPC و دیتاسنترهای مدرن شناخته می‌شود و نقش مهمی در آینده Software Defined Storage ایفا می‌کند.