fastdfs

FastDFS est un système de fichiers distribué (DFS) open source et hautes performances conçu pour gérer le stockage, la synchronisation et l'accès aux fichiers (téléversement et téléchargement). Il répond aux défis de grande capacité et d'équilibrage de charge, ce qui le rend adapté aux services basés sur les fichiers tels que les sites de partage de photos et de vidéos. Les principales caractéristiques incluent : - Des serveurs de stockage groupés avec une structure pair-à-pair simple et flexible, éliminant les points de défaillance uniques - Les identifiants de fichiers générés par FastDFS servent d'informations d'authentification pour l'accès aux fichiers, supprimant le besoin de serveurs de noms ou de métadonnées traditionnels - Prise en charge des fichiers volumineux, moyens et petits, y compris le stockage fusionné pour les petits fichiers afin de gérer un nombre massif de petits fichiers - Les serveurs de stockage prennent en charge plusieurs disques avec récupération de données en cas de défaillance d'un disque unique - Un module d'extension nginx pour une intégration transparente avec nginx - Prise en charge d'IPv6, des réseaux NAT et du déploiement inter-centres de données ou en cloud hybride - Séparation lecture-écriture et sauvegarde de reprise après sinistre entre centres de données - API pour les opérations de troncature, d'ajout et de modification sur les fichiers appender - Téléversement et téléchargement de fichiers multithread avec prise en charge de la reprise après interruption Architecture : FastDFS fonctionne avec deux rôles : tracker et storage. Le tracker gère l'ordonnancement et l'équilibrage de charge pour l'accès aux fichiers, tandis que les serveurs de stockage stockent les fichiers et gèrent les métadonnées des fichiers (paires clé-valeur comme width=1024). Les clusters tracker et storage peuvent avoir des serveurs ajoutés ou supprimés sans affecter les services en ligne. Les serveurs de stockage sont organisés en groupes de fichiers pour une grande capacité, les serveurs d'un groupe se sauvegardant mutuellement et assurant l'équilibrage de charge. Lorsque la capacité de stockage est insuffisante, des groupes supplémentaires peuvent être ajoutés pour étendre la capacité. L'identification des fichiers se compose de deux parties : le nom du groupe et le nom du fichier. Des SDK clients sont disponibles pour : - Langage C (inclus dans le code source) - Extension PHP (incluse dans le code source) - SDK Java (dépôt séparé) - SDK Go (dépôt séparé) FastDFS est une solution de stockage objet légère. Pour les systèmes de fichiers distribués généraux nécessitant une forte cohérence des données pour les bases de données, K8s et les machines virtuelles, FastCFS est recommandé comme alternative.