网上科普有关“分布式文件存储服务器之Minio对象存储技术参考指南”话题很是火热,小编也是针对分布式文件存储服务器之Minio对象存储技术参考指南寻找了一些与之相关的一些信息进行分析,如果能碰巧解决你现在面临的问题,希望能够帮助到您。
Minio对象存储技术
MinIO是一种高性能对象存储解决方案,原生支持Kubernetes部署。MinIO提供与AmazonWebServicesS3兼容的API并支持所有核心S3功能。MinIO是在GNUAffero通用公共许可证v3.0下发布的。
也许提起对象存储技术,我们都经历过Fastdfs长时间的拉锯战,即使现在大部分都在使用云服务厂商提供的OSS对象存储服务,但是其所花费的经济成本也是递增的,而且数据都存储在别人的服务器上,从一定程度上来说,对于文件资源的把控粒度是极其不可控制,公网数据是何其的没有隐私可言。虽然,对于开发层面上来说,只需要整合对应的SDK,对其使用已经是开箱即用。但是,对于选择自研对象存储技术来说,Minio何尝不失为一大利器。其搭建过程与整合方面,几乎已经没有什么瓶颈可言。不论是从传统服务器的安装,还是基于Docker以及Kubernetes的部署,简直简单得不要不要的。
基本概述MinIOsupportsthewidestrangeofusecasesacrossthelargestnumberofenvironments.Cloudnativesinceinception,MinIO’ssoftware-definedsuiterunsseamlesslyinthepubliccloud,privatecloudandattheedge-makingitaleaderinthehybridcloud.Withindustryleadingperformanceandscalability,MinIOcandeliverarangeofusecasesfromAI/ML,analytics,backup/restoreandmodernwebandmobileapps.
MinIO在最大数量的环境中支持最广泛的用例。自云原生以来,MinIO的软件定义套件在公共云、私有云和边缘无缝运行——使其成为混合云的领导者。凭借行业领先的性能和可扩展性,MinIO可以提供一系列用例,包括AI/ML、分析、备份/恢复以及现代Web和移动应用程序。
HybridCloud:混合云
Borncloudnative:云原生
MinIOispioneeringhighperformanceobjectstorage:高性能对象存储的先驱
Builtontheprinciplesofwebscale:建立在网络规模的原则上
The#1opensourceobjectstore.Andthemostenterpriseready.开源对象存储,并且最适合企业
ThedefactostandardforAmazonS3compatibility:AmazonS3兼容性的事实标准
Simplypowerful:简单强大[极简主义]
基本特点MinIO的企业级特性代表了对象存储空间的标准。从AWSS3API到S3Select以及我们对内联擦除编码和安全性的实施,我们的代码广受赞誉,并经常被一些技术和商业领域的大腕复制。
ErasureCoding:纠错码
MinIO使用以汇编代码编写的每个对象内联擦除编码来保护数据,以提供尽可能高的性能。MinIO使用Reed-Solomon代码将对象条带化为具有用户可配置冗余级别的数据和奇偶校验块。MinIO的ErasureCoding在对象级别执行修复,可以独立修复多个对象。
在N/2的最大奇偶校验下,MinIO的实现可以确保在部署中仅使用((N/2)+1)个操作驱动器进行不间断的读写操作。例如,在12个驱动器的设置中,MinIO将对象分片到6个数据和6个奇偶校验驱动器,并且可以可靠地写入新对象或重建现有对象,而部署中仅剩下7个驱动器。
BitrotProtection:Bitrot保护
静默数据损坏或bitrot是磁盘驱动器面临的严重问题,导致数据在用户不知情的情况下损坏。原因是多方面的(驱动器老化、电流峰值、磁盘固件中的错误、幻像写入、读取/写入方向错误、驱动程序错误、意外覆盖),但结果是一样的-数据受损。
MinIO对HighwayHash算法的优化实现确保它永远不会读取损坏的数据-它即时捕获和修复损坏的对象。通过在READ上计算散列并在从应用程序、网络到内存/驱动器的WRITE上对其进行验证来确保端到端的完整性。该实现专为速度而设计,可以在IntelCPU的单核上实现超过10GB/秒的散列速度。
Encryption:加密处理
在飞行中加密数据是一回事;保护静态数据是另一回事。MinIO支持多种复杂的服务器端加密方案来保护数据——无论数据在哪里。MinIO的方法以可忽略的性能开销确保机密性、完整性和真实性。使用AES-256-GCM、ChaCha20-Poly1305和AES-CBC支持服务器端和客户端加密。
加密对象使用AEAD服务器端加密进行防篡改。此外,MinIO与所有常用的密钥管理解决方案(例如HashiCorpVault)兼容并经过测试。MinIO使用密钥管理系统(KMS)来支持SSE-S3。
如果客户端请求SSE-S3或启用自动加密,则MinIO服务器使用唯一的对象密钥加密每个对象,该对象密钥受KMS管理的主密钥保护。鉴于极低的开销,可以为每个应用程序和实例打开自动加密。
IdentityManagement:身份管理
MinIO支持身份管理中最先进的标准,与OpenID连接兼容提供商以及关键的外部IDP供应商集成。这意味着访问是集中的,密码是临时的和轮换的,而不是存储在配置文件和数据库中。此外,访问策略是细粒度和高度可配置的,这意味着支持多租户和多实例部署变得简单。
ContinuousReplication:连续复制
传统复制方法的挑战在于,它们无法有效扩展超过数百TB。话虽如此,每个人都需要一个复制策略来支持灾难恢复,并且该策略需要跨越地域、数据中心和云。
MinIO的持续复制专为大规模、跨数据中心部署而设计。通过利用Lambda计算通知和对象元数据,它可以高效快速地计算增量。Lambda通知确保更改立即传播,而不是传统的批处理模式。
连续复制意味着如果发生故障,即使面对高度动态的数据集,数据丢失也将保持在最低限度。最后,与MinIO所做的一样,持续复制是多供应商的,这意味着您的备份位置可以是从NAS到公共云的任何位置。
GlobalFederation:全球联合会
现代企业到处都有数据。MinIO允许将这些不同的实例组合起来形成一个统一的全局命名空间。具体来说,可以将任意数量的MinIO服务器组合成一个分布式模式集,多个分布式模式集可以组合成一个MinIO服务器联合。每个MinIOServerFederation都提供统一的管理和命名空间。
MinIO联合服务器支持无限数量的分布式模式集。这种方法的影响是对象存储可以为大型、地理分布的企业大规模扩展,同时保留从单个控制台容纳各种应用程序(Splunk、Teradata、Spark、Hive、Presto、TensorFlow、H20)的能力。
Multi-CloudGateway:多云网关
所有企业都在采用多云战略。这也包括私有云。因此,您的裸机虚拟化容器和公共云服务(包括Google、Microsoft和阿里巴巴等非S3提供商)必须看起来相同。虽然现代应用程序具有高度可移植性,但支持这些应用程序的数据却不是。
让这些数据无论位于何处都可用,是MinIO解决的主要挑战。MinIO在裸机、网络附加存储和每个公共云上运行。更重要的是,MinIO通过AmazonS3API确保您从应用程序和管理的角度来看这些数据的视图看起来完全相同。
MinIO可以走得更远,使您现有的存储基础设施与AmazonS3兼容。影响是深远的。现在,组织可以真正统一他们的数据基础设施——从文件到块,所有这些都显示为可通过AmazonS3API访问的对象,而无需迁移。
WORM:WORM对象锁定
启用WORM后,MinIO会禁用所有可能改变对象数据和元数据的API。这意味着一旦写入的数据就可以防篡改。这对于许多不同的监管要求具有实际应用。
基本架构MinIO被设计为云原生,可以作为由外部编排服务(如Kubernetes)管理的轻量级容器运行。整个服务器是一个约40MB的静态二进制文件,并且在使用CPU和内存资源方面非常高效-即使在高负载下也是如此。结果是您可以在共享硬件上共同托管大量租户。
MinIO在带有本地连接驱动器(JBOD/JBOF)的商用服务器上运行。集群中的所有服务器的能力相同(完全对称架构)。没有名称节点或元数据服务器。
MinIO将数据和元数据作为对象一起写入,无需元数据数据库。此外,MinIO将所有功能(擦除代码、bitrot检查、加密)作为内联、严格一致的操作执行。结果是MinIO非常有弹性。
每个MinIO集群是一组分布式MinIO服务器,每个节点一个进程。MinIO作为单个进程在用户空间运行,并使用轻量级协程来实现高并发。驱动器被分组到擦除集(默认情况下每组16个驱动器),并且使用确定性散列算法将对象放置在这些集上。
MinIO专为大规模、多数据中心的云存储服务而设计。每个租户运行自己的MinIO集群,与其他租户完全隔离,使他们能够保护他们免受升级、更新和安全事件的任何中断。每个租户通过跨地域联合集群来独立扩展。
MinIO服务器功能MinIO的企业级特性代表了对象存储空间的标准。从AWSS3API到S3Select以及我们对内联擦除编码和安全性的实施,我们的代码广受赞誉,并经常被一些技术和商业领域的大腕复制。
MinIO对象保留默认情况下,对唯一对象名称的每次新写入操作都会导致覆盖该对象。您可以将MinIO配置为创建每个对象突变的版本,从而保留该对象的完整历史记录。MinIO还支持一次写入多次读取(WORM)锁定版本化对象,以确保在指定的持续时间内或直到显式解除锁定为止的完全不变性。
版本控制和对象锁定功能仅适用于分布式MinIO部署:
BucketVersioning:存储桶版本控制
MinIO支持在单个存储桶中保存对象的多个“版本”。通常会覆盖现有对象的写入操作会导致创建新的版本化对象。MinIO版本控制可防止意外覆盖和删除,同时支持“撤消”写入操作。存储桶版本控制是配置对象锁定和保留规则的先决条件。
对于版本化存储桶,任何改变对象的写入操作都会导致该对象的新版本具有唯一的版本ID。MinIO标记客户端默认检索的对象的“最新”版本。然后,客户端可以明确选择列出、检索或删除特定对象版本。
其中:
具有单一版本的对象:MinIO为每个对象添加一个唯一的版本ID作为写入操作的一部分。
2.具有多个版本的对象:MinIO保留对象的所有版本,并将最新版本标记为“最新”。
3.检索最新的对象版本
4.检索特定对象版本
WORM:对象锁定
MinIO对象锁定(“对象保留”)强制执行一次写入多次读取(WORM)不变性以保护版本化对象不被删除。MinIO支持基于持续时间的对象保留和无限期合法保留保留。
MinIO对象锁定提供关键数据保留合规性,并符合CohassetAssociates的SEC17a-4(f)、FINRA4511(C)和CFTC1.31(c)-(d)要求。
其中:
不带锁的桶:MinIO版本控制保留了对象突变的完整历史。但是,应用程序可以明确删除特定的对象版本。
带锁的桶:对存储桶中的对象应用默认的30天WORM锁定可确保所有对象版本的最短保留期和保护期。
3.锁定桶中的删除操作:删除操作遵循版本化存储桶中的正常行为,其中MinIODeleteMarker为对象创建一个。但是,对象的非删除标记版本仍受保留规则约束,并且不会受到任何特定删除或覆盖尝试的影响。
4.锁定存储桶中的版本化删除操作:MinIO会阻止任何删除在WORM锁定下持有的特定对象版本的尝试。客户端可以删除版本的最早可能时间是锁定到期时。
Minio部署和管理MinIO是一个软件定义的高性能分布式对象存储服务器。您可以在消费级或企业级硬件以及各种操作系统和架构上运行MinIO。
MinIO支持两种部署模式:独立和分布式:
独立部署:具有单个存储卷或文件夹的单个MinIO服务器。独立部署最适合使用MinIO进行对象存储的应用程序的评估和初始开发,或为单个存储卷提供S3访问层。独立部署不提供对全套MinIO高级S3特性和功能的访问。
分布式部署:一台或多台MinIO服务器,所有服务器上至少有四个总存储卷。分布式部署最适合生产环境和工作负载,并支持MinIO的所有核心和高级S3特性和功能。对于生产环境,MinIO建议使用4个节点和4个驱动器的基线拓扑。
如何做一台文件服务器\x0d\假如你是某公司的系统管理员,现在公司要做一台文件服务器。公司购买了一台某品牌的服务器,在这台服务器内插有三块硬盘。 \x0d\公司有三个部门---销售,财务,技术。每个部门有三个员工,其中一名是其部门经理(另两名是副经理)1. 在三块硬盘上共创建三个分区(盘符),并要求在创建分区的时候,使磁盘实现容错的功能; \x0d\2. 在服务器上创建相应的用户帐号和组; \x0d\命名规范,如:用户名:sales-1,sales-2?;组名:sale,tech? \x0d\要求用户帐号只能从网络访问服务器,不能在服务器本地登录 \x0d\3. 在文件服务器上创建三个文件夹分别存放各部门的文件,并要求只有本部门的用户能访问其部门的文件夹(完全控制的权限),每个部门的经理和公司总经理可以访问所有文件夹(读取),另创建一个公共文件夹,使得所有用户都能在里面查看和存放公共的文件; \x0d\4. 每个部门的用户可以在服务器上存放最多100M的文件; \x0d\5. 做好文件服务器的备份工作以及灾难恢复的备份工作; \x0d\发送给我的好友 提醒我回答有更新 \x0d\你可以把这个生意经分享给旺旺,MSN或QQ上的好友 \x0d\\x0d\当这个生意经的回答有更新时,您可以及时收到提醒 \x0d\\x0d\发送给好友\x0d\\x0d\生意经链接: \x0d\窗体顶端\x0d\\x0d\发送描述: \x0d\窗体底端\x0d\\x0d\郁闷啦!看看这个问题,你一定要帮我啊!\x0d\ \x0d\这个东东太实用了,看完记得收藏哦!\x0d\ \x0d\旺旺浮出提醒好友\x0d\\x0d\生意经的地址已经复制\x0d\您可以粘帖到MSN或者邮件发给您的好友 \x0d\\x0d\收藏成功,回答有更新时旺旺会浮出提醒你哦!现在就去查看我的收藏 \x0d\\x0d\网友回答 \x0d\\x0d\(1) 学会安装和配置文件服务器。\x0d\\x0d\(2) 学会服务器端共享文件夹的配置和管理。\x0d\\x0d\(3) 学会客户端访问共享文件夹的方法。\x0d\\x0d\(4) 学会分布式文件系统的设置方法。\x0d\\x0d\(5) 实验学时:2\x0d\\x0d\2 实验相关理论与知识\x0d\\x0d\计算机网络的基本功能是在计算机间共享信息,文件共享可以说是最基本、最普遍的一种网络服务。虽然越来越多的用户购置专用文件服务器(如NAS),但是通用操作系统提供的文件服务器功能也非常实用,完全能满足一般的文件共享需求,下面主要介绍Windows Server 2003文件服务器的配置、管理和应用。\x0d\\x0d\文件服务器负责共享资源的管理和传送接收,管理存储设备(硬盘、光盘、磁带)中的文件,为网络用户提供文件共享服务,也称文件共享服务器。除了文件管理功能之外,文件服务器还要提供配套的磁盘缓存、访问控制、容错等功能。部署文件服务器,主要要考虑以下3个因素。\x0d\\x0d\·存取速度:快速存取服务器上的文件,例如可提供磁盘缓存加速文件读取。\x0d\\x0d\·存储容量:要有足够的存储空间以容纳众多网络用户的文件,可使用磁盘阵列。\x0d\\x0d\·安全措施:实现网络用户访问控制,确保文件共享安全。\x0d\\x0d\文件服务器主要有两类解决方案,一类是专用文件服务器,另一类是使用PC服务器或PC计算机组建的通用文件服务器。\x0d\\x0d\专用文件服务器是专门设计成文件服务器的专用计算机,以前主要是运行操作系统、提供网络文件系统的大型机、小型机,现在的专用文件服务器则主要指具有文件服务器的网络存储系统,如NAS和 SAN。NAS独立于操作系统平台,可支持多种操作系统和网络文件系统,提供集中化的网络文件服务器和存储环境,比一般的文件服务器的功能更强大,可看作是专用存储服务器,可为那些访问和共享大量文件系统数据的用户提供高效、性能价格比优异的解决方案。SAN全称存储区域网络,是一种用户存储服务的特殊网络,通常由磁盘阵列、光盘库、磁带库和光纤交换机组成。NAS可作为独立的文件服务器,提供文件级的数据访问功能,更适合文件共享。而SAN提供数据块级的数据访问功能,更适合数据库和海量数据。\x0d\\x0d\目前一般用户使用PC服务器或PC计算机,通过网络操作系统来提供文件服务,UNIX、Linux、Novell、 Windows等操作系统都可提供文件共享服务。Windows网络操作系统,如Windows NT Server、Windows2000 Server和最新的Windows Server 2003由于操作管理简单、功能强大,在中小用户群中的普及率非常高,许多文件服务器都运行Windows网络操作系统。下面将重点以Windows Server 2003为例介绍文件服务器的配置、管理和应用。\x0d\\x0d\3 实验环境与设备\x0d\\x0d\C/S模式的网络环境,包括一台Windows XP客户机和一台Windows Server 2003服务器。\x0d\\x0d\两种可选的物理拓扑(交叉线连接或通过集线器/交换机用直连线连接)。\x0d\\x0d\4 实验内容与步骤\x0d\\x0d\4.0 服务器的基本网络配置,包括IP地址为"192.168.105.XX"、网关为"192.168.105.254"等。(注:"XX"代表你配置机器的主机编号,"nXX"代表你的服务器主机名,例如你坐在5号机上则"XX"代表"05","1XX"代表"105",配置此机的IP地址为"192.168.105.5"、主机名为"n05",下同)。\x0d\\x0d\4.1 安装和配置文件服务器\x0d\\x0d\文件服务器提供网络上的中心位置,可供存储文件并通过网络与用户共享文件。当用户需要重要文件时,可以访问文件服务器上的文件,而不必在各自独立的计算机之间传送文件。如果网络用户需要对相同文件和可通过网络访问的应用程序的访问权限,就要将该计算机配置为文件服务器。默认情况下,在安装Windows Server 2003系统时,将自动安装"Microsoft网络的文件和打印共享"网络组件。如果没有该组件,可通过网络连接属性对话框安装。\x0d\\x0d\1.准备工作\x0d\\x0d\在部署文件服务器之前,应当做好以下准备工作。\x0d\\x0d\·划出专门的硬盘分区(卷)用于提供文件共享服务,而且要保证足够的存储空间,必要时使用磁盘阵列。\x0d\\x0d\·磁盘分区(卷)使用NTFS文件系统,因为FAT32缺乏安全性,而且不支持文件和文件夹压缩、磁盘配额、文件加密或单个文件权限等重要特性。\x0d\\x0d\提示:使用Windows Server 2003自带的工具即可将FAT32转换成NTFS格式。该工具名为Convert.exe,位于Windows安装目录下的System32目录中。在命令行状态运行该工具即可,如Convert E:/FS:NTFS。\x0d\\x0d\·确定是否要启用磁盘配额,以限制用户使用的磁盘存储空间。\x0d\\x0d\·确定是否要使用索引服务,以提供更快速、更便捷的搜索服务。\x0d\\x0d\2.配置文件服务器\x0d\\x0d\只要将Windows Server 2003计算机上的某个文件夹共享出来,就会自动安装文件服务器,也可通过"配置您的服务器向导"工具来安装文件服务器角色。这两种方法的差别是,第二种方法提供更多的选项,并在程序菜单中提供文件服务器管理台工具。这里介绍采用第二种方法的基本步骤。\x0d\\x0d\(1) 启动"配置您的服务器向导"工具。默认情况下,登录Windows Server 2003时将自动启动"管理您的服务器"(也可从控制面板中选择管理工具→管理您的服务器),单击添加或删除角色。另一种方法是直接从控制面板中选择管理工具→管理您的服务器→配置您的服务器向导。单击下一步按钮。\x0d\\x0d\(2) 在配置选项界面中选择自定义配置,单击下一步按钮。\x0d\\x0d\(3) 在服务器角色界面中,如果文件服务器的已配置状态为"否",就单击文件服务器,然后单击下一步。\x0d\\x0d\注意:如果文件服务器的已配置状态为"是",就单击文件服务器,再单击下一步按钮打开角色删除确认界面,并选择删除文件服务器角色复选框,即可删除文件服务器角色,这样该服务器上的文件和文件夹就不再共享,依赖于这些共享资源的网络用户、程序或宿主都将无法与它们连接。\x0d\\x0d\(4) 出现文件服务器磁盘配额对话框中,为服务器上所有NTFS分区设置默认的磁盘配额。勾选为此服务器的新用户设置默认磁盘空间配额和拒绝将磁盘空间给超过配额限制的用户。单击下一步按钮。默认情况下是没有启用磁盘配额。\x0d\\x0d\(5) 出现文件服务器索引服务对话框,确定是否要使用索引服务。单击下一步按钮。一般情况下不需索引服务,只有在用户要经常搜索该服务器上的文件内容时才启用它。\x0d\\x0d\(6) 出现选择总结对话框,查看和确认已经选择的选项,单击下一步按钮。\x0d\\x0d\本例中有"设置默认磁盘配额"、"安装文件服务器管理"和"运行共享文件夹向导来添加一个新的共享文件夹或共享已有文件夹"等选项。\x0d\\x0d\(7) 自动完成相关配置后,出现共享文件夹向导,根据提示配置共享文件夹以供其他用户共享。只有配置了共享文件夹之后,文件服务器才能建立。\x0d\\x0d\(8) 单击下一步按钮,出现文件夹路径对话框,指定要共享的文件夹路径。可通过浏览在C盘目录下新建一个FileShare作为共享目录,此时文件夹路径输入框中将出现C:FileShare(如果C盘中已经建立过此文件夹,才可以在此输入框中直接输入)。\x0d\\x0d\(9)单击下一步按钮,出现名称、描述和设置对话框,指定共享名。\x0d\\x0d\(10) 单击下一步按钮,出现权限对话框,指定共享权限为管理员有完全访\x0d\\x0d\问权限;其他用户有只读访问权限,单击完成按钮。这里提供了几种预置的权限,也可以自定义权限。\x0d\\x0d\(11)共享成功对话框中显示共享成功,给出新建共享文件夹的信息。如果要继续设置其他共享文件夹,则选中下面的复选框。单击关闭按钮,完成。\x0d\\x0d\至此文件服务器配置就完成了。接下来可执行各项文件管理任务。\x0d\\x0d\3.文件服务器管理工具(以下方法至少掌握一种)\x0d\\x0d\Windows Server 2003提供了用于文件服务器配置管理的多种工具。\x0d\\x0d\·文件服务器管理控制台:打开"管理您的服务器"工具,在文件服务器区域单击管理此文件服务器,打开该控制台。要使用"配置您的服务器向导"工具安装文件服务器,可从程序菜单中选择管理工具→文件服务器管理命令打开该控制台。\x0d\\x0d\·"共享文件夹"管理工具:也可通过"计算机管理"工具中的"共享文件夹"管理工具来执行共享文件夹的配置管理,从程序菜单中选择管理工具→计算机管理,展开共享文件夹节点即可。\x0d\\x0d\·Windows资源管理器:可直接将文件夹配置为共享文件夹。\x0d\\x0d\·命令行工具:如net share可显示有关本地计算机上全部共享资源的信息。
关于“分布式文件存储服务器之Minio对象存储技术参考指南”这个话题的介绍,今天小编就给大家分享完了,如果对你有所帮助请保持对本站的关注!
本文来自作者[仲孙朝曦]投稿,不代表长隆号立场,如若转载,请注明出处:https://clcgzw.com/cshi/202502-2058.html
评论列表(4条)
我是长隆号的签约作者“仲孙朝曦”!
希望本篇文章《分布式文件存储服务器之Minio对象存储技术参考指南》能对你有所帮助!
本站[长隆号]内容主要涵盖:国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览:网上科普有关“分布式文件存储服务器之Minio对象存储技术参考指南”话题很是火热,小编也是针对分布式文件存储服务器之Minio对象存储技术参考指南寻找了一些与之相关的一些信息进...