CAS系统中NAS玩法的一些心得

wangyonc

交易区新帖推荐

自从好几年前彻底抛弃转盘转入CAS播放，NAS就一直作为系统中重要的一个组件存在着。数据存储的玩法多样，但我追求的是稳定、可扩展性以及数据的安全性。
前几年一直使用synology成品的5盘位NAS，但5盘位最终在去年夏天成为最大的坎，扩展性是大问题，虽然synology有独立的扩展设备，但是性价比以及与主机通信的ESATA 3G端口要带动5个盘让我觉得无法接受。
因此去年夏天就开始折腾DIY一套符合我要求的NAS系统。
软硬件搭配大致是HP的小主机，配备8G内存以及一块很少见的G系列双核intel的U，基本够用，RAID卡为DELL H810。软件环境为ubuntu 13.04（OS中还需要配置megaraid服务器，avahi等用于管理和实现nas功能的软件）。硬盘柜为rackable 16盘位 SAS，可惜不支持6G，只能支持到SATA 3，但还不是系统的瓶颈所在。初期硬盘配置为4片ST 4T，RAID5，共获得实际11T不到一点的使用空间。并配备2片120G SSD组成Raid0作为高速缓冲，其实就类似于混合硬盘。
昨日下载点美剧大包，一季权利的游戏就超过200G，一看可用空间只有不到1T了，加之一直担心纯粹的raid5还不够安全，所以动了扩容的脑经，说干就干，通知徐家汇开店的朋友送来两块ST 4T，开始了可能需要3天的rebuild之旅。


nas主机没有接显示器和键盘鼠标，7*24小时卡机，所以管理访问就通过teamviewer来实现。raid卡的管理，需要在ubuntu中配置好megaraid的服务器端，才能在win系统下以MSM来实现访问管理和控制。

可以看到raid系统的大概，全部硬盘容量为22TB，并且已经全部加入了配置。系统进程显示了重新配置的进度，因为是不停机的在线扩容，所以将近20小时了，只完成了不到30%。

这个界面里可以看到物理硬件配置，6片4T，2片120GSSD以及BBU电池组件。上文说了，因为担心单纯的raid5还是不够安全，所以这次的2片4T，其中一片直接配置为hot swap了，所以实际容量只增加了一片4T，大概是3.6T的空间吧。

这个界面可以看到实际的配置情况，因为扩容的那片硬盘还没有完成最终的重配置，所以还没有在VD0下面看到。

暂时先想到这些，写到这里，此玩法虽然性价比很高，但也需要一定的计算机基础知识。

farrel

22TB。。很恐怖。。难怪要自己上机器了。

入门还是Synology比较简单。

mc鲁迅

raid5扩容。。。。 何苦呢 其实好好用不一定坏 扩容过程中挺容易挂盘的
lz linux玩的熟 不妨进一步试试freenas
或者在ubuntu里撸个logitechmediaserver

曾经是九段

LZ提供了一个非常好的思路，感谢LZ的经验分享！

wangyonc

mc鲁迅 发表于 2014-2-23 12:53
raid5扩容。。。。 何苦呢 其实好好用不一定坏 扩容过程中挺容易挂盘的
lz linux玩的熟 不妨进一步试试fre ...

容量不足只好扩容，断断续续玩raid也17、8年了，扩容还没碰到过挂盘的情况。另外你所说的freenas我试过觉得还不是太方便，毕竟freenas也只是一个精简的linux，且针对我试过的几款raid卡的支持都不是很理想。mediaserver对我无用，我并不是以nas机作为mediaserver来使用。

qjzy

不知LZ这台NAS是用什么方式为主机提供媒体呢？LZ说不作为媒体服务器，也就是说不用UPnP/DLNA服务，那LZ难道用smb服务？

wangyonc

qjzy 发表于 2014-2-23 20:08
不知LZ这台NAS是用什么方式为主机提供媒体呢？LZ说不作为媒体服务器，也就是说不用UPnP/DLNA服务，那LZ难道 ...

恩，只是NAS，不是media server，所以目前只用smb就可以了，配合Bonjour，win系统下的jriver+jplay以及mac系统下的itunes+amarra或者audirvana+都可以很方便使用。

mc鲁迅

wangyonc 发表于 2014-2-23 13:37
容量不足只好扩容，断断续续玩raid也17、8年了，扩容还没碰到过挂盘的情况。另外你所说的freenas我试过觉 ...

freenas的特点不是硬raid了 而是软raid

wangyonc

mc鲁迅 发表于 2014-2-23 23:01
freenas的特点不是硬raid了 而是软raid

没错啊，我就是信不过软raid啊，且不说性能（dell H810 raid卡，1G缓存，2G频率双核主控，挂R5软raid性能根本无法比），安全性上就远不如硬raid了，如果freenas崩溃或者主机硬件出问题，我都无法确信是否能恢复数据。而硬raid就不必担心，无论是主机硬件损坏还是raid卡损坏，都可以找回数据，raid本来就是性能+安全性的选择，如果比较起来，那资金够得着的情况下完全不需要考虑freenas啦。

mc鲁迅

wangyonc 发表于 2014-2-24 11:13
没错啊，我就是信不过软raid啊，且不说性能（dell H810 raid卡，1G缓存，2G频率双核主控，挂R5软raid性能 ...

1 你对软raid的认识比较老了 zfs算是新一代的软raid 除了性能不输外 还可以修复slient corruption后者硬raid做不到
2 freenas做储存其实更贵 内存8g起跳 此外每1t的硬盘要配套1g gcc内存
3 zfs扩容比硬raid友好和简单很多
这论坛也不是讨论这些的地方 随便一说 你有兴趣了解就看看 没兴趣就算了

amex

{:3_90:}esata卡+硬盘盒挂4个本地硬盘的就这样了……
LZ硬盘狂人

wangyonc

mc鲁迅 发表于 2014-2-24 11:55
1 你对软raid的认识比较老了 zfs算是新一代的软raid 除了性能不输外 还可以修复slient corruption后者硬r ...

zfs没记错的话跟lvm是一个性质的东西吧，一种可跨盘的分区模式。Silent Data Corruption实际使用中还未真正碰到过，也可能是我运气比较好吧，讲到性能方面，软R5多块硬盘下面的实际性能确实不如现在主流的SAS raid卡，主流硬件raid还是具有明显优势的，特别是多盘R5，再加上zfs这种最终都会开销到CPU占用，内存占用以及磁盘控制器IO限制上，硬件raid毕竟自带了buffer和处理单元了，且raid卡自带电池的情况下，可以提供更安全的回写，这点肯定比软raid强。freenas这个bsd核心的os本身，交互界面确实友好，软raid也使用方便。freenas的内存占用，大内存配大硬盘确实好，但大内存带来的回写问题也确实比较麻烦，且热数据算法，X86架构不一定是最优，就像CPU算比特币不如risc强劲是一个道理。另外还有一个很关键的问题是扩充性，freenas无法挂硬盘柜，也就导致硬盘的数量受到机箱的限制。
总结一下的话就是软有软的好处，方便好用。硬有硬的好处，稳定高效。

剑如虹

wangyonc 发表于 2014-2-24 13:02
zfs没记错的话跟lvm是一个性质的东西吧，一种可跨盘的分区模式。Silent Data Corruption实际使用中还未真 ...

wangyongc兄的资源真丰富。你的22t分别是什么内容？
我个人也同时玩hifi和影院，经过几年的折腾，觉得用nas来存储蓝光碟或者巨量的视频内容不是个好的选择。对于象蓝光这样的数据量和传输速度要求，以及操作的便利性和质量来看，用硬盘来存没有买碟好。
所以我原来音乐和电影（剧集）都是用硬盘或NAS存，现在NAS只放音乐，这样的话6t就搞定了，总共11T的空间还空闲很多；电影或音乐会等只买蓝光碟，目前已经几百张；而对于优质的电视剧和感兴趣的节目，通过高速的宽带，用appleTV来看就好了（当然，也可以买碟看）。
目前对这个方案比较满意。

wangyonc

剑如虹 发表于 2014-2-24 15:43
wangyongc兄的资源真丰富。你的22t分别是什么内容？
我个人也同时玩hifi和影院，经过几年的折腾，觉得 ...

算不上丰富，只是一直在增加中。22T是总硬盘容量，实际能使用的空间是14T不到，内容方面主要是音乐类大概9T，SACDISO为主，其余就是蓝光的ISO以音乐类的为主，电影我基本看完就删掉了，然后一部分我挂CHDbits了。我没有投影和多声道系统，看片子是耳机+SONY头罩，买盘对我来讲比较麻烦，还要增加一个额外的蓝光机，现在播放和媒体管理是JRIVER，很方便，千兆网络下基本上不需要考虑带宽的问题。而且可以随时切换想看啥看啥。

剑如虹

wangyongc兄的9T音乐内容也非常丰富了，如果主要以音乐为主，还比较好解决。
对于电影和剧集，如果看完就删的话，购买某些视频网站的服务也是个不错的选择，我有朋友就这么干，观影的质量还是相对有保证。否则对于动辄几个G、几十个G的蓝光内容，下载起来还是比较痛苦。当年我也热衷于用htpc去chd等网站下载内容，后面都全部删掉了，不愿意折腾了，呵呵！