하드웨어

현재 구성시킨 클러스터의 하드웨어 구성과 모델 선정 이유등을 설명합니다.

현재 운영하고 있는 라즈베리파이 클러스터 사진

라즈베리파이 모델 선정

라즈베리파이4B는 2G, 4G, 8G 버전을 가지고 있습니다. 사람에 따라 기준이 다를수는 있겠으나, 저는 가격대비 메모리가 많은 것이 훨씬 효율적이라 생각하기 때문에 노드 구성 기준을 8G 버전으로 선정하였습니다.

K3S의 최소 노드 요구 사항이 2GB인 이유가 기본 서비스가 올라간 후 워커가 작업을 할 수 있는 여유분을 가질 수 있는 최소 수치가 2GB였기 때문입니다. VPS에서도 메모리에 따라 비용이 거의 배가 되는 것을 생각해 보면 메모리가 넉넉한 것을 선택하는것이 틀린 결정은 아니라고 생각합니다.

결국 원할한 운영을 위해 4GB 이상이 좋을 것으로 판단되었고, 4G와 8G의 가격차이가 얼마되지 않는 것을 고려한다면 8G를 선택하는게 좋을 것으로 판단되었습니다.

실제 중고시장에서 4GB와 8GB의 가격이 거의 1만원 전후로 차이나기 때문에 중고를 구매한다면 더더욱 8GB 버전을 구매하실 것을 추천합니다.

SSD 모델 선정

제가 구입을 고려하던 2021년 10월 쯤에는 M.2 NVME 드라이브중에 노트북에서 추출한 저렴한 제품이 판매되고 있었습니다.

16,900원 - 삼성전자 삼성 PM991 저장장치 NVMe SSD 128GB 노트북 데스크탑 사용가능(벌크상품)

주의! 위의 링크에서 2021년 11월 18일 기준 현재 교묘하게 Lite On 이라는 다른 제품을 판매하고 있습니다. 구매에 착오 없으시길 바랍니다.

그리고 이건 아마존에서 팔고 있는 동일 모델명의 2230 형태의 M.2 NVME 입니다.

$19.99 - Samsung PM991 Internal SSD, 128GB PCIe Gen3 x4 NVMe Solid State Drive, M.2 2230 M Key, Speeds up to 2000 MB/s read and 1000 MB/s write, Model MZ-9LQ128A, DPN 0CNYM8, PN MZ9LQ128HBHQ-000D1, OEM Package

스펙을 보면 읽기 2000 MB/s, 쓰기 1000 MB/s 라고 명시되어 있고, 실제 구매자들의 가격대비 만족도는 매우 높습니다.

이걸 쓰지 않을 이유가 없어 보입니다. 어차피 USB3.2 스펙이라는 USB-C 형태의 10GB/s 지원 어댑터를 사용한다 해도 최고 속도는 대략 1000 MB/s 이지만, 우리가 실질적으로 사용 할 라즈베리파이는 USB-A 타입인 5GB/s로 연결되기 때문에 실제 속도는 대략 500MB/s 이하가 대부분입니다.

중요한건 현재 라즈베리파이4의 경우 내부적으로 USB의 속도 제한이 있다고 알고 있습니다. 실제로 최대 속도가 330MB/s 이상 나오는 벤치결과를 본적이 없습니다.

후담 이지만 제 시스템에서도 대략 320~330MB/s 정도가 나오더군요. 네 그렇지만 라즈베리파이4 에서 스토리지가 이 속도를 낸다는 것은 기존 방식과 비교했을때 어마 어마한 성능 차이입니다.

그리고 같은 값이면 M.2 NVME가 M.2 SATA에 비해 추후 라즈베리파이5 이상 모델에서 PCIe 지원이나 USB4 등을 지원하게 되거나 또는 SSD를 교체하게 될 때는 2,000 MB/s 성능을 낼 수 있기 때문에 재활용성이 더 높지 않겠습니까?

끝으로 M.2 SSD 어댑터(Enclosure) 선택은 “라즈베리파이 M2. SSD (PCIE,SATA) SSD 관련 팁입니다.” 를 참고하시면 많은 도움이 될 것 같습니다. UASP 언급을 신중하게 참고하시면 좋을 것 같습니다.

제 경우 M.2 NVME 이면서 UASP을 지원하는 국내에 출시된 어댑터중 가장 저렴하게 구매할 수 있는 제품이 오리코 M2 NVMe SSD 외장 하드 케이스 USB3.1 M2PV-C3 였습니다.

전원 어댑터

라즈베리파이의 공식 권장 전원은 5V 3A를 충족해야 합니다. 따라서 USB 외장장치를 사용하게 되면 전원 공급에 대한 문제도 중요하게 체크를 해야 합니다.

일반적으로 USB 외장 장치를 사용하지 않는 경우에는 라즈베리파이가 5V 2A 환경에서 크게 문제 없이 동작하는 것으로 확인되었습니다. 때문에 멀티충전기를 이용해 여러대의 파이에 전원을 공급해도 동작에 문제가 없었던듯 싶습니다.

하지만, 저 처럼 USB를 통해 SSD등의 외장장치를 연결하게 되면 외장장치에 별도의 전원을 공급하지 않는 이상 USB를 통해 외장장치에 전원을 공급하게 되기 때문에 사정이 완전 달라집니다.

라즈베리파이4 에서 USB에 공급 가능한 총 전류는 1.2A 라고 합니다. 우리가 단 하나의 USB 포트에 1개의 외장 SSD를 연결했다는 가정하에서 SSD가 소비하는 전력도 확인이 필요합니다.

다행히도 제가 선정한 PM991의 경우 소비전류가 1A 미만의 저전력 저발열 제품이여서 라즈베리파이와는 궁합이 아주 좋습니다.

반대로 고성능 SSD를 사용하시는 경우 최대 5V 4A 이상의 전원어댑터를 이용하시거나 PoE+ Hat을 연결해서 사용하는 방법을 선택하셔야 합니다.

실제로 라즈베리파이가 제 손에 도착 한 후 한대를 시험삼아 운영하는 과정에서 멀티충전기를 통해 전원을 공급하고 PM991을 USB에 연결시켜 사용하는 도중에 라즈베리안 데스크탑 환경에서 저전력 경고가 표시되는 것을 확인했었습니다.

PoE+

Power Over Ethernet - 이더넷 케이블을 통해 전력을 공급하는 규격을 말합니다.

라즈베리파이에는 40개의 PIN을 가진 입출력 포트가 있습니다. 이를 GPIO(General Purpose Input Output)라고 부릅니다. 이 포트를 통해 확장기능을 제공하는 결합형 모듈을 Hat 이라고 부릅니다. PoE+ Hat은 이더넷 케이블을 통해 들어오는 전력을 파이에 공급해 주는 확장 모듈입니다. 이 Hat은 PoE와 PoE+로 두 가지 다른 모델로 판매되고 있습니다. 나중에 출시 한 PoE+가 5V 4A를 충족시키는 모델이므로 SSD를 확장시켜 사용하려면 PoE+를 선택하셔야 합니다.

현재 PoE+ Hat 국내 판매가가 대략 3.5만원 정도 하는데 어댑터 가격이 대략 5~7천원 정도 인것과 비교해서는 큰 매력이 있지는 않습니다. 다만 파이의 수가 많아지는 경우 케이블 관리등을 위해서는 대체 할 매력이 충분하다 생각합니다.

주의! PoE+ 기능을 사용하기 위해서는 PoE+ 기능을 지원하는 스위치도 준비하셔야 합니다. 당연하게도 PoE+ 기능을 제공하는 스위치는 일반 스위치에 비해 가격이 더 비쌉니다.

사실 저도 바꾸고 싶지만, 저렴하게라는 제 기준에 부합되지 않아 현재로서는 고려하지 않고 있습니다. ;;

최종 구매 비용

2021년 10월 13~15일 구매 기준입니다.

품목	개수	단가	합계	기타
라즈베리파이 4B 8GB	4개	75,000	300,000	중고 구매
삼성 PM991 128GB NVME SSD	4개	16,900	69,600	배송비 포함
Oricon M2 Enclosure USB3.1	4개	26,000	106,500	배송비 포함
5V 3A 전원 어댑터	4개	6,800	27,200	쿠팡와우
ipTime 8 Port Gigahub	1개	31,000	31,000	쿠팡와우
UTP CAT 5E 랜케이블 10개	1개	7,500	7,500	쿠팡와우
써지오 멀티탭 6구	1개	9,600	9,600	쿠팡와우
HDMI to Micro HDMI 젠더	1개	4,260	4,260	쿠팡와우
GeeekPi 파이 클러스터 케이스 4층	1개	$28.47	약 34,164	아마존 배송비 포함
합계 (원)			589,824	약 59만원

제 경우 중고마켓에서 거의 사용하지 않은 라즈베리파이4 8GB 모델을 개당 7.5만원에 살 수 있는 기회가 있어서 조금은 저렴하게 구매한 듯 싶습니다.

당시 신품 가격은 의미없는 방열판 포함 대략 10.9만원 정도 였던걸로 기억이 됩니다. 신품 가격을 기준으로 하면 전부 약 73만원 정도가 될 것 같습니다.

주의! 단순하게 방열판만 부착해서는 쿨링 성능을 거의 기대할 수 없다는 것을 조금만 검색해보시면 알 수 있습니다. 이 방열판이 효과를 보기 위해서는 쿨러가 장착되어야 하는데, 이 쿨러는 보통 케이스를 구매하시면 함께 제공 받을 수 있습니다.

제 경우 초창기에 쿨러나 방열판 없이 사용 할 때 평균 60도 전후의 온도를 보여줬었습니다. 이후 클러스터 케이스에 쿨러와 함께 설치한 이후 평균 40~45도 정도를 유지하는 것 같습니다. 대신 쿨러가 작다보니 작은 소음이 지속적으로 나오는데 평상시에는 괜찮지만 늦은 저녁시간에는 꽤나 거슬리네요.

최근 코로나 여파로 부품 수급이 어려워 2GB 버전의 가격이 공식적으로 오른것으로 알고 있는데 아무래도 전체적으로 구입이 어렵고 가격이 비싸진듯 싶습니다.

국내나 아마존 모두 가격이 올랐네요.

차라리 노트북?

올 여름에 거실에서 작업을 하기 위해 노트북을 하나 장만했습니다. AMD Ryzen 5700U 모델이 들어간 8코어 16스레드 노트북입니다. 16GB 메모리 업그레이드 포함 약 67만원 정도에 구매를 했습니다.

이 노트북을 구매한 이유는 바로 소비 전력이 아주 작기 때문입니다. 그리고 무거운 3D 그래픽 게임을 제외하고는 무엇을 하던지 전혀 부족함이 없는 사양입니다.

제가 만드는 C++ 코드의 소스 컴파일 시간도 제 3950x 데스크탑에 비해서 두 배 정도의 시간이면 다 컴파일 됩니다. 씨네벤치를 돌려보니 제 데스크탑에 비해 약 1/3 정도의 성능이더군요 아주 훌륭합니다.

단지 모니터를 연결하지 않으면 화면이 작고, 부하가 걸렸을때 키보드를 통해서 열기가 전달되는 불편함이 조금 있을 뿐이죠.

가끔 라즈베리파이 클러스터와 노트북을 비교하는 분들이 계십니다.

하지만 서버를 운영하는 경우 시스템 업데이트를 한다던지 필요에 의해 재부팅을 해야 하는 경우는 반드시 생깁니다. 전체 시스템이 재부팅 되어야 하는 경우와 필요시 노드별로 순차적 업데이트를 할 수 있는 구조는 아주 큰 차이가 있습니다.

그게 제가 라즈베리파이 클러스터를 선택 한 이유이기도 합니다.

소비전력은?

지난 한 달간의 소비전력

이 소비전력은 4대의 라즈베리 파이와 각 파이에 연결 된 SSD와 쿨링 팬의 소비전력 및 네트워크 허브가 사용하는 소비전력을 모두 포함하고 있습니다.

초창기 K3S 클러스터를 구성하고 longhorn, metallb, prometheus, prometheus-operator, grafana, wordpress, mariadb 정도 올린 상태로 운영을 했구요 그 때 평균 소비전력은 대략 22w 정도였던것 같습니다.

10월 말 부터 마인크래프트 자바 서버 세팅을 시작해서 11월 10일 전후로 세팅을 마치고 정식 운영을 해서 주로 매일 저녁에 아이들이 접속해서 사용을 하고 있는 상황입니다. 마인크래프트 서버는 상시 구동되며 접속자가 없을 때는 아이들 모드로 진입하도록 되어 있습니다.

이미지 내의 가장 윗 부분에 전체 평균 소비전력이 표시되고 있으며 이를 기준으로 한 달 평균을 계산해 보면 28w * 24시간 * 30일 = 20,160W로 약 20kw로 예측할 수 있습니다.

제 Ryzen 3950x 데스크탑이 아이들 상태에서 측정해도 대략 65w 정도가 소비되는 것과 비교하면 아주 만족할 만한 수준입니다.