$ git log origin/<branch name>..HEAD

NVIDIA PCI Vendor ID 로 잡히는 것이 있는지 확인

# NVIDIA Vendor ID : 10de
$ lspci -nn -d 10de:*

lspci update

최신 GPU일 경우 pci id 업데이트가 안되어서 안나올 수 있음.

$ sudo update-pciids

lspci에 Vendor ID 로 잡히는 것이 없을 경우

lspci에서 Veodor ID로 잡히는게 없을 경우 PCI Express 에서 잡히는게 없을 경우, 해당 카드가 인식자체가 되지 않았을 가능성이 있음.

• 소비 전력 확인 및 보조 전력 확인
  소비 전력이 300W이상인데 그 이하의 적절하지 않은 부족한 전력 연결시, 인식자체가 되지 않는 현상을 확인함.
  올바르게 연결(8 Pin * 2)한 이후 정상적으로 lspci에 리스팅 된 것을 확인할 수 있었음.

docker> $ cat /proc/self/cgroup | grep docker

마지막 Checksum을 OS Native에서 Docker container의 Checksum과 비교하면 된다.

$ docker container ls -a

갑자기 잘 쓰던 서버에서 아래와 같은 오류가 발생한다.

그래서 지우고 다시 설치하려고 하니, 아래와 같은 오류가 발생한다.

이유를 몰라서 패키지를 지울려고 해도, 찾지를 못하고 지우고 재 설치도 쉽지가 않다.
도저히 방법이 없어서 fix-broken 설치를 먼저 했는데 nvidia 패키지들을 다 재설치를 한다.

sudo apt --fix-broken install

뭔가 커널 버전이 자동 업데이트 되서 Driver가 커널 버전 매칭이 안되서 오류가 발생한거고 --fix-broken install이 맞는 버전으로 재 설치 한게 아닐까 생각이 됨...

 윈도우에서는 환경 변수 설정을 안해봐서 뭐지하고 검색해보니... 그언젠가 옛날에 해본거 같다...

set PATH=<Path what you want to add>;%PATH%

1. 서버에 Disk 인식

확인방법

아래의 명령어로 추가한 Disk의 Device Charactor가 보여야 한다.

$ sudo fdisk -l

추가한 Disk가 안보일 경우

진행 불가, 인식이 안되는 상황으로 OS단의 Command로 진행이 어려움

가능한 원인

• Raid Controller를 사용할 경우 Raid Controller에서 Virtual Disk로 Raid 설정 이후에 OS에서 Disk가 인식됨
• Disk 자체가 Board에 연결이 안되었을 경우
• Disk 비정상 동작 혹은 미동작 상태

2. 실제 사용 중인지 검토

확인 방법

mount가 되었는지 확인한다.
fdisk 명령에서 확인된 device가 보이지 않아야 한다.

$ df -h

3. mount 경로 생성

disk를 mount를 하게 된 논리 경로 주소 생성

$ sudo mkdir /data1

4. Partition 생성

2TB 이상일 경우 GPT(Guid Partition Table) 파티션을 사용해야 함. 여기서는 GPT 를 기준으로 진행함. 대상은 "sda"로 가정함.
순서대로 아래와 같이 입력함

Input

• mklabel gpt # GPT label
• Yes
• unit TB # Set unit as TB
• mkpart primary 0.00TB 3.5TB # make primary partition
• print # print information

Example

$ sudo parted /dev/sda
GNU Parted 3.3
Using /dev/sda
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) mklabel gpt
Warning: The existing disk label on /dev/sdc will be destroyed and all data on this disk will be lost. Do you want to continue?
Yes/No? Yes
(parted) unit TB
(parted) mkpart primary 0.00TB 3.5TB
(parted) print
Model: <Drive MODEL INFORMATION> (scsi)
Disk /dev/sda: 3.84TB
Sector size (logical/physical): 512B/4096B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name     Flags
 1      0.00TB  3.84TB  3.84TB               primary

(parted) quit
Information: You may need to update /etc/fstab.

위와 같이 진행 후에는 /dev/sda1 이 확인되어야 한다.

5. Disk 포멧

명령어

$ sudo mkfs.ext4 /dev/sda1

UUID 확인

$ sudo blkid

아래와 같이 UUID를 확인 가능하여야 한다.

/dev/sda1: UUID="XXXX-XXXX-XXXX-XXXX-......-XXXX" TYPE="ext4" PARTLABEL="primary" PARTUUID="YYYYYY-YYYY....YYYY"

6. fstab에 추가

$ sudo vi /etc/fstab

아래의 내용 추가

/dev/disk/by-uuid/XXXX-XXXX-XXXX-XXX-.....-XXXX /data1 ext4 default 0 0

7. mount

아래의 명령어로 mount all 시키면 fstab 정보 기반으로 모든 mount를 시도한다.
실패할 경우 오류 메시지가 나오는데 오타가 없는지 확인해본다.

$ sudo mount -a

disk가 정상적인지 확인해본다.

$ df -h

sda1을 참고하는 경로가 출력되어야 한다.

/dev/sda1       3.5T   45G  3.3T   2% /data1

Group 추가

 $ groupadd <Group Name>

Group 확인

 $ groups

Group에 User 추가

 $ gpasswd -a <User ID> <Group Name>

Group의 User 삭제

 $ gpasswd -d <User ID> <Group Name>/

Group 접근 권한 폴더에 추가

 $ chmod 775 <Folder> -R

Group 권한 추가

 $ chown <User ID>:<Group ID> <Folder> -R

Unknown runtime specified nvidia 오류

nvidia-driver를 재설치 하거나 처음 설치하고, docker를 runtime 옵션으로 nvidia 설정을 하는 경우 마주하는 경우가 있다.
이 오류는 아래와 같이 나타나기도 한다

docker: Error response from daemon: unknown or invalid runtime name: nvidia.

nvidia-docker2가 설치가 안되어 있을 가능성이 있으며, 설치되어 있지 않을 경우 설치해줄 경우 정상 동작하는 것이 확인된다.

nvidia-docker2 설치 확인

$ dpkg -l | grep nvidia-docker2

nvidia-docker2 설치

$ sudo apt install nvidia-docker2

nvidia gpg key와 저장소 추가

만약 nvidia-docker2를 못찾을 경우 저장소 추가

distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
   && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \
   && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

docker 재시작

$ sudo systemctl restart docker

전력 측정

$ sudo ipmitool dcmi power reading

Fan 속도 변경

현재 Fan Mode

$ sudo ipmitool raw 0x30 0x45 0

Fan Full Mode(100% RPM Speed)

$ sudo ipmitool raw 0x30 0x45 1 1

Fan Optimal Mode(20% RPM Speed)

$ sudo ipmitool raw 0x30 0x45 1 2

Fan HeavyIO Mode(50% RPM Speed)

$ sudo ipmitool raw 0x30 0x45 1 4

온도 측정

$ sudo ipmitool sdr type Temperature

IPMI Booting 후에 ipmitool을 이용하여 Network 및 User 설정하기

IPMI는 Booting시 BIOS 진입하여 IPMI Network 설정 이후 접속하여 사용함.

사용중인 서비스에서는 혹은 DataCenter에 이미 삽입되어 있는 서버에서는 그 작업은 여간 불편하거나 어려운게 아님

ipmitool을 이용하면 remote 상태에서 IPMI 설정이 가능함

ipmitool

설치

ipmitool 명령어가 없을 경우 apt로 간단히 설치해줌

$ sudo apt install ipmitool

지원 보드 확인 방법

보드 정보를 확인해서 구글링해서 보드 사양에 IPMI를 지원하는지 확인해본다

sudo dmidecode -s baseboard-product-name

IPMI Device 확인

/dev 밑에 ipmi 파일 확인

$ ll /dev/ | grep ipmi

Network

Network 정보 확인

$ sudo ipmitool lan print

Network 설정

Interface Static 설정(기본 DHCP로 되어있을 것임)

$ sudo ipmitool lan set 1 ipsrc static

Network IP 설정

$ sudo ipmitool lan set 1 ipaddr <IP ADDRSS>
$ sudo ipmitool lan set 1 netmask <NET MASK>
$ sudo ipmitool lan set 1 defgw ipaddr <DEFAULT GW IP ADDR>

User 설정

User를 추가해줘야 한다. 해당 User 계정으로 Terminal이든 Web이든 접속 가능하다

User List 확인

$ sudo ipmitool user list

User 추가

User ID는 User List에 비어있는 ID를 사용한다.

$ sudo ipmitool user set name <USER ID> <USER NAME>

User Password 설정

아래의 명령어 이후에 2번의 password를 입력해야 하는데, 보드별 허용 문법에 맞지 않을 경우 오류를 리턴한다.
될떄까지 할 수 밖에 없다. 영문+숫자+특수문자 조합은 먹히는 것 같다.

$ sudo ipmitool user set password <user id>

User 권한 추가

권한이 없으면, 접속이 불가능하다. 반드시 권한을 줘야 접속 권한으로 접속할 수 있다.

$ sudo ipmitool channel setaccess 1 <USER ID> link=on ipmi=on callin=on privilege=<PRIVILIGED LEVEL>

가능한 PRIVILEGE LEVEL은 아래와 같다.

    Possible privilege levels are:
   1   Callback level
   2   User level
   3   Operator level
   4   Administrator level
   5   OEM Proprietary level
  15   No access

설정 적용

아래의 명령어로 설정 적용 및 reset을 동작하지 않으면 설정한 설정들이 동작되지 않는다.
시간이 약간 걸리니 마음의 평안을 가지고 기다려보도록 하자.

$ sudo ipmitool bmc reset cold