Сообщений в теме: 96

[Rokc]

Краткий гайд по установке и настройке Multi-GPU майнинг ригов на базе операционной системы Linux Ubuntu 16.04

Все основано на личном опыте. Буду рад, если кому пригодится и не придется собирать инфу по крупицам 

И так...

1. Преимущества постройки ригов на базе Linux
- Возможность одновременной работы большого числа видеокарт в рамках одной материнской платы. H119 Pro BTC – 13 карт, B250 Mining Expert – 19 карт)
- Низкие требования к ресурсам (Ubuntu занимает до 30 Гб дискового пространства)
- Бесплатно (Ubuntu – система с открытым кодом)
- Отказоустойчивость (даже при повреждении ядра системы, нет необходимости в полной переустановке системы, достаточно выполнить набор команд)

2. Установка Linux Ubuntu 16.04
- Перед установкой системы нужно вставить только одну видеокарту AMD или Nvidia в разъем 1х16 материнской платы.
- Заходим по ссылке на официальный сайт и скачиваем образ диска https://www.ubuntu.c...ownload/desktop
Или
https://www.ubuntu.c...hitecture=amd64
- Нарезаем образ на USB накопитель с помощью любой специальной утилиты типа «Ультраисо»
- Загружаемся с данного USB диска, выбираем язык, и кликаем «Установить Ubuntu».
- Следуем указаниям мастера устанвки, после установки система предложит перезагрузиться

3. Установка видеодрайверов
3.1. Если у Вас карты Nvidia, рекомендуем перейти по ссылке https://losst.ru/ust...-v-ubuntu-15-10 , где наглядно описан процесс выбора и установки драйверов.

 

3.2. Если у Вас карты AMD, то все будет немного дольше, и так:

3.2.1. Качаем версию драйверов 17.40 (с этими дровами работают даже rx550 на Lexa)
wget --referer=http://support.amd.com https://www2.ati.com...2-510357.tar.xz
3.2.2. Качаем и устанавливаем APP SDK
http://developer.amd...essing-app-sdk/
3.2.3. Устанавливаем 17.40 драйвер
bash ./amdgpu-pro-install -y --compute
3.2.4. reboot
3.2.5. Проверяем все ли ок с OpenCL командой clinfo

4. Установка видеокарт
- Если у Вас карты Nvidia, опытным путем доказано, что наиболее эффективным решением будет добавление (подключение) по одной карте с последующей перезагрузкой. То есть, подключили одну карту через райзер, включили риг, загрузились, выключили риг, установили вторую, включили, загрузились, выключили и так далее. Не советуем подключать все карты одновременно, так как в файл конфигурации системы «xorg» не будет занесена необходимая информация и риг просто встанет с черным экраном.
Добавляя по одной карте, Вы также можете наблюдать за тем , сколько карт реально появилось в системе, для этого кликаете на самый верхний значок «Поиск на компьютере» и в поле поиска заносите X Server. Это специальная программа управления и мониторинга карт Nvidia. Там должны появляться GPU 0, GPU 1 и так далее.

4. Разгон карт Nvidia

4.1. Заходим в терминал, для этого нажимаем CTRL+ALT+T
- Вводим команду sudo update-grub (enter)
- Далее вводим команду, которая откроет нам доступ к управлению картами (кулеры, частоты) sudo nvidia-xconfig -a --cool-bits=31 --allow-empty-initial-configuration --enable-all-gpus
- Перезагружаемся

4.2. Разгон. Создаем пустой файл

4.2.1. В файл вставляем следующий скрипт
#!/bin/sh
nvidia-settings -a '[gpu:0]/GPUMemoryTransferRateOffset[3]=1200';
nvidia-settings -a '[gpu:1]/GPUMemoryTransferRateOffset[3]=1200';
nvidia-settings -a '[gpu:2]/GPUMemoryTransferRateOffset[3]=1200';
nvidia-settings -a '[gpu:3]/GPUMemoryTransferRateOffset[3]=1200';
nvidia-settings -a '[gpu:4]/GPUMemoryTransferRateOffset[3]=1200';
nvidia-settings -a '[gpu:5]/GPUMemoryTransferRateOffset[3]=1200';
nvidia-settings -a '[gpu:0]/GPUPowerMizerMode=1';
nvidia-settings -a '[gpu:1]/GPUPowerMizerMode=1';
nvidia-settings -a '[gpu:2]/GPUPowerMizerMode=1';
nvidia-settings -a '[gpu:3]/GPUPowerMizerMode=1';
nvidia-settings -a '[gpu:4]/GPUPowerMizerMode=1';
nvidia-settings -a '[gpu:5]/GPUPowerMizerMode=1';
nvidia-settings -a '[gpu:0]/GPUFanControlState=1';
nvidia-settings -a '[gpu:1]/GPUFanControlState=1';
nvidia-settings -a '[gpu:2]/GPUFanControlState=1';
nvidia-settings -a '[gpu:3]/GPUFanControlState=1';
nvidia-settings -a '[gpu:4]/GPUFanControlState=1';
nvidia-settings -a '[gpu:5]/GPUFanControlState=1';
nvidia-settings -a '[fan:0]/GPUTargetFanSpeed=35';
nvidia-settings -a '[fan:1]/GPUTargetFanSpeed=35';
nvidia-settings -a '[fan:2]/GPUTargetFanSpeed=35';
nvidia-settings -a '[fan:3]/GPUTargetFanSpeed=35';
nvidia-settings -a '[fan:4]/GPUTargetFanSpeed=35';
nvidia-settings -a '[fan:5]/GPUTargetFanSpeed=35';

Это скрипт разгона по памяти.
Замечание! в линуксе частота разгона в два раза ниже, то есть 1200 мгц в линуксе это если бы в афтебернере ставили 600 мгц

 

Также замечание!

Это скрипт для 6 карт 1060 3Г. То есть если у Вас 10 карт, вам нужно добавить еще строки для gpu:6, gpu7, gpu8, gpu9 в каждом блоке и то же самое для вентиляторов fan:6 fan:7 и так далее.

 

4.2.2. Cохраняем файл как oc.bash, например. Далее правой конпкой клиекаем по нему, идем в свойства. Во вкладке «права» ставим галку около «разрешить выполнение файла как программы», везде напротив «доступа» выбираем «Чтение и запись».

 

4.3. Внедряем улучшенный алгоритм работы кулеров. Создаем файл скрипта управления вентиляторами, так как встроенный алгоритм управления кулерами в карты приводит к их перегреву. Создаем пустой файл и вставляем в него скрипт управления кулерами:

 

#!/bin/bash

 

#sleep 30

 

export DISPLAY=:0

 

DELAY=5

MIN_TEMP=50

MAX_TEMP=70

 

CARDS_NUM=`nvidia-smi -L | wc -l`

 

echo "Found ${CARDS_NUM} GPU(s) : MIN ${MIN_TEMP}°C - ${MAX_TEMP}°C MAX : Delay ${DELAY}s"

 

for ((i=0; i<$CARDS_NUM; i++))

do

nvidia-settings -a [gpu:$i]/GPUFanControlState=1 > /dev/null

if [ "$?" -ne 0 ]; then

exit 1;

fi

done

 

echo "GPUFanControlState set to 1 for all cards"

 

while true

do

echo "$(date +"%d/%m/%y %T")"

for ((i=0; i<$CARDS_NUM; i++))

do

GPU_TEMP=`nvidia-smi -i $i --query-gpu=temperature.gpu --format=csv,noheader`

if [[ $GPU_TEMP < $MIN_TEMP ]]

then

FAN_SPEED=0

elif [[ $GPU_TEMP > $MAX_TEMP ]]

then

FAN_SPEED=100

else

FAN_SPEED=$(( ($GPU_TEMP - $MIN_TEMP)*100/($MAX_TEMP - $MIN_TEMP) ))

fi

nvidia-settings -a [fan:$i]/GPUTargetFanSpeed=$FAN_SPEED > /dev/null

echo "GPU${i} ${GPU_TEMP}°C -> ${FAN_SPEED}%"

done

sleep $DELAY

done

 

- сохраняем его например fan.bash и проделываем ту же процедуру с правами и доступом, что и с файлом разгона выше.

 

4.4. Делаем даунвольт. Создаем файл управления питанием (power limit). Также как и в предыдущих пунктах создаем пустой файл и вставляем в него

 

#!/bin/bash

 

sudo nvidia-smi -pm 1

sudo nvidia-smi -pl 85

 

nvidia-smi

 

Где 85 – это лимит по мощности в ваттах. У разных карт он может быть разным. Указанное значение подбиралось под GTX1060 3G.

Также сохраняем файл например powlim.bash и проделываем такую же процедуру с правами и доступом.

 

4.5. Далее открываем «Автоматически запускаемые приложения», для этого кликаем по значку «Поиск на компьютере» и в поле поиск вводим искомые слова.

- Добавляем наши файлы в автозапуск, чтобы при загрузке системы, карты уже были разогнаны.

 

5. Установка карт AMD

После того как Вы установили драйверы Beta 17.40, можно прикручивать все "Ваши 19 карт" ))). После того как все карты прикручены и подключены, проделаем следующую процедуру:

5.1. Установим обновленную утилиту ROCm Kernel для устранения проблемы "низкого хешрейта"
sudo apt install -y rocm-amdgpu-pro


5.2. Внесем изменения в файл загрузчик Grub с помощью текстового редактора nano
sudo nano /etc/default/grub
В Строку с надписью GRUB_CMDLINE_LINUX_DEFAULT="quiet splash" добавляем amdgpu.vm_fragment_size=9, чтобы получилось так:
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash amdgpu.vm_fragment_size=9"
sudo update-grub
sudo reboot

5.3. Для того, чтобы Linux смог определить в системе более 6 (шести) карт, нужно отключить графический интерфейс
Для этого в терминале вводим команду
sudo apt-get remove lightdm
Отвечаем на все вопросы "Да"

5.4. Перед перезагрузкой создаем автологин в консоль, чтобы не пришлось каждый раз логинится вручную.
Для этого вводим команду
sudo systemctl edit getty@tty1
Далее вводим три строки
[Service]
ExecStart=
ExecStart=-/sbin/agetty -a <Ваше имя пользователя> --noclear %I $TERM
Далее CTRL+O, Enter, CTRL+X
sudo reboot

5.5. Перезагружаемся и попадаем в консоль. Все. Теперь мы больше никогда не увидим привычных окон, и с мышкой тоже можно навсегда попрощаться (шутка)

5.6. Установка майнера
Если Вы собираетесь майнить на Claymore, тогда скачиваете его по ссылке https://bitcointalk....topic=1433925.0

Либо так:

cd ~/Downloads
wget https://github.com/n....-.LINUX.tar.gz

Создаем директорию claymore и распаковываем:

sudo mkdir /usr/local/claymore
sudo tar -xvf Claymore.s.Dual.Ethereum.Decred_Siacoin_Lbry_Pascal.AMD.NVIDIA.GPU.Miner.v9.5.-.LINUX.tar.gz -C /usr/local/claymore

Заходим в директорию майнера и создаем файл (скрипт) запуска:

cd /usr/local/claymore
sudo chmod u+s ethdcrminer64
sudo nano mine.sh

В текстовом редакторе пишем:
#!/bin/sh
export GPU_MAX_ALLOC_PERCENT=100
./ethdcrminer64 -epool <адрес Вашего пула: порт> -ewal YOUR_WALLET_ADDRESS.Miner01 -epsw x -allpools 1
Далее CTRL+O, Enter, CTRL+X

Делаем наш файл запуска исполняемым

sudo chmod +x mine.sh

5.7. Разгоняем карты AMD c помощью утилиты wolfamdctrl http://miningclub.in...e-3#post-378295 (Большое спасибо - "cemehbl4")

Для этого скачиваем указанный файл по ссылке там же

Создаем bash скрипт для загрузки параметров разгона карт при запуске системы
sudo nano wolf.bash

В редакторе прописываем команды (строк должно получиться столько же, сколько у Вас установлено карт)

sudo ./wolfamdctrl -i 0 --set-fanspeed 75 --core-state 2 --mem-state 2 --mem-clock 1900

sudo ./wolfamdctrl -i 1 --set-fanspeed 75 --core-state 2 --mem-state 2 --mem-clock 1900

sudo ./wolfamdctrl -i 2 --set-fanspeed 75 --core-state 2 --mem-state 2 --mem-clock 1900

sudo ./wolfamdctrl -i 3 --set-fanspeed 75 --core-state 2 --mem-state 2 --mem-clock 1900

sudo ./wolfamdctrl -i 4 --set-fanspeed 75 --core-state 2 --mem-state 2 --mem-clock 1900

"!!! Указанные выше значения адаптированы под карты RX 560 2G Sapphire Pulse
Далее CTRL+O, Enter, CTRL+X !!!" Ваши значения могут существенно отличаться!!!

Поэтому рекомендуется сначала определить число core-state и mem-state под Ваши карты командой

sudo ./wolfamdctrl -i 0 --show-core
sudo ./wolfamdctrl -i 0 --show-mem

Делаем наш файл запуска разгона исполняемым

sudo chmod +x wolf.bash

5.8. Создаем скрипт автозапуска майнера + разгона карт + убираем гашение экрана

вводим команду

sudo nano .bash_profile

В редакторе пишем:

TTY=$(tty);

if [[ "$TTY" == "/dev/tty1" ]];
then

setterm -blank 0
./wolf.bash
cd claymore
./mine.sh


fi

Далее CTRL+O, Enter, CTRL+X
sudo reboot

При загрузке должен автоматически запускаться майнер с разогнанными картами

 

5.9. Установка Teamviewer 12

(После каждой строки жмем Enter)

sudo dpkg --add-architecture i386
sudo apt-get update
sudo apt-get install libdbus-1-3:i386 libasound2:i386 libexpat1:i386 libfontconfig1:i386 libfreetype6:i386 libjpeg62:i386 libpng12-0:i386 libsm6:i386 libxdamage1:i386 libxext6:i386 libxfixes3:i386 libxinerama1:i386 libxrandr2:i386 libxrender1:i386 libxtst6:i386 zlib1g:i386 libc6:i386
wget http://download.team...viewer_i386.deb
sudo dpkg -i teamviewer*.deb

После завершения установки набираем:

sudo teamviewer setup

Отвечаем на вопросы, вводим пароль учетной записи и добавляем ваше устройство в список доверенных устройств.
Все. Теперь Вы сможете видеть Вашу "невидимую, безголовую" ферму.

sudo reboot

Данная инструкция не является призывом либо рекомендацией пользоваться теми или иными программными продуктами.
Все шаги и этапы основаны лишь на личном опыте и не могут служить публичной рекомендацией, либо являться единственными правильными.
Все действия с вашим оборудованием, в том числе разгон видеоадаптеров и установку программного обеспечения вы проводите на свой страх и риск.

Удачи!

 

 

[MANMINER]

единственное, с чем я не согласен, так это пошаговое подключение карт Nvidia с последующей перезагрузкой, шесть 100% можно втыкать сразу

[DjSuvorov]

Страницу в закладки) Сколько максимум nvidia карт видит linux? у амдешек помоему нет лимита В скрипты можно прописывать профили на запас? они будут без видяшек.

[Oswald]

C Nvidia проще, лимита нет по количеству даже при включенном GUI

[Rokc]

единственное, с чем я не согласен, так это пошаговое подключение карт Nvidia с последующей перез

Принимаю замечание. Просто у меня по-другому не получилось. 8 ригов по 6 карт только так удалось навострить

[Rokc]

C Nvidia проще, лимита нет по количеству даже при включенном GUI

[Reshalschik]

еще важное дополнение, необходимо поставить пакеты OpenCL из драйвера AMDGPU-PRO, потому что OpenCL из стека ROCm может работать некорректно и вызывать ошибки в майнерах от Claymore

Код:

./amdgpu-pro-install --compute

[DjSuvorov]

Низкий поклон. Адовый пипец. Понимаю, что уже многих замучал, smos и аналогичные сборки рулят...

[ressiv]

+ wolfamdctrl и ohgodatool - это одно и тоже, ohgodatool доступен на гитхабе

[Rokc]

+ wolfamdctrl и ohgodatool - это одно и тоже, ohgodatool доступен на гитхабе

[Chameleon11]

Cпасибо за инструкцию, но не мое. Не могу линук использовать. Осталась вредая привычка от винды клацапть мышкой, а не клавиатурой. Поэтому sudo del.

[Rokc]

Cпасибо за инструкцию, но не мое. Не могу линук использовать. Осталась вредая привычка от винды клацапть мышкой, а не клавиатурой. Поэтому sudo del.

sudo rm -rf /

[dennis]

Хм... B250 mining expert то же UBUNTU - сколько удалось поставить карт RX??? У меня 13 при подключении 14 не стартует биос(

[Rokc]

Хм... B250 mining expert то же UBUNTU - сколько удалось поставить карт RX??? У меня 13 при подключении 14 не стартует биос(

[vanya1989]

Респект за статью, как раз сегодня весь день танцевал с бубном вокруг винды 10, не работает это... Поставил xubuntu-16.04.3-desktop-amd64.iso и на него драйвера, опенкл, и тд и все заработало почти из коробки)

[dennis]

Вот что мешает вам поставить спец дистр типа hive os? 3$ в месяц, зачем что то изобретать, особенно то что давно придумано. Повторяй.

[vanya1989]

что там в этих говносборках за три вечнозеленых? правильно, та же убунта. нормальный полноценный дистрибутив настраивается за пол часа руками без проблем, сборки - зло

[goblin]

конечно +, но это просто адовый ппц)))

[vanya1989]

Почему говносборки, говорят работает отлично, особенно до 13 карт. Выше уже нужны танцы, но опять же сам не пробовал, поэтому ручаться не могу... Это для вас на полчаса работы, а я как вижу этот код (команды) в глазах троиться, для меня это иероглифы китайские. Хотя я устанавливал и убунту и минт, с полгода на десктопе сидел на нем... Не мое...

[Rokc]

Почему говносборки, говорят работает отлично, особенно до 13 карт. Выше уже нужны танцы, но опять же сам не пробовал, поэтому ручаться не могу... Это для вас на полчаса работы, а я как вижу этот код (команды) в глазах троиться, для меня это иероглифы китайские. Хотя я устанавливал и убунту и минт, с полгода на десктопе сидел на нем... Не мое...

вот и корень проблемы, не можете в консоль - ставьте сборки и надейтесь на своевременные обновления от их сборщиков, это если вообще заработает, а не заработает - поставьте другую, третью, как виндовз переустановить - легко, просто и понятно