H2oGPT/Установка/Windows

Windows 10/11

Понадобится Visual Studio 2022 с установленными компонентами:

• Windows 11 SDK
• C++ Universal Windows Platform support (e.g. for v143 build tools)
• MSVC VS 2022 C++ x64/x86 build tools (latest)
• C++ CMake tools for Windows

Понадобится MinGW с установленными компонентами:

• minigw32-base
• mingw32-gcc-g++

Понадобится Miniconda или Anaconda

Запустим оболочку Miniconda (не через powershell) от имени администратора.

Выполним: set path=%path%;c:\MinGW\msys\1.0\bin\ чтобы добавить в системные пути компилятор MinGW C++. В некоторых случаях может быть правильным использовать set path=%path%;c:\MinGW\bin\.

Нужно убедится в том, что установлены последние драйвера NVidia для Windows. Подтвердите, что можете выполнить nvidia-smi и посмотреть версию драйвера

Настройка среды Conda:

conda create -n h2ogpt -y
conda activate h2ogpt
conda install python=3.10 -c conda-forge -y
python --version  # should say python 3.10.xx
python -c "import os, sys ; print('hello world')"  # should print "hello world"

GPU Only: Install CUDA

conda install cudatoolkit=11.8 -c conda-forge -y
set CUDA_HOME=$CONDA_PREFIX

Если в системе не установлен Git то выполним:

conda install -c conda-forge git

Установим h2oGPT:

git clone https://github.com/h2oai/h2ogpt.git
cd h2ogpt

Подготовка к установке зависимостей:

set PIP_EXTRA_INDEX_URL=https://download.pytorch.org/whl/cu118 https://huggingface.github.io/autogptq-index/whl/cu118/

И в итоге:

set GPLOK=1
docs\windows_install.bat