![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
облачная графика
May. 12th, 2025 12:40 pmМного занимаюсь сейчас тренировкой нейронных сетей (не очень больших). Для этого неплохо иметь мощные GPU, и удобно делать это в облаке (хотя в зависимости от бюджетов и нужд и о возможности купить свои не стоит забывать). Я пользовался как стандартными лидерами индустрии в последние месяцы (AWS, Google Cloud), так и специализированными дешевыми сервисами (Lambda Labs, DataCrunch dot io). Я новичок в этой области, постепенно набираюсь опыта.
Общие впечатления:
- дешевые сервисы намного дешевле. Одна виртуальная машина с H100 стоит сейчас примерно В ПЯТЬ РАЗ больше в Google/AWS (11/12 долларов в час), чем в дешевых сервисах (2-2.5 доллара в час).
- везде устроено примерно одинаково, если вы можете затратить время на то, чтобы технически разобраться. Везде резервируешь Ubuntu-based VM, подключаешься к ней по SSH, присоединяешь к ней storage volume. Цена хранения данных, CPU, памяти машины итд. везде ничтожна по сравнению с ценой GPU. Везде нужно самому выбирать, в каком районе держать данные и резервировать машины. Одно важное отличие, на которое стоит обратить внимание: можно ли остановить машину и не платить, или остановленная машина продолжает собирать платеж (в таком случае обычно можно все равно оставить ее root volume, и быстро поднять новую машину с ней).
- основное неудобство дешевых сервисов с моей точки зрения: нет гарантии того, что нужный тип машины с нужным кол-вом нужных GPU будет в наличии, когда вам нужно. Сейчас они есть, а завтра нет. Если закачал кучу данных в данный регион и не можешь запустить тренировку, это сильно мешает. В AWS/Google с такими проблемами (в нужных мне небольших масштабах) не сталкивался.
- второе неудобство это что везде все по-своему, свое устройство storage volumes, свой API для командной строки итд.
- мне пока нравится datacrunch dot io, но не рекомендую его вот совсем уж сильно, я пробовал только два дешевых сервиса. Из нескольких сайтов, сравнивающих цены, что я видел, мне особенно понравился getdeploying dot com (выберите рубрику Cloud GPUs в нем). Полагаю, что самые супер-дешевые варианты скорее всего имеют свои недостатки (availability/reliability), хотя не проверял. Конкуренция очень высокая, и это хорошо
- если хотите что-то оспорить/добавить, всегда рад.
Общие впечатления:
- дешевые сервисы намного дешевле. Одна виртуальная машина с H100 стоит сейчас примерно В ПЯТЬ РАЗ больше в Google/AWS (11/12 долларов в час), чем в дешевых сервисах (2-2.5 доллара в час).
- везде устроено примерно одинаково, если вы можете затратить время на то, чтобы технически разобраться. Везде резервируешь Ubuntu-based VM, подключаешься к ней по SSH, присоединяешь к ней storage volume. Цена хранения данных, CPU, памяти машины итд. везде ничтожна по сравнению с ценой GPU. Везде нужно самому выбирать, в каком районе держать данные и резервировать машины. Одно важное отличие, на которое стоит обратить внимание: можно ли остановить машину и не платить, или остановленная машина продолжает собирать платеж (в таком случае обычно можно все равно оставить ее root volume, и быстро поднять новую машину с ней).
- основное неудобство дешевых сервисов с моей точки зрения: нет гарантии того, что нужный тип машины с нужным кол-вом нужных GPU будет в наличии, когда вам нужно. Сейчас они есть, а завтра нет. Если закачал кучу данных в данный регион и не можешь запустить тренировку, это сильно мешает. В AWS/Google с такими проблемами (в нужных мне небольших масштабах) не сталкивался.
- второе неудобство это что везде все по-своему, свое устройство storage volumes, свой API для командной строки итд.
- мне пока нравится datacrunch dot io, но не рекомендую его вот совсем уж сильно, я пробовал только два дешевых сервиса. Из нескольких сайтов, сравнивающих цены, что я видел, мне особенно понравился getdeploying dot com (выберите рубрику Cloud GPUs в нем). Полагаю, что самые супер-дешевые варианты скорее всего имеют свои недостатки (availability/reliability), хотя не проверял. Конкуренция очень высокая, и это хорошо
- если хотите что-то оспорить/добавить, всегда рад.
