ANSYS setup recomendations 2007 RU

Рекомендуемое аппаратное обеспечение для пользователей ANSYS

Цель этого документа - рекомендовать аппаратную конфигурацию на основе большого опыта использования ANSYS различными пользователями. В последнее время производительность процессоров стала практически идентичной с точки зрения цены на них как на недорогих настольных компьютерах, так и на дорогих многопроцессорных серверах. До сих пор остаются узкие места, добавляющие часы или дни ко времени выполнения задач ANSYS. Главными причинами этих проблем редко являются медленные процессоры, по существу главными факторами, компрометирующими аппаратную систему являются малое количество оперативной памяти, плохие системы ввода/вывода или медленные сетевые связи (interconnects) в аппаратных системах с распределенной памятью (Distributed memory systems). В мире где цены являются определяющим фактором для ответственных IT специалистов, занимающихся закупками оборудования, может создастся такая ситуация, когда они не смогут объективно оценить требования к оборудованию, предъявляемые расчетными комплексами такими как ANSYS. Расчетчики начинают работать с более сложными детализированными моделями, которые забирают все ресурсы процессора, памяти и подсистемы ввода/вывода.
С другой стороны расчетчики, которые приводят свои модели в соответствии с имеющимися компьютерными ресурсами, могут получить максимальные преимущества при покупке компьютеров любой ценовой категории. В то же самое время каждая конфигурация аппаратного обеспечения имеет свой предел, за которым этот компьютер работает уже не на пределе своих вычислительных возможностей. Следующие соображения являются руководством для пользователей, выбирающих аппаратное обеспечение в любых ценовых категориях. Вычислительные возможности компьютера зависят от размера используемых моделей также как и от вида анализа, выбора решателя и используемых при расчете конечных элементов.

Вначале хотелось бы привести общие соображения по количеству оперативной памяти для ANSYS.

1) Общим правило для решателей ANSYS может быть 1 GB оперативной памяти на миллион степеней свободы (DOFs). Это правило подходит как для итеративных решателей (таких как PCG) так и для прямых (таких как direct sparse solver). Решатель ANSYS интенсивно использует память, так что 1 GB на DOF это хорошая отправная точка при оценке ресурсов для решения большинства задач. Блочные 3D модели, состоящие из элементов второго порядка требуют больше памяти при расчете (требования к памяти возрастают в 2х 3х раза, в случае sparse solver), а также несколько широко используемых элементов в ANSYS (к примеру, SOLID92 и SOLID95) используют наоборот гораздо меньше памяти при использовании итеративного решатели PCG и опции MSAVE,ON (сейчас она используется по умолчанию везде, где это только возможно).

2) Требования итеративного решателя к системе ввода/вывода те же, что и к памяти за исключением некоторых видов расчетов, включающих множество шагов нагружения, которые могу сгенерировать очень большие файлы результатов. Запуск "Sparse solver" требует 10 GB файлов на миллион DOFs. Это число может увеличиваться в 2-3 раза при использовании 3D моделей с элементами высшего порядка. Block Lanczos является наверное наиболее требовательным к вычислительным ресурсам и операциям ввода/вывода решателем ANSYS.

3) Средства ввода/вывода не могут ускоряться процессорами. Это проблема, является также проблемой управления итеративными решателями и может привести к потере производительности при использовании решателей sparse. Большинство современных операционных систем, включая Windows, используют некоторые объемы оперативной памяти для большего кэша файлов. Таким образом, аппаратные системы с большим объемом памяти более предпочтительны с любой точки зрения на ценовую политику.

4) Высокопроизводительные вычисления могут быть проведены на любых конфигурациях аппаратного обеспечения если размер модели в ANSYS полностью соответствует присутствующему в компьютере количеству оперативной памяти.

5) Уже существуют примере решения задач с использованием ANSYS, где было задействовано от 8 до 16 процессоров с более чем 100 Гб оперативной памяти. На таких аппаратных системах ANSYS может решать модели размером в 100 миллионов степеней свободы с лидирующей в своем классе инженерных программных комплексов скоростью. В меньших системах, ANSYS показывает предельно допустимую для них пиковую производительность, только если они правильно сконфигурированы, это достигается имеющимися в программном комплексе средствами оптимального управления памятью.

Рекомендации по выбору аппаратного обеспечения для усиления производительность ANSYS могут быть разделены на следующие категории:

1) Настольные 32-битные аппаратные системы (в основном на них стоит Windows 32-bit OS и на некоторых установлен Linux 32-bit )

На любых настольных системах использующих ANSYS должно быть установлено минимум 2 Гб оперативной памяти. Под swap нужно выделить 3 Гб на жестком диске а также, при использовании Windows XP, нужно внести опцию /3GB switch. Указанная опция позволят пользовательским программам использовать более половины имеющейся в компьютере памяти, что является известным ограничением в определенных случаях Windows 32-bit. На жестком диске должно быть не менее 100 Гб свободного пространства. Кроме того, это свободное пространство должно быть на отдельном логическом диске, и будет использоваться как рабочее (scratch space) при работе с большими расчетными моделями, впрочем, после решения задач некоторые файлы можно переместить в другое место. Жесткий диск необходимо должным образом почистить и даже переформатировать для того чтобы снизить возможность фрагментации и повреждения файлов что является еще одной знаменитой возможностью Windows систем.

Необходимо использовать жесткие диски со скоростями вращения шпинделя 10,000 или 15,000 RPM. На данный момент существует несколько моделей, которые могут поддерживать постоянную скорость ввода - вывода данных в 50-70 Мб в секунду, они необходимы при работе в ANSYS с большими задачами. При использовании PCG решателя на подобных аппаратных системах можно получать эффективное решение задач от 1 до 3 миллионов степеней свободы. При использовании решателя sparse, решение, вообще, идет быстрее, но в этом случае размер моделей придется ограничить 250 тысячами степеней свободы. Можно запустить задачу в sparse и на миллион DOF, но в этом случае будет большое количество операций ввода-вывода, что сильно снизит производительность аппаратной системы.

Существующие настольные 32-битные системы сейчас активно переходят на технологии AMD Opteron и Intel em64t. На обоих типах аппаратных систем, можно запускать как 32-битные так и 64-битные приложения. Сейчас выпущена Windows для 64-битных аппаратных систем и ограничение в 2Гб оперативной памяти более не является актуальным. Может присутствовать некоторая задержка в выпуске полной версии Windows64, она связана с поставщиками аппаратуры драйверов и поставки третьими фирмами других программ для Windows64. В любом случае можно купить 64-битную аппаратную систему и апгрейдить ее до полных возможностей обновлением программного обеспечения.


2) Настольные 64-битные аппаратные системы (рабочие станции на Opteron, Intel em64t, и Intel Itanium)

На этих аппаратных системах должно быть установлено минимум 8Гб оперативной памяти и 2 процессора. Необходимо использовать жесткие диски со скоростями 10-15 тысяч оборотов в минуту и иметь не менее 200Гб свободного пространства на диске. ANSYS должен запускаться на отдельном striped разделе (striped partition). 8Гб памяти даст возможность решать с помощью sparse задачи от 500 тысяч до 750 тысяч степеней свободы incore (полностью в оперативной памяти) или довольно эффективно out-of-core (с использованием жесткого диска). На 64-битных аппаратных системах может быть решено большинство, даже очень больших задач вплоть до 1 - 2 миллионов степеней свободы out-of-core с использованием решателя sparse без большой потери производительности, как это происходит на 32-битных операционных системах. Это является изюминкой таких систем по сравнению с 32-битными машинами. Дополнительным преимуществом использования 8Гб памяти для подобных небольших аппаратных систем является хорошая производительность при решении тех задач, в которых оперативная память практически полностью расходуется. Даже модели в 300-500 тысяч степеней свободы могут решаться полностью в in-core что дает постоянную высокую скорость расчета этим системам.

Большинство этих систем до сих пор имеет узкие места в производительности подсистемы ввода/вывода. Исключением являются рабочие станции HP Itanium, на которых можно было сконфигурировать 3 striped SCSI диска с 200 Гб свободного места. На этих системах постоянная скорость ввода/вывода превышала 100 Мб в секунду при решении решателем sparse задач, интенсивно использующим подсистему ввода/вывода. К сожалению HP более не производит эти аппаратные системы на базе Itanium. Остается надеется, на то, что аппаратные системы на базе em64t или Opteron можно будет сконфигурировать для того чтобы достичь или превысить вышеприведенные показатели. В данный момент на аппаратных системах лучше всего запускать задачи, в которых использование памяти находиться в пределах использования 8 Гб памяти, чтобы избежать потерь на производительность включением в работу подсистемы ввода/вывода.

НА этих системах можно задействовать 2 процессора для эффективного решения задач, но рассматривать их все же следует как системы для решения одной задачи одним пользователем. В них не существует ни средств операционной системы ни ресурсов для поддержки запуска более чем одной задачи более чем одним пользователем.


3) Настольные Linux и Unix системы

В этих операционные системах можно расширить производительность настольных аппаратных систем до 4 или даже до 8 процессоров и поставить более 8 Гб оперативной памяти. Они могут поддерживать работу более чем одного пользователя и одной задачи пока внимательно отслеживается лимит используемых мощностей. При работе нескольких пользователей одновременно даже более важно оставить некоторое количество памяти использования под буфер подсистемы ввода/вывода. На 4 процессорных системах должно быть установлено минимум 16 Гб памяти, лучше, если установлено 32 Гб. Должен присутствовать массив из 5 или 6 striped дисков емкостью от 250 до 500 Гб. НА подобных аппаратно-программных системах можно запускать несколько задач ANSYS одновременно не теряя пиковой производительности, запускать задачи нескольких пользователей и даже решать "геройские" задачи размерностью несколько миллионов степеней свободы. С постоянной большой производительностью на таких системах можно решать задачи с использование решателя sparse в 2-5 миллионов степеней свободы, а с использованием итеративного решателя задачи до 20 миллионов степеней свободы.

При использовании для вычислений Distributed ANSYS можно задействовать все имеющиеся процессоры для быстрого и эффективного решения задачи используя преимущества SMP системах в скорости вычислений. Кроме того большой объем памяти SMP систем позволяет более удобно работать с подготовкой больших моделей перед расчетом и при просмотре результатов вычислений. При работе с результатами вычислений очень больших моделей нужно выделять большой объем данных под ANSYS database space, это позволит избежать при выводе графики появления page file-а. На сегодняшний день, наиболее оптимальными с точки зрения стоимости аппаратными системами на базе Opteron или em64t и установленной операционной системой Linux являются серверы стоечного монтажа (rack mounted servers) с большим объемом памяти и быстрой подсистемой ввода/вывода. Такие аппаратные системы лучше сбалансированы с точки зрения управления большим объемом памяти и лучшей производительности подсистемы ввода/вывода чем аналогичные настольные системы, использующие то же самое аппаратное обеспечение. Разница в цене практически аналогична разнице во времени решения больших задач.

4) High end servers

Эти аппаратные системы дают максимальную производительность вплоть до предела возможностей программного комплекса ANSYS. Такие системы должны иметь максимальное возможное количество оперативной памяти на каждый процессор. В этом случае лучше купить большее количество памяти и меньше процессоров, 8-процессорная система с 64Гб оперативной памяти лучше подойдет для ANSYS чем 16-процессорная с 32 Гб. Идеальное конфигурацией High end server-ов для запуска ANSYS следует признать 16 процессорную (Intel Itanium 1.6 Ghz) аппаратную систему с 128 Гб оперативной памяти и 1 ТB массивом striped дисков. На такой системе можно решать несколько задач размерностью в миллион степеней свободы или одну задачу в 100 миллионов степеней свободы с удаленным управлением решением через ANSYS Workbench. В случае запуска задачи на счет с использованием средств PPFA и Distributed MPI в аппаратных системах с общей оперативной памятью можно получать даже лучшие результаты. Приведенная выше конфигурация аппаратной системы является единственной на текущий момент, которая может решить модель в 100 миллионов степеней свободы, а также, которая может решать одновременно несколько задач размерностью более 1 миллиона степеней свободы на максимальной скорости.


5) Cluster Systems и специфика Distributed ANSYS

Кластерные системы сейчас активно развиваются, и заслуживает отдельного разговора. Также как и в случае с требованиями, предъявляемыми ANSYS к подсистеме ввода/вывода, код, позволяющий ANSYS распределять вычислительные ресурсы, Distributed ANSYS, требует Distributed аппаратных систем с высокопроизводительными интерконнектами (interconnects). Объем данных обычно передаваемый между процессорами и задачами ANSYS колеблется от сотен мегабайт до нескольких гигабайт с сотнями тысяч дополнительных сообщений.

Все, что было сказано об аппаратном обеспечении в пунктах 1-4 может быть применено к Distributed ANSYS за исключением замечаний по Windows системам. ANSYS продолжает работать над вопросом реализации многопроцессорной кластерной системы обладающей мощью параллельных вычислений при соответствующем интерконнекте, использующем MPI. Ожидается, что Windows64 предоставит конкурирующую MPI библиотеку для работы на кластерах состоящих из процессоров Opteron или em64t.

Отдельные задачи ANSYS запускаемые с использованием Distributed ANSYS редко показывают значительное ускорение после 8 процессоров. Как и в случае классического ANSYS, лучше работать с несколькими мощными вычислительными узлами с достаточным количеством памяти, чем иметь большое количество дешевых процессоров с ограниченным объемом памяти. На запускающем узле (host node) в таких системах должно быть установлено 8 Гб памяти. На всех остальных - не менее 4 Гб. НА сегодняшнем рынке доминируют кластеры, построенные на 32-битных процессорах, но следует признать более эффективным использования 64-битных кластеров в связи с требованиями предъявляемыми ANSYS к количеству памяти. Расширить возможности 32-битных систем возможно, если использовать быстрые интерконнекты. Как минимум нужно соединение, обеспечивающее Gige канал, лучше если будут использоваться интерконнекты вроде Miranet или Infiniband. Каждый раз, вместе с активным использованием памяти, ANSYS интенсивно использует подсистему ввода/вывода. Это означает что каждый процессор должен обладать локальным дисковым пространством или же отдельным сетевым каналом по которому обеспечивается очень быстрая передача файлов к центральной подсистеме ввода/вывода. Подобная конфигурация, как правило, бывает на больших кластерных системах высокого класса. Отдельные диски не обязательно должны быть очень большими. 15-20 Гб должно быть более чем достаточно в большинстве случаев. Тем не менее, host node должен обладать большими возможностями ввода/вывода поскольку при работе Distributed ANSYS все результаты приходят именно на него также как и входные файлы с моделями.

Плохие интерконнекты между настоящими кластерными системами приводят к возрастанию расчетного времени при добавлении дополнительных процессоров. В большинстве случаев большие SMP системы (shared memory servers) имеют лучшую MPI производительность. Системы, использующие общую память, имеют репутацию систем лучше работающих при вводе моделей и при оценке результатов, они принимают большой объем дополнительных сообщений в ANSYS и работают со скоростью работы оперативной памяти, а не с гораздо более медленной скоростью соединения по сети. Вместе с другими развивающимися сетевыми технологиями, хорошие интерконнекты вроде Miranet и Infiniband, помогут улучшить скорость работы кластерных систем.

В заключение приведем общие рекомендации по применению Distributed ANSYS на аппаратных системах: Следуйте общим рекомендациям приведенным в пунктах 1-4 для ANSYS систем. Дополнительно используйте подходящие локальные диски для каждого вычислительного узла и высокопроизводительные интерконнекты. Помните, что общие средства сетевого взаимодействия не достаточны для скоростной работы Distributed ANSYS. Linux и UNIX системы на сегодняшний момент являются единственным выбором при работе ANSYS в распределенных системах но уже ведется работа с Microsoft для выдачи конкурентного решения работающего в среде Windows.