Авторы: Цанчэн Тан, Шию Лю, Юэ Чжуан
Введение в проблему
Аддитивное производство (AM) - это относительно новый производственный процесс, который демонстрирует множество благоприятных характеристик, невозможных с помощью субтрактивных методов. Однако качество детали невозможно контролировать, если не реализовать полномасштабное физическое моделирование. Чтобы упростить физическое моделирование, мы стремимся предоставлять быстрые прогнозы физики плавильной ванны, чтобы обеспечить планирование и управление процессом на основе данных моделирования.
В этом проекте необходимо решить две проблемы. Для первой задачи мы прогнозируем температуру в определенной точке (с координатами x, y, z) с учетом мощности лазера, а также скорости лазера. Кроме того, мы также спрогнозировали длину, ширину и глубину ванны расплава с учетом мощности и скорости лазера.
Во второй задаче мы выполняем тот же прогноз, но учитываем три дополнительные переменные: угол лазерного излучения, направление лазерного излучения и расстояние до края. В частности, существует пять равноудаленных лазерных углов в диапазоне от 10 до 90 градусов, два направления и расстояния от края до края от 0,06 до 1,6.
Исследовательский анализ данных
Задача 1
Прогноз температуры
Для первой задачи мы сначала исследовали, как температура коррелирует с ковариатами. Судя по корреляционной матрице, целевая переменная отрицательно коррелирует со всеми нашими характеристиками.
Но это противоречит нашему инстинкту, поскольку температура должна положительно коррелировать с мощностью. Итак, мы заморозили скорость и исследовали взаимосвязь между температурой и мощностью, и результат оказался именно таким, как мы и ожидали: эти две характеристики положительно коррелированы. А если заморозить мощность, температура и скорость окажутся отрицательно коррелированными. Визуализации этой взаимосвязи можно увидеть ниже, каждая линия представляет определенную скорость или определенную мощность.
Это согласуется с нашим инстинктом: чем больше энергии используется для обогрева, тем выше должна быть температура. И чем быстрее работает лазер, тем меньше времени он тратит на нагрев Ti64, и тем ниже должна быть температура.
Чтобы проанализировать взаимосвязь между температурой и координатами x, y, z, мы использовали трехмерный график рассеяния для визуализации.
Из графика видно, что в правом верхнем углу, где все X, Y большие, а Z мало, температура относительно высока. В то время как, когда X, Z больше, Y мало, температура относительно низкая.
Прогнозирование размеров плавильной ванны
Точно так же мы рассчитали матрицу корреляции для характеристик в размерах бассейна расплава, как показано ниже. Мы видим, что длина бассейна и мощность лазера аналогичным образом коррелируют с другими характеристиками, как и ширина бассейна и глубина бассейна.
Задача 2
Прогноз температуры
Анализ задачи 1 дает аналогичные результаты в задаче 2. Поэтому для этой более сложной задачи мы уделяем больше внимания дополнительным функциям.
Во-первых, мы построили коробчатые диаграммы зависимости температуры от угла и направления лазерного излучения соответственно. Температуры на графиках ниже представлены в логарифмической форме, чтобы смягчить проблему выбросов. Судя по графикам, при удалении от края температура Ti64 обычно выше. Что касается углов, то у 10- и 50-градусных углов температура немного ниже, чем у других.
Другой важной особенностью является расстояние до края, поэтому мы построили диаграмму рассеяния, чтобы отразить условное распределение средней логарифмической температуры. Из приведенного ниже графика видно, что чем дальше от края, тем выше температура.
Метод и модели
Зачем комбинировать ML / DL с симуляцией?
В традиционных подходах к анализу динамического процесса теплопередачи мы обычно начинаем с тепловых теорий для построения математической модели, затем применяем численное УЧП для настройки процесса моделирования и, наконец, используем языки программирования для моделирования процесса.
Моделирование процессов аддитивного производства (AM) вызывает большой интерес в последние годы, потому что детали, изготовленные аддитивным способом, по-прежнему страдают от проблем с допусками, производственных дефектов, а также недостаточной прочности и усталостной долговечности, поэтому их нельзя использовать в качестве производственных деталей. Физическое моделирование обеспечивает надежные и экономичные прогнозы, такие как деформация детали, остаточные напряжения / деформации, содержание микроструктуры и морфология зерна, и может эффективно использоваться для управления проектированием продукта и производственным процессом для повышения качества деталей.
Однако из-за многомасштабного характера проблемы некоторые модели микроструктуры может быть трудно масштабировать до макроуровня для прогнозирования на частичном уровне. В этом проекте мы объединяем методы анализа данных с физическим моделированием и правилами, чтобы ускорить некоторые вычислительно-интенсивные моделирование микроструктуры аддитивного производства, а именно моделирование металлургических фазовых превращений, путем создания модели машинного обучения на основе данных моделирования для прогнозирования размера ванны расплава и температурное поле. Модель ML может использоваться с дальнейшим программированием, комбинируя физические правила из экспериментальных диаграмм для прогнозирования свойств микроструктуры.
Преимущества ML / DL:
- Большой набор данных: у нас есть большой набор обучающих данных для модели, от которого может выиграть модель ML / DL.
- Возможность повторного использования: пока модель построена и обучена, ее можно повторно использовать в альтернативных сценариях.
- Базовый подход: мы могли бы использовать модель ML / DL, чтобы получить общее представление о том, как будет работать принтер, и повысить точность печати с помощью дальнейшего моделирования. Это поможет нам сэкономить время и силы.
Проблема с утечкой данных
- Кажется, что данные обучения и проверки имеют одни и те же значения функций, а данные тестирования - нет. Это может привести к неверному высокому баллу прогноза в наборе для проверки. Мы тщательно создали наши собственные данные для обучения и проверки из исходного набора данных.
- Чтобы избежать воздействия возможной утечки данных, мы предпочли бы выполнять настройку индивидуальных параметров, а не GridSearchCV в этой проблеме.
Базовая модель для случая 1:
В случае 1 у нас не будет краев, задействованных в процессе печати, так что нагрев будет вполне предсказуемым из-за фиксированного пути, по которому прошел лазер. Следует ожидать модель с высокой точностью.
Модель1:
В модели 1 мы стремимся предсказать температуру точки с учетом мощности и пути лазера, а также координат точки.
Базовая модель: линейная регрессия получает оценку R2 0,384.
Нейронная сеть: настроена и обучена DNN предсказывать температуру. Архитектура представляет собой несколько плотных слоев с 2, 4, 8, 16 нейронами для каждого слоя, с ReLU в качестве активации и he_normal в качестве инициализации. Значение r2 для прогнозирования температуры достигло 0,9936. Но время, необходимое для настройки гиперпараметров и структур, слишком велико, поэтому мы решили перейти к моделям на основе деревьев.
Модель дерева: мы применили как базовую модель случайного леса, так и модель повышения градиента (CatBoost) для набора данных. Базовый случайный лес получает оценку R2 0,993.
Для алгоритма повышения градиента мы использовали все данные для процесса обучения и настройки параметров, и r2 достигло 0,9990 для набора данных проверки. Алгоритм повышения градиента работает лучше всего среди трех алгоритмов машинного обучения.
Модель2:
В модели 2 мы хотели бы сделать прогноз размера плавильной ванны, из-за ограничений координат данных в модели 1 нам пришлось бы попробовать другие методы вместо простого выбора температуры плавления для всех.
Базовая модель: линейная регрессия получает баллы R2 для (длина, ширина, глубина) = (0,999, 0,965, 0,964).
Нейронная сеть: настроена и обучена DNN для одновременного прогнозирования длины, ширины и глубины. Архитектура представляет собой несколько плотных слоев с 8, 9, 10, 16, 16, 32, 64, 128 нейронами для каждого слоя, с ReLU в качестве активации и he_normal в качестве инициализации. Значение r2 достигло .9995, .9987, .9978 для прогнозов длины, ширины и глубины расплава.
Модель дерева: мы применили как базовую модель случайного леса, так и модель повышения градиента (CatBoost) для набора данных. Случайный лес получает баллы R2 для (длина, ширина, глубина) = (0,999, 0,994, 0,992).
Для алгоритма повышения градиента мы использовали все данные для процесса обучения и настройки параметров, и r2 достигло .9993, .9999, .9998 для длины, ширины и глубины расплава соответственно в наборе данных проверки. Алгоритм повышения градиента работает лучше всего среди трех алгоритмов машинного обучения.
Базовая модель для случая 2:
В случае 2 мы сталкиваемся с проблемами, заключающимися в том, что, когда лазер находится рядом с краем материала, теплопроводность не будет просто связана с характеристиками в случае 1, но также и с информацией о краях. Мы ожидаем, что простая модель может не работать в этом случае, потребуется разработка функций и настройка параметров.
Модель1:
Подобно модели 1 в случае 1, мы будем прогнозировать температуру точки. Основываясь на знаниях из случая 1, мы сосредоточимся здесь на моделях дерева.
Для алгоритма повышения градиента мы использовали часть данных для процесса обучения и настройки параметров. В частности, мы случайным образом выбрали 200 файлов CSV для обучения и тестирования. Это связано с тем, что для обучения одного CatBoots в таких обстоятельствах требуется много времени. Мы попробовали несколько гиперпараметров и выбрали тот, у которого самая высокая валидация r2. Для набора данных проверки r2 достиг 0,9949. Алгоритм повышения градиента работает лучше всего среди трех алгоритмов машинного обучения.
Поскольку при большем значении температуры наблюдался немного плохой прогноз. Мы использовали метод начальной загрузки, чтобы получить больше образцов при более высоких значениях температуры. Прогнозы наблюдений при высоких значениях реальной температуры были улучшены, но в результате было получено немного меньшее значение r2 (0,9992). Следовательно, здесь существует компромисс между высокой общей точностью предсказания и лучшим предсказанием при наблюдениях с высокими значениями температуры.
Модель2:
Подобно модели 2 в случае 1, мы прогнозируем размер плавильной ванны. Основываясь на знаниях из случая 1, мы все же сосредоточимся на моделях дерева. Для алгоритма повышения градиента мы использовали все данные для процесса обучения и настройки параметров, и r2 достигло .9928, .9845, .9986 для длины, ширины и глубины расплава соответственно в наборе данных проверки. Алгоритм повышения градиента продолжает работать хорошо.
Улучшение модели 2
- - Применяя анализ конечных элементов в частных производных и термические теории для проектирования элементов.
Основные формулы для PDE и числового PDE:
Где F (t, x, y, z) подразумевает источник тепла в этой динамической системе (которая в нашей модели является движущейся точкой).
Используя конечно-элементный анализ и методы конечных разностей, мы можем прийти к следующему уравнению для наиболее общего одномерного случая без источника тепла:
где u (j, n) подразумевает температуру точки j в момент времени t.
Выводы, которые мы получили из этих уравнений: (i) температура связана с теплом, полученным от источника, (ii) температура связана с к температуре его соседей.
Анализ случая 2 с краями (что влияет на температуру):
На границах способ теплопередачи не соответствует общему случаю, так как
поскольку воздух не является хорошим материалом для передачи тепла.
Интуитивно понятно, что хотя тепло встречается с границей, оно не может распространяться в воздух так же легко, как внутри печатного материала, что приводит к увеличению температуры границы.
Направление лазера в этом случае имеет значение, поскольку для этих лазеров, идущих назад, материал испытывает нагрев во второй раз, и это тепло, хранящееся внутри, поможет повысить температуру.
Разработка функций
Основываясь на выводах PDE и тепловых теорий, мы предполагаем, что эти особенности могут помочь улучшить прогнозирование моделей.
- Обратное расстояние до лазерной точки
- Обратное расстояние до края
- Мера тепла, которое не может легко распространяться (по объему)
- Примерно использовать: накопленный объем = edge_dis³ / sin (alpha)
4. Площадь границы (по площади суммарно)
- Примерно использовать: накопленная поверхность = edge_dis² / sin (alpha)
5. Противоположность греху и дистанции.
Здесь мы использовали подмножество обучающих данных и применили простой случайный лес для проверки эффективности сгенерированных функций.
Мы выяснили, что объем, поверхность, расстояние, обратный грех (даже по приблизительным оценкам) - это 4 важные функции для этой модели, которые могут увеличить на 6,9% оценку квадрата R исходной модели, что было большим улучшением по сравнению с исходной моделью. модель уже имела R2 0,868.
Мы также считаем, что создание более информативных функций на основе понимания физики и математики было бы весьма полезным. Это также должно работать для модели 2 в случае 2.
Расширенная модель
Фактически, при прогнозировании тестовых данных в модели 2 случая 2 выясняется, что существует утечка данных, в результате чего наша оценка валидации намного выше, чем должна быть. Чтобы избежать этого, мы сгенерировали наши данные проверки, полностью разделив проверку и тестирование. Прогноз на основе данных проверки оказался неудовлетворительным с оценкой R2 (0,900, 0,878, 0,958).
Введя сгенерированные функции в наш набор данных, мы могли бы значительно улучшить наши прогнозы размера плавильной ванны на самом деле. Учитывая оценку R2 (0,968, 0,932, 0,968).
Дальнейшая работа
- Разработайте более эффективные подходы к настройке гиперпараметров
- Больше возможностей для проектирования, основанного на твердых знаниях физики
- Попробуйте больше показателей для оценки модели
Подтверждение
Благодарим Dassault Systems за поддержку в форме предоставления источников данных и финансирования Brown Datathon 2020 года.
