Современные модели искусственного интеллекта за последние годы раздулись до миллиардов параметров. Хотя сообщество машинного обучения (ML) проявило большой интерес к свойствам масштабирования моделей на основе трансформаторов, было проведено относительно мало исследований эффектов масштабирования в отношении индуктивных смещений, налагаемых различными моделями…
