Есть ли способ загрузить только несколько элементов из большого списка объектов и заполнить их в UICollectionView

Если у вас уже есть массив, вы можете разбить его на страницы, а затем отобразить нужные вам страницы:

let entries = Array(1...100).split(into: 10)

...используя это расширение:

extension Array {
    func split(into size: Int) -> [[Element]] {
        return stride(from: 0, to: count, by: size).map {
            Array(self[$0..<Swift.min($0 + size, count)])
        }
    }
}

Затем вы можете отобразить первый массив как первую страницу, второй как вторую и так далее.

^{взято из здесь}