O Listview do Xamarin.Forms em muitos casos pode ser um problema, principalmente para o android que ele não é muito otimizado.

Da uma olhada nesse tópico, pode ser que te ajude https://stackoverflow.com/questions/43102069/xamarin-forms-listview-load-more