От чего можно отталкиваться при выборе количества шардов для кэша, если заранее неизвестна нагрузка?

Начните с оценки объёма данных, конкуренции и возможности последующего изменения схемы. Число шардов выбирают по измерениям, а не по универсальной формуле.

Для локального кеша важны число одновременно работающих горутин и contention, для распределённого — ёмкость узла, сеть и перенос ключей. Заложите наблюдаемость и способ переразбиения, например виртуальные сегменты. Слишком много шардов тоже создаёт накладные расходы и усложняет обслуживание.