Как реализовать стрелочную функцию, которая принимает неизвестное количество аргументов и выводит их через запятую, не используя обычную функцию?

Используйте rest-параметр стрелочной функции и join либо явное преобразование элементов перед объединением.

const printArgs = (...args) => console.log(args.map(value => String(value)).join(', '));
printArgs('a', 2, true); // a, 2, true

Rest создаёт собственный массив аргументов стрелки, в отличие от arguments, который был бы взят из внешней области. String явно задаёт представление каждого значения; для сложных объектов оно не заменяет форматирование по согласованной схеме.