Можно ли взять адрес у элемента, полученного по индексу из map с ключом int и значением int?

Нет, выражение &m[key] для map[int]int недопустимо: элемент map не является адресуемым значением. Можно получить копию или хранить указатели как значения map.

При работе с копией измените её и запишите обратно m[key] = value. Если нужен стабильный объект, используйте map[int]*T и отдельно управляйте его временем жизни и конкурентным доступом. Адрес локальной копии не станет адресом ячейки map.