Mitt emot premiärministerns kontor ligger en likadan byggnad där det sitter en massa ministrar och jobbar.