在外省能起诉当地政府机关吗

不能，我国诉讼是原告就被告的管辖原则，也就是说，你想起诉谁，就应当在被起诉人所在地法院起诉，因此，应当在当地政府机构所在地起诉。
如果该机构是县级人民政府以上级别，应当在中级人民法院起诉。