Map<Point, GameObject> objects = new HashMap<>();
objects.put(new Point(10,20), object1);
objects.put(new Point(30,20), object2);

objects.get(new Point(30,20)); //object2

Но так следует делать только если у тебя объекты располагаются хаотично на карте (но тогда как ты узнаешь координаты для их получения?). Если же у тебя сетка с фиксированным размером ячейки, то создавай двумерный массив GameObject[][] и храни в нем все свои ссылки. Для получения объекта по координатам можно писать так:
gameObjects[(int)(x/cell_size)][(int)(y/cell_size)];