重大事故、较大事故、一般事故分别由事故发生地省级人民政府、设区的市级人民政府、县级人民政府负责调查。特别重大事故以下等级事故，事故发生地与事故发生单位不在同一个县级以上行政区域的，由事故发生地人民政府负责调查，事故发生单位所在地人民政府应当派人参加。该事故导致4人死亡，属于较大事故，较大事故应由设区的市级人民政府负责调查；因该工程位于乙省社区的B市，所以此次事故由设区的B市人民政府负责组织调查处理。故选D。