经过进一步核实，2023年4月望城区卫生健康局曾对该托育机构开展托育服务未进行备案登记的行为出具了《行政处罚决定书》，责令该机构2023年7月18日前改正违法行为，并给予了警告的行政处罚。

因此，该机构存在以下违法事实：未向县级以上卫生健康部门备案擅自开展婴幼儿托育服务，被责令限期改正、给予警告的行政处罚；拒不改正，仍未备案为3岁以下婴幼儿提供托育服务。行政执法人员依法责令该机构限期改正违法行为，并给予罚款人民币5100元整的行政处罚。

第二十八条第三款 托育机构的设置和服务应当符合托育服务相关标准和规范。托育机构应当向县级人民政府卫生健康主管部门备案。

第四条：托育机构登记后，应当向机构所在地的县级以上卫生健康部门备案，提交评价为“合格”的《托幼机构卫生评价报告》、消防安全检查合格证明、场地证明、工作人员资格证明等材料，填写备案书和承诺书。提供餐饮服务的，应当提交《食品经营许可证》。

第四十一条第一款 托育机构违反托育服务相关标准和规范的，由卫生健康主管部门责令改正，给予警告；拒不改正的，处五千元以上五万元以下的罚款；情节严重的，责令停止托育服务，并处五万元以上十万元以下的罚款。