定义皇冠梨订购成本为 1.5元，售价 2.1 元，过期成本 1.7 元,缺货成本 0.4 元，持有成本 0.1 元，提前期为 1 天，生命周期为 3 天，对动作数量和数值进行调整，对 Q 学习算法模型进行训练。基于 Q 学习算法的库存模型与定量订货法的库存成本计算公式为?? = ?? ∙ ???? + ????∙ ?? + ???? ∙ ??，其中，U：库存成本，C：单位产品的过期成本，????：每段时间内的过期数量， ：单位产品的持有成本， ：每段时间内持有的商品的数量， ：单位产品的缺货成本， ：每段时间内的缺货数量。总利润=500*R，库存成本为 U。以生鲜农产品零售经营者利润为奖励函数，在实验过程中，生鲜农产品零售商利润以天为单位，进行 500 天实验，从而得出生鲜产品零售商的总利润和库存成本。然后零售经营者采用服务水平为 96%的定量订货模型，利润以天为单位，进行 500 天的计算，得出的总利润和库存成本。实验以 E=0.1，学习率初始化为 0.7，当训练 2 万次，每迭代千次便将学习率降低为?? ∗ ??，?? = 0.9。实验的每个周期为 500 次，每个实验周期只进行一次订货与库存更新。在实验条件均相同的情况下，当需求数据是?? = (60，5^2)时，求出零售商使用基于 Q 学习算法的库存模型得到的的库存成本。麻烦给出完整的代码过程