package service // 分组利润控制(配套 migration 192/193 的 groups.profit_* 字段)。 // // 定位:利润控制是"候选准入过滤",只决定账号能否进入调度候选池;既有的排序、 // 评分、粘性、熔断、负载均衡在合格账号之间照常工作,本文件不改变它们的行为。 // // 准入条件: // // U(尝试时刻) <= D(pricingAt) × (1 − profit_min_margin − profit_safety_buffer) // // - D(用户售价倍率)固定在请求开始的 pricingAt:同一请求的全部 failover 与 // 最终扣费共用同一 D(RecordUsage 的高峰因子同样取 pricingAt),一个请求 // 不会中途变价。D 与计费完全同源:按请求真实计费分组(ctxkey.Group,即 // apiKey 自身分组;composite 请求为父分组)做 ResolveUserGroupRateMultiplier // (用户-分组覆盖 ?? 分组默认)× Group.PeakMultiplierAt(pricingAt),绝不在 // 用户有覆盖时退回分组默认;开关与 margin/buffer 则始终取被调度 // openai/grok 分组。 // - U(上游成本倍率)取 accounts.rate_multiplier。倍率可以由运营者手工维护, // 也可以由上游倍率探测同步写回;利润门不再耦合探测协议、新鲜度或账号类型。 // 0 是合法的免费上游倍率;nil、负数、NaN、Inf 属于非法数据并保守拒绝。 // // 装门点(gate 随 ctx 传播,请求内复用,覆盖等待/重试/failover/抢槽后终检): // - handler 各文本入口经 WithOpenAIRequestPricingContext 在请求开始统一装门并 // 固定 pricingAt。生图意图只用于能力路由与图片计费,不决定是否装门:混合 // /v1/responses 请求(含声明了生图工具的请求)的 token 计费部分仍受利润门 // 保护,请求体内的任何工具声明都不能作为关门开关。 // - 门范围之外的路径显式携带 WithOpenAIProfitControlSuppressed 标记:独立 // 图片/视频端点与 Grok 媒体(媒体计费另有倍率来源)、count_tokens(不计费)、 // live(按时长计费)。所有装门点(含防御性装门)都尊重该标记。 // - selectAccountWithScheduler 顶部:唯一文本调度入口的防御性装门(ctx 已有 // 同分组门则复用,保证 failover 阈值稳定);requiredImageCapability != "" // 的专用图片调度不装门。 // - 公开 SelectAccountWithLoadAwareness / SelectAccountByPreviousResponseID: // 防御性装门,保证不经唯一入口的调用方无法绕过。 // - 选号结果通过 AccountSelectionResult 携带真实生效的门(composite/fallback // 路由可能解析出与入口分组不同的门),handler 经 // ContextWithSelectionProfitGate 重放后再做抢槽后终检与准入后粘性绑定。 // - 长连接(Responses WS)在每个 turn 开始经 WithOpenAITurnPricingContext // 重新冻结 pricingAt 并重装门:turn 的准入与计费同源,跨峰谷边界不再共用 // 建连时刻的 D。 // // 否决点(消费 gate,任何 fallback 都无法把已排除账号重新放回): // - defaultOpenAIAccountScheduler.isAccountRequestCompatibleReason:候选池 // 过滤 + 调度器内抢槽后终检共用,named reason 进入 openAISelectionFilterStats。 // - isOpenAICompatibleAccountEligibleForRequest:legacy 引擎与 DB recheck 共用。 // - resolveAccountByPreviousResponseIDForCapability:previous_response 粘连 // 两阶段校验;与 quota auto-pause 同语义,跳过复用但不删除绑定。 // - handler 槽位获取后终检(OpenAIProfitControlVeto):快速抢槽与 WaitPlan // 排队成功后复核,越线则释放槽位、加入本请求排除集重新选号,全池耗尽才 // 返回标准 no available accounts。 // // 失败语义:分组配置读取失败时放行并告警(fail-open)。这是"配置系统故障时 // 可用性优先"的显式取舍——该异常窗口内利润保证不成立,靠 WARN 与采样观测 // 暴露,绝不把瞬时 DB 抖动放大成全站不可调度。 // // 可观测性:按分组和平台累计装门/threshold 否决/invalid-rate 否决/终检刷新 // 失败计数,≥5 分钟采样输出一条 Info(profit_control_activity),无逐请求日志。 import ( "context" "errors" "fmt" "log/slog" "math" "sync" "sync/atomic" "time" "github.com/Wei-Shaw/sub2api/internal/pkg/ctxkey" "github.com/Wei-Shaw/sub2api/internal/pkg/timezone" ) const ( // profitControlRateEpsilon 吸收 decimal(10,4) 落库与浮点乘法的边界误差: // U 与阈值的相对差在该量级内视为相等(即 U == 阈值 判定为合格)。 profitControlRateEpsilon = 1e-9 // 进入 openAISelectionFilterStats 的排除原因,全排除时出现在 // "no available accounts" 的内部统计摘要里(与 quota_auto_pause 等同通道)。 openAIProfitFilterReasonThreshold = "profit_threshold" openAIProfitFilterReasonInvalidAccountRate = "profit_invalid_account_rate" // profitControlActivityLogInterval 是按分组采样输出累计计数的最小间隔。 profitControlActivityLogInterval = 5 * time.Minute ) type openAIProfitControlGateCtxKey struct{} // openAIProfitControlSuppressCtxKey 标记本请求显式跳过利润门(独立图片/视频 // 端点、Grok 媒体、count_tokens、live 等利润门范围外流量)。所有装门点看到该 // 标记后一律不装门,防止 service 层防御性装门把边界外流量重新拉回利润过滤。 type openAIProfitControlSuppressCtxKey struct{} // openAIPricingAtCtxKey 携带请求级定价时刻 pricingAt:门的 D 与 RecordUsage // 的高峰因子共用,保证一个请求从准入到扣费不中途变价。 type openAIPricingAtCtxKey struct{} // clampProfitControlThreshold 归一化利润门阈值。Validate/Normalize 已保证 // margin+buffer < 1,这里只对存量脏数据兜底:阈值非有限或为负时按 0 处理 // (等价于只放行免费上游)。装门点与 profit-preview 共用,避免口径漂移。 func clampProfitControlThreshold(threshold float64) float64 { if math.IsNaN(threshold) || math.IsInf(threshold, 0) || threshold < 0 { return 0 } return threshold } // profitControlOverThreshold 是"上游倍率越线"的唯一定义:相对 epsilon 吸收 // decimal(10,4) 落库与浮点乘法的边界误差,U == 阈值 判定为合格。 // 线上否决点与 profit-preview 共用,两者不得各自实现。 func profitControlOverThreshold(upstream, threshold float64) bool { return upstream-threshold > profitControlRateEpsilon*math.Max(1, math.Abs(threshold)) } // openAIProfitControlGate 是一个请求的利润准入门。除 pricingAt 外全部为预计算 // 标量:候选过滤热路径上每账号只做一次快照解码与一次浮点比较。 type openAIProfitControlGate struct { // groupID 是门配置来源的被调度分组;请求内按分组复用(failover 阈值稳定), // composite 等跨分组调度切换分组时重新解析。 groupID int64 // platform 是利润配置所在分组的平台,用于按平台观测门是否真实生效。 platform string // threshold = D(pricingAt) × (1 − margin − buffer),账号倍率必须 <= 它。 threshold float64 // pricingAt 是本请求的统一定价时刻(D 侧)。 pricingAt time.Time } // WithOpenAIRequestPricingContext 在请求开始处装配请求级定价上下文:固定 // pricingAt(返回给调用方,供 RecordUsage 入参共用同一时刻),并按分组安装 // 利润门。ctx 携带 WithOpenAIProfitControlSuppressed 标记(门范围外流量)时 // 只固定 pricingAt、不装门。handler 各文本入口应在选号循环前调用一次。 func (s *OpenAIGatewayService) WithOpenAIRequestPricingContext(ctx context.Context, groupID *int64) (context.Context, time.Time) { pricingAt := timezone.Now() ctx = context.WithValue(ctx, openAIPricingAtCtxKey{}, pricingAt) return s.withOpenAIProfitControlGate(ctx, groupID), pricingAt } // WithOpenAIProfitControlSuppressed 标记本请求在利润门范围之外(独立图片/视频 // 端点、Grok 媒体、count_tokens、live)。所有装门点(含 service 层防御性装门) // 都尊重该标记;它只关闭利润准入过滤,不影响定价上下文与计费。 func WithOpenAIProfitControlSuppressed(ctx context.Context) context.Context { return context.WithValue(ctx, openAIProfitControlSuppressCtxKey{}, struct{}{}) } // WithOpenAITurnPricingContext 在长连接(Responses WS)的每个 turn 开始重新 // 冻结 pricingAt 并按当前配置重装利润门,使 turn 的准入与计费同源:峰前建连 // 保活不再让后续 turn 继续按建连时刻的谷价定价。连接可能被调度到与入口分组 // 不同的分组(composite 成员分组),turn 级重装以连接上已装门的调度分组为准; // 连接从未装门时才回退入口分组。抑制标记下只刷新 pricingAt。 func (s *OpenAIGatewayService) WithOpenAITurnPricingContext(ctx context.Context, groupID *int64) (context.Context, time.Time) { pricingAt := timezone.Now() ctx = context.WithValue(ctx, openAIPricingAtCtxKey{}, pricingAt) if _, suppressed := ctx.Value(openAIProfitControlSuppressCtxKey{}).(struct{}); suppressed { return ctx, pricingAt } if existing, ok := ctx.Value(openAIProfitControlGateCtxKey{}).(*openAIProfitControlGate); ok && existing != nil { gid := existing.groupID groupID = &gid } gate := s.resolveOpenAIProfitControlGate(ctx, groupID) if gate == nil { // 分组已关门(或配置读取失败 fail-open):清除旧 turn 的门,后续 turn // 按无门放行,与 HTTP 路径的开关语义一致。 if existing, ok := ctx.Value(openAIProfitControlGateCtxKey{}).(*openAIProfitControlGate); ok && existing != nil { return context.WithValue(ctx, openAIProfitControlGateCtxKey{}, (*openAIProfitControlGate)(nil)), pricingAt } return ctx, pricingAt } openAIProfitControlObserverInstance.recordInstall(gate.groupID, gate.platform, gate.threshold) return context.WithValue(ctx, openAIProfitControlGateCtxKey{}, gate), pricingAt } // openAIPricingAtFromContext 返回请求级定价时刻;未装配(内部调用、非文本 // 入口)时 ok=false,调用方回退 timezone.Now() 保持既有行为。 func openAIPricingAtFromContext(ctx context.Context) (time.Time, bool) { pricingAt, ok := ctx.Value(openAIPricingAtCtxKey{}).(time.Time) return pricingAt, ok && !pricingAt.IsZero() } // OpenAIPricingAtFromContext 是 handler 侧读取请求级定价时刻的公开入口(未装配 // 时为零值,RecordUsage 对零值回退记录时刻)。供跨函数传递 pricingAt 不便的 // 记录路径直接从请求 ctx 取值。 func OpenAIPricingAtFromContext(ctx context.Context) time.Time { pricingAt, _ := openAIPricingAtFromContext(ctx) return pricingAt } // withOpenAIProfitControlGate 解析分组利润控制配置;启用时把预计算好的准入门 // 装进 ctx。抑制标记、未启用/非 openai 分组/无法取到分组配置时原样返回 ctx // (门不存在,全部否决点自动放行,既有行为零变化)。ctx 已有同分组门时直接 // 复用:同一请求的全部 failover 重入共享同一阈值。 func (s *OpenAIGatewayService) withOpenAIProfitControlGate(ctx context.Context, groupID *int64) context.Context { if _, suppressed := ctx.Value(openAIProfitControlSuppressCtxKey{}).(struct{}); suppressed { return ctx } if groupID != nil { if existing, ok := ctx.Value(openAIProfitControlGateCtxKey{}).(*openAIProfitControlGate); ok && existing != nil && existing.groupID == *groupID { return ctx } } gate := s.resolveOpenAIProfitControlGate(ctx, groupID) if gate == nil { // 被调度分组无门(未启用/非 openai/配置读取失败)而 ctx 带着其他分组的 // 请求门时清除之:门配置取被调度分组,父分组阈值不得泄漏到成员分组 //(composite/模型路由等跨分组调度)。typed-nil 覆盖值由否决点按无门放行。 if existing, ok := ctx.Value(openAIProfitControlGateCtxKey{}).(*openAIProfitControlGate); ok && existing != nil && groupID != nil && existing.groupID != *groupID { return context.WithValue(ctx, openAIProfitControlGateCtxKey{}, (*openAIProfitControlGate)(nil)) } return ctx } openAIProfitControlObserverInstance.recordInstall(gate.groupID, gate.platform, gate.threshold) return context.WithValue(ctx, openAIProfitControlGateCtxKey{}, gate) } func (s *OpenAIGatewayService) resolveOpenAIProfitControlGate(ctx context.Context, groupID *int64) *openAIProfitControlGate { if s == nil || groupID == nil || *groupID <= 0 { return nil } // 门配置取被调度分组。直连请求(ctx 认证分组即调度分组,生产绝大多数流量) // 直接复用 auth cache 分组,热路径零额外查询;composite 父分组路由到成员 // 分组等 ID 不一致场景才回源仓库读取。auth 快照的分组字段完备性由 // GetByKeyForAuth 投影 + 集成测试保证(防投影漏列导致门静默失效)。 var group *Group if ctxGroup, ok := ctx.Value(ctxkey.Group).(*Group); ok && IsGroupContextValid(ctxGroup) && ctxGroup.ID == *groupID { group = ctxGroup } else if s.schedulerSnapshot != nil { // Lite 读取:门只用平台/倍率/利润/高峰字段,不需要账号计数聚合。 loaded, err := s.schedulerSnapshot.GetGroupByIDLite(ctx, *groupID) if err != nil { // fail-open:配置系统故障时可用性优先,该窗口内利润保证不成立, // 依赖 WARN 暴露;不把瞬时 DB 抖动放大成全站不可调度。 slog.Warn("profit_control_group_load_failed", "group_id", *groupID, "error", err) return nil } group = loaded } if group == nil || !group.ProfitControlEnabled || (group.Platform != PlatformOpenAI && group.Platform != PlatformGrok) { return nil } pricingAt, ok := openAIPricingAtFromContext(ctx) if !ok { pricingAt = timezone.Now() } // D 与计费完全同源(RecordUsage 组合):计费永远按 apiKey 自身分组 //(composite 请求即父分组)的"用户覆盖 ?? 分组默认 × 高峰因子"计算, // 因此优先取认证中间件放入 ctx 的分组;ctx 中无有效分组(内部调用)时 // 退回调度分组组合,直连 openai 分组场景两者等价。 billingGroup := group if ctxGroup, ok := ctx.Value(ctxkey.Group).(*Group); ok && IsGroupContextValid(ctxGroup) { billingGroup = ctxGroup } downstream := billingGroup.RateMultiplier if userID, _ := ctx.Value(ctxkey.UserID).(int64); userID > 0 { downstream = s.ResolveUserGroupRateMultiplier(ctx, userID, billingGroup.ID, billingGroup.RateMultiplier) } downstream *= billingGroup.PeakMultiplierAt(pricingAt) deduction := group.ProfitMinMargin + group.ProfitSafetyBuffer threshold := clampProfitControlThreshold(downstream * (1 - deduction)) return &openAIProfitControlGate{ groupID: *groupID, platform: group.Platform, threshold: threshold, pricingAt: pricingAt, } } // attachSelectionProfitGate 把调度上下文里生效的利润门记录到选号结果上。门在 // 选号函数内部的局部 ctx 上安装(composite/fallback 路由还可能解析出与入口 // 分组不同的门),不随返回值离开调度栈;结果携带后 handler 才能对"真实过滤了 // 候选的那个门"做抢槽后终检与准入后绑定。 func attachSelectionProfitGate(ctx context.Context, sel *AccountSelectionResult) *AccountSelectionResult { if sel == nil { return nil } if gate, ok := ctx.Value(openAIProfitControlGateCtxKey{}).(*openAIProfitControlGate); ok && gate != nil { sel.profitGate = gate } return sel } // ContextWithSelectionProfitGate 把选号时真实生效的利润门重放到 ctx 上。 // handler 在拿到选号结果后必须用返回的 ctx 做抢槽后终检 // (ProfitControlVetoLatest / GatewayProfitControlVetoLatest)与准入后粘性 // 绑定,否则这两步会因为看不到调度栈内安装的门而退化为空操作。 func ContextWithSelectionProfitGate(ctx context.Context, sel *AccountSelectionResult) context.Context { if sel == nil || sel.profitGate == nil { return ctx } if existing, ok := ctx.Value(openAIProfitControlGateCtxKey{}).(*openAIProfitControlGate); ok && existing == sel.profitGate { return ctx } return context.WithValue(ctx, openAIProfitControlGateCtxKey{}, sel.profitGate) } // openAIProfitControlVetoReason 报告利润门是否否决该账号。ctx 中没有门 // (分组未启用利润控制或本请求跳门)或账号为 nil 时一律放行。 func openAIProfitControlVetoReason(ctx context.Context, account *Account) (bool, string) { gate, _ := ctx.Value(openAIProfitControlGateCtxKey{}).(*openAIProfitControlGate) if gate == nil || account == nil { return false, "" } if account.RateMultiplier == nil || math.IsNaN(*account.RateMultiplier) || math.IsInf(*account.RateMultiplier, 0) || *account.RateMultiplier < 0 { openAIProfitControlObserverInstance.recordVeto(gate.groupID, gate.platform, gate.threshold, openAIProfitFilterReasonInvalidAccountRate) return true, openAIProfitFilterReasonInvalidAccountRate } upstream := *account.RateMultiplier if profitControlOverThreshold(upstream, gate.threshold) { openAIProfitControlObserverInstance.recordVeto(gate.groupID, gate.platform, gate.threshold, openAIProfitFilterReasonThreshold) return true, openAIProfitFilterReasonThreshold } return false, "" } // OpenAIProfitControlVeto 是 handler 层槽位获取后终检的公开入口:语义与调度 // 内否决点完全一致。ctx 必须是经 WithOpenAIRequestPricingContext 装配过的 // 请求上下文,否则视为无门放行。 func OpenAIProfitControlVeto(ctx context.Context, account *Account) (bool, string) { return openAIProfitControlVetoReason(ctx, account) } // ProfitControlVetoLatest performs the handler-side terminal check after a // concurrency slot is actually acquired. The latest cached account replaces // the selection snapshot when available, so a probe/manual rate change during // wait time cannot pass on a stale pointer. func (s *OpenAIGatewayService) ProfitControlVetoLatest(ctx context.Context, selected *Account) (*Account, bool, string) { if s == nil { return selected, false, "" } return profitControlVetoLatest(ctx, selected, s.schedulerSnapshot) } // bindOpenAIStickySessionDuringSelection preserves the official eager binding // behavior for requests without a profit gate. Profit-controlled requests bind // only after the terminal post-slot check, so an account rejected after a rate // refresh cannot become the new sticky target. func (s *OpenAIGatewayService) bindOpenAIStickySessionDuringSelection(ctx context.Context, groupID *int64, sessionHash string, accountID int64) error { if gatewayProfitControlGateActive(ctx) { return nil } return s.BindStickySession(ctx, groupID, sessionHash, accountID) } // BindStickySessionAfterProfitAdmission records the terminally admitted // account. Without a profit gate it preserves the pre-existing eager binding // behavior at the handler bind points. With a gate it never overwrites a // different binding that already exists, so a temporarily ineligible account // remains sticky and becomes eligible again automatically after its rate // recovers. func (s *OpenAIGatewayService) BindStickySessionAfterProfitAdmission(ctx context.Context, groupID *int64, sessionHash string, accountID int64) error { if sessionHash == "" || accountID <= 0 { return nil } if !gatewayProfitControlGateActive(ctx) { return s.BindStickySession(ctx, groupID, sessionHash, accountID) } existingAccountID, err := s.getStickySessionAccountID(ctx, groupID, sessionHash) if err != nil && !errors.Is(err, ErrStickySessionNotFound) { slog.Warn("profit_control_sticky_binding_read_failed", "group_id", derefGroupID(groupID), "account_id", accountID, "error", err) return nil } if existingAccountID > 0 && existingAccountID != accountID { return nil } return s.BindStickySession(ctx, groupID, sessionHash, accountID) } // ---- 可观测性:按分组累计计数 + 采样日志(无逐请求输出) ---- // // 计数按"每次准入评估"累计,而非每请求:粘性层校验与候选池过滤可能对同一账号 // 各评估一次,failover 重入也会再次计数。计数用于确认门在真实流量上生效及否决 // 构成,不能当作精确的请求数或账号数。 type openAIProfitControlGroupStats struct { installs atomic.Int64 vetoThreshold atomic.Int64 vetoInvalidRate atomic.Int64 refreshFailures atomic.Int64 lastLogUnixMilli atomic.Int64 } type openAIProfitControlObserver struct { groups sync.Map // "platform:groupID" -> *openAIProfitControlGroupStats } var openAIProfitControlObserverInstance = &openAIProfitControlObserver{} func profitControlObserverKey(groupID int64, platform string) string { return platform + ":" + fmt.Sprintf("%d", groupID) } func (o *openAIProfitControlObserver) stats(groupID int64, platform string) *openAIProfitControlGroupStats { key := profitControlObserverKey(groupID, platform) if v, ok := o.groups.Load(key); ok { if s, ok := v.(*openAIProfitControlGroupStats); ok { return s } } v, _ := o.groups.LoadOrStore(key, &openAIProfitControlGroupStats{}) if s, ok := v.(*openAIProfitControlGroupStats); ok { return s } // 不可达:map 中只存 *openAIProfitControlGroupStats;兜底返回独立实例避免 panic。 return &openAIProfitControlGroupStats{} } func (o *openAIProfitControlObserver) recordInstall(groupID int64, platform string, threshold float64) { s := o.stats(groupID, platform) s.installs.Add(1) o.maybeLog(groupID, platform, threshold, s) } func (o *openAIProfitControlObserver) recordVeto(groupID int64, platform string, threshold float64, reason string) { s := o.stats(groupID, platform) switch reason { case openAIProfitFilterReasonThreshold: s.vetoThreshold.Add(1) case openAIProfitFilterReasonInvalidAccountRate: s.vetoInvalidRate.Add(1) } o.maybeLog(groupID, platform, threshold, s) } func (o *openAIProfitControlObserver) recordRefreshFailure(groupID int64, platform string, threshold float64) { s := o.stats(groupID, platform) s.refreshFailures.Add(1) o.maybeLog(groupID, platform, threshold, s) } // maybeLog 以 CAS 保证同分组 ≥ profitControlActivityLogInterval 才输出一条 // 累计计数 Info;计数为进程内累计值,用于确认门在真实流量上生效及否决构成。 func (o *openAIProfitControlObserver) maybeLog(groupID int64, platform string, threshold float64, s *openAIProfitControlGroupStats) { now := time.Now().UnixMilli() last := s.lastLogUnixMilli.Load() if last != 0 && now-last < profitControlActivityLogInterval.Milliseconds() { return } if !s.lastLogUnixMilli.CompareAndSwap(last, now) { return } slog.Info("profit_control_activity", "group_id", groupID, "platform", platform, "threshold", threshold, "installs_total", s.installs.Load(), "veto_threshold_total", s.vetoThreshold.Load(), "veto_invalid_account_rate_total", s.vetoInvalidRate.Load(), "refresh_failure_total", s.refreshFailures.Load(), ) }