缓存策略增加“缓存磁盘最小空余空间”选项

internal/utils/json.go

@@ -5,6 +5,7 @@ package utils
 import (
 	"bytes"
 	"encoding/json"
+	"errors"
 	"reflect"
 )
 
@@ -28,3 +29,32 @@ func JSONClone(v interface{}) (interface{}, error) {
 func JSONIsNull(jsonData []byte) bool {
 	return len(jsonData) == 0 || bytes.Equal(jsonData, []byte("null"))
 }
+
+// JSONDecodeConfig 解码并重新编码
+// 是为了去除原有JSON中不需要的数据
+func JSONDecodeConfig(data []byte, ptr any) (encodeJSON []byte, err error) {
+	err = json.Unmarshal(data, ptr)
+	if err != nil {
+		return
+	}
+
+	encodeJSON, err = json.Marshal(ptr)
+	if err != nil {
+		return
+	}
+
+	// validate config
+	if ptr != nil {
+		config, ok := ptr.(interface {
+			Init() error
+		})
+		if ok {
+			initErr := config.Init()
+			if initErr != nil {
+				err = errors.New("validate config failed: " + initErr.Error())
+			}
+		}
+	}
+
+	return
+}

internal/web/actions/default/servers/components/cache/createPopup.go

@@ -2,6 +2,7 @@ package cache
 
 import (
 	"encoding/json"
+	"github.com/TeaOSLab/EdgeAdmin/internal/utils"
 	"github.com/TeaOSLab/EdgeAdmin/internal/web/actions/actionutils"
 	"github.com/TeaOSLab/EdgeCommon/pkg/langs/codes"
 	"github.com/TeaOSLab/EdgeCommon/pkg/rpc/pb"
@@ -34,10 +35,11 @@ func (this *CreatePopupAction) RunPost(params struct {
 	FileMemoryCapacityJSON []byte
 	FileOpenFileCacheMax   int
 	FileEnableSendfile     bool
+	FileMinFreeSizeJSON    []byte
 
 	CapacityJSON         []byte
 	MaxSizeJSON          []byte
-	FetchTimeoutJSON            []byte
+	FetchTimeoutJSON     []byte
 	SyncCompressionCache bool
 
 	Description string
@@ -50,14 +52,14 @@ func (this *CreatePopupAction) RunPost(params struct {
 		Require("请输入策略名称")
 
 	// 校验选项
-	var options interface{}
+	var options any
 	switch params.Type {
 	case serverconfigs.CachePolicyStorageFile:
 		params.Must.
 			Field("fileDir", params.FileDir).
 			Require("请输入缓存目录")
 
-		memoryCapacity := &shared.SizeCapacity{}
+		var memoryCapacity = &shared.SizeCapacity{}
 		if len(params.FileMemoryCapacityJSON) > 0 {
 			err := json.Unmarshal(params.FileMemoryCapacityJSON, memoryCapacity)
 			if err != nil {
@@ -74,6 +76,19 @@ func (this *CreatePopupAction) RunPost(params struct {
 			}
 		}
 
+		var minFreeSize = &shared.SizeCapacity{}
+		var minFreeSizeJSON = params.FileMinFreeSizeJSON
+		if !utils.JSONIsNull(minFreeSizeJSON) {
+			_, err := utils.JSONDecodeConfig(minFreeSizeJSON, minFreeSize)
+			if err != nil {
+				this.ErrorPage(err)
+				return
+			}
+			if minFreeSize.Count < 0 {
+				minFreeSize.Count = 0
+			}
+		}
+
 		options = &serverconfigs.HTTPFileCacheStorage{
 			Dir: params.FileDir,
 			MemoryPolicy: &serverconfigs.HTTPCachePolicy{
@@ -81,6 +96,7 @@ func (this *CreatePopupAction) RunPost(params struct {
 			},
 			OpenFileCache:  openFileCacheConfig,
 			EnableSendfile: params.FileEnableSendfile,
+			MinFreeSize:    minFreeSize,
 		}
 	case serverconfigs.CachePolicyStorageMemory:
 		options = &serverconfigs.HTTPMemoryCacheStorage{}
@@ -99,7 +115,7 @@ func (this *CreatePopupAction) RunPost(params struct {
 		Description:          params.Description,
 		CapacityJSON:         params.CapacityJSON,
 		MaxSizeJSON:          params.MaxSizeJSON,
-		FetchTimeoutJSON: params.FetchTimeoutJSON,
+		FetchTimeoutJSON:     params.FetchTimeoutJSON,
 		Type:                 params.Type,
 		OptionsJSON:          optionsJSON,
 		SyncCompressionCache: params.SyncCompressionCache,

internal/web/actions/default/servers/components/cache/update.go

@@ -2,6 +2,7 @@ package cache
 
 import (
 	"encoding/json"
+	"github.com/TeaOSLab/EdgeAdmin/internal/utils"
 	"github.com/TeaOSLab/EdgeAdmin/internal/web/actions/actionutils"
 	"github.com/TeaOSLab/EdgeCommon/pkg/langs/codes"
 	"github.com/TeaOSLab/EdgeCommon/pkg/rpc/pb"
@@ -38,6 +39,18 @@ func (this *UpdateAction) RunGet(params struct {
 		this.ErrorPage(err)
 		return
 	}
+
+	// fix min free size
+	if cachePolicy.Type == serverconfigs.CachePolicyStorageFile && cachePolicy.Options != nil {
+		_, ok := cachePolicy.Options["minFreeSize"]
+		if !ok {
+			cachePolicy.Options["minFreeSize"] = &shared.SizeCapacity{
+				Count: 0,
+				Unit:  shared.SizeCapacityUnitGB,
+			}
+		}
+	}
+
 	this.Data["cachePolicy"] = cachePolicy
 
 	// 其他选项
@@ -57,6 +70,7 @@ func (this *UpdateAction) RunPost(params struct {
 	FileMemoryCapacityJSON []byte
 	FileOpenFileCacheMax   int
 	FileEnableSendfile     bool
+	FileMinFreeSizeJSON    []byte
 
 	CapacityJSON         []byte
 	MaxSizeJSON          []byte
@@ -85,7 +99,7 @@ func (this *UpdateAction) RunPost(params struct {
 			Field("fileDir", params.FileDir).
 			Require("请输入缓存目录")
 
-		memoryCapacity := &shared.SizeCapacity{}
+		var memoryCapacity = &shared.SizeCapacity{}
 		if len(params.FileMemoryCapacityJSON) > 0 {
 			err := json.Unmarshal(params.FileMemoryCapacityJSON, memoryCapacity)
 			if err != nil {
@@ -102,6 +116,19 @@ func (this *UpdateAction) RunPost(params struct {
 			}
 		}
 
+		var minFreeSize = &shared.SizeCapacity{}
+		var minFreeSizeJSON = params.FileMinFreeSizeJSON
+		if !utils.JSONIsNull(minFreeSizeJSON) {
+			_, err := utils.JSONDecodeConfig(minFreeSizeJSON, minFreeSize)
+			if err != nil {
+				this.ErrorPage(err)
+				return
+			}
+			if minFreeSize.Count < 0 {
+				minFreeSize.Count = 0
+			}
+		}
+
 		options = &serverconfigs.HTTPFileCacheStorage{
 			Dir: params.FileDir,
 			MemoryPolicy: &serverconfigs.HTTPCachePolicy{
@@ -109,6 +136,7 @@ func (this *UpdateAction) RunPost(params struct {
 			},
 			OpenFileCache:  openFileCacheConfig,
 			EnableSendfile: params.FileEnableSendfile,
+			MinFreeSize:    minFreeSize,
 		}
 	case serverconfigs.CachePolicyStorageMemory:
 		options = &serverconfigs.HTTPMemoryCacheStorage{}

web/views/@default/servers/components/cache/createPopup.html

@@ -26,7 +26,7 @@
 				</td>
 			</tr>
             <tr>
-                <td class="color-border">缓存硬盘最大容量 *</td>
+                <td class="color-border">缓存磁盘最大用量 *</td>
                 <td>
                     <size-capacity-box :v-name="'capacityJSON'" :v-count="128" :v-unit="'gb'" :key="'capacityJSON1'"></size-capacity-box>
                     <p class="comment">缓存所在磁盘的最大用量，超出此用量后，将会自动尝试清理旧数据，如果为0表示没有限制。</p>
@@ -63,6 +63,13 @@
 			<td colspan="2"><more-options-indicator></more-options-indicator></td>
 		</tr>
         <tbody v-show="moreOptionsVisible && policyType == 'file'">
+            <tr>
+                <td class="color-border">缓存磁盘最小空余空间</td>
+                <td>
+                    <size-capacity-box :v-name="'fileMinFreeSizeJSON'" :v-count="0" :v-unit="'gb'" :key="'minFreeSizeJSON'"></size-capacity-box>
+                    <p class="comment">缓存磁盘保留的最小空余空间，如果为0表示自动限制（目前默认保留5GB）。</p>
+                </td>
+            </tr>
             <tr>
                 <td class="color-border">缓存文件句柄缓存</td>
                 <td>
@@ -83,7 +90,7 @@
                 <td>同步写入压缩缓存</td>
                 <td>
                     <checkbox name="syncCompressionCache"></checkbox>
-                    <p class="comment">选中后，在压缩设置开启的情况下，在缓存源站内容的同时，也会同步写入压缩缓存；不选中，表示在源站内容缓存后，下一次调用才会缓存压缩内容，防止同一时间内硬盘IO负载过高。</p>
+                    <p class="comment">选中后，在压缩设置开启的情况下，在缓存源站内容的同时，也会同步写入压缩缓存；不选中，表示在源站内容缓存后，下一次调用才会缓存压缩内容，防止同一时间内磁盘IO负载过高。</p>
                 </td>
             </tr>
             <tr>

web/views/@default/servers/components/cache/policy.html

@@ -27,10 +27,10 @@
             </td>
         </tr>
         <tr>
-            <td class="color-border">缓存硬盘最大容量</td>
+            <td class="color-border">缓存磁盘最大用量</td>
             <td>
                 <size-capacity-view :v-value="cachePolicy.capacity" :v-default-text="'不限'"></size-capacity-view>
-                <p class="comment">单个节点上缓存目录所在硬盘允许的最大容量，如果为0表示没有限制。</p>
+                <p class="comment">单个节点上缓存目录所在磁盘允许的最大容量，如果为0表示没有限制。</p>
             </td>
         </tr>
         <tr v-if="cachePolicy.options.memoryPolicy != null && cachePolicy.options.memoryPolicy.capacity != null && cachePolicy.options.memoryPolicy.capacity.count > 0">
@@ -54,6 +54,10 @@
             <td class="color-border">开启Sendfile</td>
             <td><span v-if="cachePolicy.options.enableSendfile" class="green">Y</span><span v-else class="disabled">N</span></td>
         </tr>
+        <tr v-if="cachePolicy.options.minFreeSize != null && cachePolicy.options.minFreeSize.count > 0">
+            <td class="color-border">缓存磁盘最小空余空间</td>
+            <td><size-capacity-view :v-value="cachePolicy.options.minFreeSize"></size-capacity-view></td>
+        </tr>
     </tbody>
 
    <tbody v-if="cachePolicy.type != 'file'">

web/views/@default/servers/components/cache/update.html

@@ -28,7 +28,7 @@
 					</td>
 				</tr>
                 <tr>
-                    <td class="color-border">缓存硬盘最大容量</td>
+                    <td class="color-border">缓存磁盘最大用量</td>
                     <td>
                         <size-capacity-box :v-name="'capacityJSON'" :v-value="cachePolicy.capacity" :v-count="0" :v-unit="'gb'"></size-capacity-box>
                         <p class="comment">缓存所在磁盘的最大用量，超出此用量后，将会自动尝试清理旧数据，如果为0表示没有限制。</p>
@@ -70,6 +70,13 @@
 				<td colspan="2"><more-options-indicator></more-options-indicator></td>
 			</tr>
             <tbody v-show="moreOptionsVisible && policyType == 'file'">
+                <tr>
+                    <td class="color-border">缓存磁盘最小空余空间</td>
+                    <td>
+                        <size-capacity-box :v-name="'fileMinFreeSizeJSON'" :v-value="cachePolicy.options.minFreeSize" :key="'minFreeSizeJSON'"></size-capacity-box>
+                        <p class="comment">缓存磁盘保留的最小空余空间，如果为0表示使用默认（目前默认保留5GB）。</p>
+                    </td>
+                </tr>
                 <tr>
                     <td class="color-border">缓存文件句柄缓存</td>
                     <td>
@@ -90,7 +97,7 @@
                     <td>同步写入压缩缓存</td>
                     <td>
                         <checkbox name="syncCompressionCache" v-model="cachePolicy.syncCompressionCache"></checkbox>
-                        <p class="comment">选中后，在压缩设置开启的情况下，在缓存源站内容的同时，也会同步写入压缩缓存；不选中，表示在源站内容缓存后，下一次调用才会缓存压缩内容，防止同一时间内硬盘IO负载过高。</p>
+                        <p class="comment">选中后，在压缩设置开启的情况下，在缓存源站内容的同时，也会同步写入压缩缓存；不选中，表示在源站内容缓存后，下一次调用才会缓存压缩内容，防止同一时间内磁盘IO负载过高。</p>
                     </td>
                 </tr>
                 <tr>