Explorar o código

sycl : offload of get_rows set to 0 (#10432)

Alberto Cabrera Pérez hai 1 ano
pai
achega
0f77aae560
Modificáronse 1 ficheiros con 1 adicións e 1 borrados
  1. 1 1
      ggml/src/ggml-sycl/ggml-sycl.cpp

+ 1 - 1
ggml/src/ggml-sycl/ggml-sycl.cpp

@@ -4493,7 +4493,7 @@ static bool ggml_backend_sycl_device_supports_buft(ggml_backend_dev_t dev, ggml_
 static int64_t get_op_batch_size(const ggml_tensor * op) {
 static int64_t get_op_batch_size(const ggml_tensor * op) {
     switch (op->op) {
     switch (op->op) {
         case GGML_OP_GET_ROWS:
         case GGML_OP_GET_ROWS:
-            return op->ne[1]; // this will increse the speed of prefill in test
+            return 0;
         case GGML_OP_MUL_MAT:
         case GGML_OP_MUL_MAT:
             return op->ne[1];
             return op->ne[1];
         case GGML_OP_MUL_MAT_ID:
         case GGML_OP_MUL_MAT_ID: