Update modeling_densebackward_olmoe.py
Browse files
modeling_densebackward_olmoe.py
CHANGED
|
@@ -6,7 +6,7 @@ import torch.nn.functional as F
|
|
| 6 |
|
| 7 |
# 导入官方实现（注意根据你的 transformers 版本调整导入路径）
|
| 8 |
from transformers.models.olmoe.modeling_olmoe import OlmoeForCausalLM, OlmoeSparseMoeBlock, OlmoeMLP
|
| 9 |
-
from
|
| 10 |
|
| 11 |
|
| 12 |
class DenseBackwardOlmoeSparseMoeBlock(OlmoeSparseMoeBlock):
|
|
|
|
| 6 |
|
| 7 |
# 导入官方实现（注意根据你的 transformers 版本调整导入路径）
|
| 8 |
from transformers.models.olmoe.modeling_olmoe import OlmoeForCausalLM, OlmoeSparseMoeBlock, OlmoeMLP
|
| 9 |
+
from .configuration_densebackward_olmoe import DenseBackwardOLMoEConfig
|
| 10 |
|
| 11 |
|
| 12 |
class DenseBackwardOlmoeSparseMoeBlock(OlmoeSparseMoeBlock):
|