| # DenseBackwardOLMoE | |
| 自定义的OLMoE模型，使用DenseBackwardOlmoeSparseMoeBlock替换原版的MoE模块，实现dense backward功能。 | |
| ## 用法 | |
| ```python | |
| from transformers import AutoConfig, AutoModelForCausalLM | |
| # 使用trust_remote_code=True加载模型 | |
| config = AutoConfig.from_pretrained("autoprogrammer/olmoe_densebackward", trust_remote_code=True) | |
| model = AutoModelForCausalLM.from_pretrained("autoprogrammer/olmoe_densebackward", config=config, trust_remote_code=True) | |
| ``` | |