Spaces:
Sleeping
Sleeping
call google sheets
Browse files
app.py
CHANGED
|
@@ -11,6 +11,7 @@ import os
|
|
| 11 |
import random
|
| 12 |
from huggingface_hub import login
|
| 13 |
import logging
|
|
|
|
| 14 |
|
| 15 |
logging.basicConfig(level=logging.DEBUG)
|
| 16 |
|
|
@@ -19,6 +20,8 @@ login(token=HF_TOKEN)
|
|
| 19 |
|
| 20 |
MODEL = "5to9/hygge_v33-500_merged"
|
| 21 |
|
|
|
|
|
|
|
| 22 |
TITLE = """<h1><center>🇸🇪 Hygge – Möbelhauspoesie</center></h1>
|
| 23 |
<p><center><strong>Kann ein klitzekleines Sprachmodell eine komplexe Markensprache lernen?</strong> Diese Frage beantwortet Hygge mit einem fröhlichen "Vielleicht!" Das Modell produziert Texte im Stil eines fiktiven Möbelhauses. Auch wenn es mit 8B Parametern winzig ist, gibt es sich Mühe, so zu texten wie die Großen. Klappt ein bisschen. Das Modell basiert auf <a href="https://huggingface.co/DiscoResearch/Llama3-DiscoLeo-Instruct-8B-v0.1">DiscoLeo 8B von Disco Research</a> einer deutschsprachig finegetuneten Version von <a href="https://huggingface.co/meta-llama/Meta-Llama-3-8B"> Llama 3</a>. (Nicht wundern: Produkte haben die Namen von Simpsons Charakteren. Is halt so.)</center></p><p><center>Mehr Infos <a href='https://portfolio.oliverheidorn.de/project/hygge-llm'>in meinem Portfolio.</a></center><p></br>"""
|
| 24 |
|
|
@@ -101,8 +104,8 @@ def stream_chat(message: str,
|
|
| 101 |
penalty: float = 1.2,
|
| 102 |
):
|
| 103 |
|
| 104 |
-
system_prompt = """Du bist ein hilfreicher Chatbot, der humorvoll und
|
| 105 |
-
Du erhältst vom User eine Anweisung. Befolge sie genau, greife das Thema der Anweisung
|
| 106 |
|
| 107 |
logging.debug(f'message: {message}, temperature: {temperature}, max_new_tokens: {max_new_tokens}')
|
| 108 |
|
|
@@ -139,6 +142,18 @@ def stream_chat(message: str,
|
|
| 139 |
buffer += new_text
|
| 140 |
yield buffer
|
| 141 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 142 |
logging.debug(f'Generation done: {buffer}')
|
| 143 |
|
| 144 |
|
|
|
|
| 11 |
import random
|
| 12 |
from huggingface_hub import login
|
| 13 |
import logging
|
| 14 |
+
import traceback
|
| 15 |
|
| 16 |
logging.basicConfig(level=logging.DEBUG)
|
| 17 |
|
|
|
|
| 20 |
|
| 21 |
MODEL = "5to9/hygge_v33-500_merged"
|
| 22 |
|
| 23 |
+
SPACER = "*"*50+"\n"
|
| 24 |
+
|
| 25 |
TITLE = """<h1><center>🇸🇪 Hygge – Möbelhauspoesie</center></h1>
|
| 26 |
<p><center><strong>Kann ein klitzekleines Sprachmodell eine komplexe Markensprache lernen?</strong> Diese Frage beantwortet Hygge mit einem fröhlichen "Vielleicht!" Das Modell produziert Texte im Stil eines fiktiven Möbelhauses. Auch wenn es mit 8B Parametern winzig ist, gibt es sich Mühe, so zu texten wie die Großen. Klappt ein bisschen. Das Modell basiert auf <a href="https://huggingface.co/DiscoResearch/Llama3-DiscoLeo-Instruct-8B-v0.1">DiscoLeo 8B von Disco Research</a> einer deutschsprachig finegetuneten Version von <a href="https://huggingface.co/meta-llama/Meta-Llama-3-8B"> Llama 3</a>. (Nicht wundern: Produkte haben die Namen von Simpsons Charakteren. Is halt so.)</center></p><p><center>Mehr Infos <a href='https://portfolio.oliverheidorn.de/project/hygge-llm'>in meinem Portfolio.</a></center><p></br>"""
|
| 27 |
|
|
|
|
| 104 |
penalty: float = 1.2,
|
| 105 |
):
|
| 106 |
|
| 107 |
+
system_prompt = """Du bist ein hilfreicher Chatbot, der humorvoll, einfach und natürlich formulieren kann wie ein guter Werbetexter.
|
| 108 |
+
Du erhältst vom User eine Anweisung. Befolge sie genau, greife das Thema der Anweisung unbedingt auf und thematisiere es in deiner Antwort."""
|
| 109 |
|
| 110 |
logging.debug(f'message: {message}, temperature: {temperature}, max_new_tokens: {max_new_tokens}')
|
| 111 |
|
|
|
|
| 142 |
buffer += new_text
|
| 143 |
yield buffer
|
| 144 |
|
| 145 |
+
try:
|
| 146 |
+
|
| 147 |
+
# chatbot_a[-1][1] Second index of last in list
|
| 148 |
+
|
| 149 |
+
sheet_row = [message, buffer, temperature, max_new_tokens, top_p, top_k, penalty]
|
| 150 |
+
logging.debug(f'{SPACER}Output row: {sheet_row}\n{SPACER}')
|
| 151 |
+
sheet = get_google_sheet()
|
| 152 |
+
sheet.append_row(sheet_row, table_range="A1:G1")
|
| 153 |
+
|
| 154 |
+
|
| 155 |
+
except Exception as e:
|
| 156 |
+
logging.error(f'{SPACER} Error: {e}, Traceback {traceback.format_exc()}')
|
| 157 |
logging.debug(f'Generation done: {buffer}')
|
| 158 |
|
| 159 |
|