확장자, 포트 수정
This commit is contained in:
@@ -5,5 +5,6 @@ UPLOAD_DIR = os.getenv("UPLOAD_DIR", "data")
|
||||
OUTPUT_DIR = os.getenv("OUTPUT_DIR", "converted")
|
||||
|
||||
# Redis 연결 정보
|
||||
# local 연결시 redis -> localhost로 변경
|
||||
REDIS_HOST = os.getenv("REDIS_HOST", "redis")
|
||||
REDIS_PORT = int(os.getenv("REDIS_PORT", "6379"))
|
||||
|
||||
@@ -13,21 +13,19 @@ def convert_hwp_to_md(input_path: str, output_path: str):
|
||||
for doc in docs:
|
||||
try:
|
||||
text = doc.page_content if hasattr(doc, "page_content") else str(doc)
|
||||
text = text.encode("utf-8", "ignore").decode(
|
||||
"utf-8"
|
||||
) # UTF-8로 변환하면서 깨진 문자 제거
|
||||
text = text.encode("utf-8", "ignore").decode("utf-8")
|
||||
docs_as_text.append(text)
|
||||
except Exception as e:
|
||||
print(f"인코딩 변환 중 오류 발생: {e}")
|
||||
|
||||
with open(output_path, "w", encoding="utf-8") as f:
|
||||
f.write("\n".join(docs_as_text)) # ✅ 변환된 리스트를 파일에 저장
|
||||
f.write("\n".join(docs_as_text))
|
||||
|
||||
return None
|
||||
|
||||
|
||||
def convert_to_md(input_path: str, output_path: str):
|
||||
md = MarkItDown(docintel_endpoint="<document_intelligence_endpoint>")
|
||||
md = MarkItDown()
|
||||
result = md.convert(input_path)
|
||||
with open(output_path, "w", encoding="utf-8") as f:
|
||||
f.write(result.text_content)
|
||||
|
||||
@@ -49,7 +49,15 @@ async def convert_files():
|
||||
|
||||
for file in files:
|
||||
file_ext = file.split(".")[-1].lower()
|
||||
if file_ext in ["txt", "html", "docx", "pdf", "hwp"]:
|
||||
if file_ext in [
|
||||
"txt",
|
||||
"html",
|
||||
"pdf",
|
||||
"hwp",
|
||||
"pptx",
|
||||
"xlsx",
|
||||
"docx",
|
||||
]:
|
||||
task = {
|
||||
"filename": file,
|
||||
"extension": file_ext,
|
||||
|
||||
@@ -34,5 +34,5 @@ def process_task(task):
|
||||
if __name__ == "__main__":
|
||||
listen = ["task_queue1"]
|
||||
|
||||
worker = Worker(listen, connection=redis_client) # 최신 방식
|
||||
worker = Worker(listen, connection=redis_client)
|
||||
worker.work()
|
||||
|
||||
Reference in New Issue
Block a user