1"""
2parse_chat.py — универсальный парсер чатов через telegram-mcp MCP.
3 
4Использование:
5  python3 parse_chat.py <chat_id> [--limit 1000] [--out output.jsonl]
6 
7Примеры:
8  python3 parse_chat.py 123456789                         # личка
9  python3 parse_chat.py -100123456789 --limit 500        # группа
10  python3 parse_chat.py 123456789 --out dm.jsonl         # в файл
11"""
12 
13import argparse
14import json
15import subprocess
16import sys
17import time
18from pathlib import Path
19 
20CONTEXT_DIR = Path(__file__).parent / "context"
21CHATS_DIR = CONTEXT_DIR / "chats"
22PEOPLE_DIR = CONTEXT_DIR / "people"
23 
24PAGE_SIZE = 100   # сообщений за раз
25PAUSE = 1.5       # пауза между запросами (сек)
26 
27 
28def mcporter_call(tool: str, **kwargs) -> list[dict]:
29    """Вызывает MCP-инструмент через mcporter, возвращает список распарсенных сообщений."""
30    args = ["mcporter", "call", f"telegram.{tool}"]
31    for k, v in kwargs.items():
32        args.append(f"{k}={v}")
33 
34    result = subprocess.run(args, capture_output=True, text=True, timeout=60)
35    if result.returncode != 0:
36        raise RuntimeError(f"mcporter error: {result.stderr.strip()}")
37 
38    # Парсим текстовый вывод вида "ID: 123 | Name | Date: ... | Message: text"
39    messages = []
40    for line in result.stdout.splitlines():
41        if not line.startswith("ID:"):
42            continue
43        parts = line.split("|")
44        try:
45            msg_id = int(parts[0].replace("ID:", "").strip())
46            sender = parts[1].strip() if len(parts) > 1 else ""
47            date = parts[2].replace("Date:", "").strip() if len(parts) > 2 else ""
48            text = ""
49            reply_to = None
50 
51            for p in parts[2:]:
52                if "Message:" in p:
53                    text = p.split("Message:", 1)[1].strip()
54                if "reply to" in p:
55                    try:
56                        reply_to = int(p.split("reply to")[1].strip())
57                    except Exception:
58                        pass
59 
60            messages.append({
61                "id": msg_id,
62                "sender": sender,
63                "date": date,
64                "text": text,
65                "reply_to": reply_to,
66            })
67        except Exception:
68            continue
69 
70    return messages
71 
72 
73def parse_messages_output(raw: str) -> list[dict]:
74    """Парсит текстовый вывод iter_all_messages."""
75    messages = []
76    for line in raw.splitlines():
77        if not line.startswith("ID:"):
78            continue
79        parts = line.split("|")
80        try:
81            msg_id = int(parts[0].replace("ID:", "").strip())
82            sender = parts[1].strip() if len(parts) > 1 else ""
83            date = parts[2].replace("Date:", "").strip() if len(parts) > 2 else ""
84            text = ""
85            reply_to = None
86            for p in parts[2:]:
87                if "Message:" in p:
88                    text = p.split("Message:", 1)[1].strip()
89                if "reply to" in p:
90                    try:
91                        reply_to = int(p.strip().split("reply to")[1].strip())
92                    except Exception:
93                        pass
94            messages.append({"id": msg_id, "sender": sender, "date": date, "text": text, "reply_to": reply_to})
95        except Exception:
96            continue
97    return messages
98 
99 
100def parse_chat(chat_id: int, limit: int = 5000, out_file: str = None) -> list[dict]:
101    """Парсит чат через iter_all_messages с пагинацией по offset_id."""
102    all_messages = []
103    offset_id = 0
104    total = 0
105    batch = min(PAGE_SIZE * 5, 500)  # 500 за раз
106 
107    print(f"[parse_chat] Парсю чат {chat_id}, лимит: {limit}")
108 
109    while total < limit:
110        fetch = min(batch, limit - total)
111        print(f"[parse_chat] Запрос {fetch} сообщений (offset_id={offset_id})...")
112 
113        args = ["mcporter", "call", "telegram.iter_all_messages",
114                f"chat_id={chat_id}", f"limit={fetch}"]
115        if offset_id:
116            args.append(f"offset_id={offset_id}")
117 
118        try:
119            result = subprocess.run(args, capture_output=True, text=True, timeout=120)
120            raw = result.stdout
121            # убираем stderr строки
122            clean = "\n".join(l for l in raw.splitlines() if not l.startswith("[mcporter]"))
123            msgs = parse_messages_output(clean)
124        except Exception as e:
125            print(f"[parse_chat] Ошибка: {e}")
126            break
127 
128        if not msgs:
129            print(f"[parse_chat] Пусто — конец чата.")
130            break
131 
132        all_messages.extend(msgs)
133        total += len(msgs)
134        print(f"[parse_chat] Получено: {len(msgs)} | Всего: {total}")
135 
136        if len(msgs) < fetch:
137            print(f"[parse_chat] Последняя партия.")
138            break
139 
140        # offset_id = самый старый ID для следующей итерации
141        offset_id = min(m["id"] for m in msgs)
142        time.sleep(PAUSE)
143 
144    print(f"[parse_chat] Итого: {total} сообщений")
145 
146    # Сохраняем
147    if out_file:
148        out = Path(out_file)
149    else:
150        out = CONTEXT_DIR / f"raw_{chat_id}.jsonl"
151 
152    out.parent.mkdir(parents=True, exist_ok=True)
153    with open(out, "w", encoding="utf-8") as f:
154        for msg in all_messages:
155            f.write(json.dumps(msg, ensure_ascii=False) + "\n")
156 
157    print(f"[parse_chat] Сохранено в: {out}")
158 
159    # Дописываем в messages.jsonl (глобальный лог)
160    messages_log = CONTEXT_DIR / "messages.jsonl"
161    # Загружаем существующие ID чтобы не дублировать
162    existing_ids = set()
163    if messages_log.exists():
164        with open(messages_log, "r", encoding="utf-8") as f:
165            for line in f:
166                try:
167                    existing_ids.add(json.loads(line)["id"])
168                except Exception:
169                    pass
170 
171    new_count = 0
172    with open(messages_log, "a", encoding="utf-8") as f:
173        for msg in all_messages:
174            if msg["id"] not in existing_ids:
175                f.write(json.dumps({**msg, "chat_id": chat_id}, ensure_ascii=False) + "\n")
176                new_count += 1
177 
178    print(f"[parse_chat] Добавлено в messages.jsonl: {new_count} новых записей")
179 
180    return all_messages
181 
182 
183def print_summary(messages: list[dict]):
184    """Выводит краткую статистику."""
185    senders = {}
186    for m in messages:
187        s = m.get("sender", "?")
188        senders[s] = senders.get(s, 0) + 1
189 
190    print("\n=== Участники ===")
191    for name, count in sorted(senders.items(), key=lambda x: -x[1]):
192        print(f"  {name}: {count} сообщений")
193 
194    if messages:
195        print(f"\nПервое: {messages[-1].get('date', '?')}")
196        print(f"Последнее: {messages[0].get('date', '?')}")
197 
198 
199def main():
200    parser = argparse.ArgumentParser(description="Парсер чатов через telegram-mcp")
201    parser.add_argument("chat_id", type=int, help="ID чата или пользователя")
202    parser.add_argument("--limit", type=int, default=1000, help="Макс. кол-во сообщений (default: 1000)")
203    parser.add_argument("--out", type=str, help="Путь к выходному файлу (.jsonl)")
204    parser.add_argument("--stats", action="store_true", help="Показать статистику")
205    args = parser.parse_args()
206 
207    messages = parse_chat(args.chat_id, args.limit, args.out)
208 
209    if args.stats or not args.out:
210        print_summary(messages)
211 
212 
213if __name__ == "__main__":
214    main()
215