Callbacks

Overview

LLMを呼ぶタイミングなどに処理を挟むことができる

1. on_llm_start
2. on_llm_end
3. on_llm_new_token
4. on_llm_error
5. on_chain_start
6. on_chain_end
7. on_agent_action
8. on_tool_end
9. on_tool_error
10. on_agent_finish

Examples

1. StdOutCallbackHandler <- verbose=True とするとセットされるCallbackHandler
2. CostCalcCallbackHandler: CostStreaming用のCallback
3. SimpleStreamlitCallbackHandler: StreamlitでチャットがStreamingで出るようにするためのCallback

Run

poetry run pytest -k test_callback -s

platform darwin -- Python 3.9.9, pytest-7.4.0, pluggy-1.2.0
rootdir: /Users/m.naka/repos/nakamasato/gpt-poc
plugins: cov-4.1.0
collected 4 items / 3 deselected / 1 selected

tests/test_callbacks.py run_id=UUID('a49fbd93-2745-4b73-807b-7ae668fcc9fd')
prompts=['Tell me a joke']
serialized={'lc': 1, 'type': 'not_implemented', 'id': ['langchain', 'llms', 'fake', 'FakeListLLM']}
.

promptsをチェックしたりできる。