Data Adventures

SnowBeaver, привет и спасибо за блог!

Подскажи, пожалуйста, как интерпретировать солверные частоты действий? 

Что это за моменты, что влияет на выбор той или иной частоты?

Например, для префлопа:

Спойлер

возьмём 3bet с 65s на HJ vs UTG - если я так играю по, скажем, эксплойт-причинам, 

то это уже не равновесие, 

а насколько понимаю, "эквилибриум" - суть всех решателей

рандомайзер и поляризация моего диапазона - пока единственный прикладной вариант, к которому прихожу,

но, как будто, это не то

по крайней мере, не всё

в общем,

буду рад, если поделишься своими мыслями на этот счёт

WoopWoop, зависит от ситуации. Надо понимать что если рука замиксована, то ев действий там одинаковое. эквилибриум тебе не даёт правильной игры, он даёт неэксплуатируемую. Если представить себе игрока в покер поэтически, то GTO это щит, а эксплойт - меч. Если скажем ты слегка уходишь от идеального равновесия по частотам, то это не страшно, т.к. поле всё равно не сможет это эксплуатировать, т.е. твой щит всё ещё работает. Не надо бояться убирать миксы из своего диапазона в ту или иную сторону. 

что касается 3бета, то тут второй фактор включается - вот эти вот диапазоны префлоп отсчитаны при условии, что и ты и оппоненты играют идеальный постфлоп. А мы люди, а не гто-боты. Если ты в результате 3бета окажешься без позиции, то скорее всего ты не реализуешь своё эквити и на префлопе его надо было дисконтировать. И я бы все миксы в 3бетах приводящие к игре постфлоп без позиции играл бы пассивно и не разгонял банк. 

Ну и я бы не тратил слишком много сил на точное запоминание gto и попыток играть его по рандомайзеру, оно того имхо не стоит. Гораздо лучше понимать его примерно до theshold'ов типа каких-то пограничных рук, и уделить время наблюдению за оппонентами. Они никогда не GTO, а значит в идеальном игре ты тоже никогда равновесные стратегии применять не должен.

Изначально хотел писать в эти выходные статью про jesolver. Типа чуть больше приоткрыть весь смысл и полезность этого инструмента. Т.к. в основном люди упоминают его потому что он типа быстрее. Его используют для сравнения чтобы рассказать про свой продукт и насколько он сопоставим по скорости с jesolver. т.е. используют в качестве бенчмарка. Я же использую его сильно иначе, и это очень ценный инструмент для меня. Статья предполагалась простой  и не сильно технической, но внезапно меня посетил инсайт по задаче, которую я ранее начинал здесь. Я пытался описать решение в омахе более коротко, чем с помощью бакет-матрицы. Внезапно мне это удалось сейчас. Возможно ещё в далеко не совершенном виде, но результаты уже красивые. Я бы хотел ими поделиться, тем более код на python и вы при наличии шила в жопе можете сами начать это использовать. 

Итак, что нам потребуется:

1. собственно PLO trainer desktop (теперь уже PLO Range Explorer) или выгрузки матриц по ситуациям. Можете попросить меня, скину интересующие решения. мне не жалко.

2. настроенный python + библиотека Graphviz установленная в системе. Скачивается бесплатно с официального сайта

можете также почитать что-то по "деревьям решений" если вдруг захотите реально разобраться в теме "а что там под капотом". могу погуглить за вас и например найти неплохую статью на хабре. Но если вы не Софья Ковалевская и вам плевать на математику, то в целом можете обойтись без понимания. На сегодня инструменты становятся очень простыми. chatGPT мне сократил превращение идеи в картинку наверное раз в 5. Просто потому что я плохо знаю питон и его библиотеки, но это самый удобный способ поделиться кодом оставляющий шанс, что хоть кто-то его запустит :)

Далее по шагам:

1. заходим в мою первую статью по омахе и вспоминаем что такое бакет-матрица, и что там означает confidence. Для построения деревьев решений используется похожий параметр, который называют "коэффициентом энтропии". Также существует коэффициент "gini", который даёт почти такой же результат, что и энтропия. Он используется по-умолчанию. Если не смотреть на графики то отличие моего confidence от коэффициента энтропии в том, что confidence = 1 означает, что решение полностью понятно, а энтропия = 1 говорит о том, что решение полностью случайно, а минимальная энтропия = 0 (когда confidence = 1). Это вольное изложение, за корректным в википедию.

2. выкачиваем какое-то решение в range explorer, я использую здесь ситуацию контбета BU vs BB на дровяной доске

Спойлер

строю по нему матрицу и сохраняю результат в .csv

3. Теперь надо преобразовать матрицу в формат вход+выход+весовые коэффициенты. Входы были в матрице True/False, должны стать 1/0. Выходов было 2 (check, bet 1/2), станет 3. Останутся те же 2, и добавлю также исход отвечающий за микс. Использую довольно радикальный признак - если какая-то частота >= 70%, то округляю до 100. Все решения типа 35/65 и т.д. не достигающие 70 идут в микс. Вы можете попробовать менять эти параметры по вашему вкусу и смотреть что будет. Также я использую ситуацию где два исхода для простоты изложения, но с тремя и более тоже нет проблем проделать подобное. 

да здравствует питон, в котором это делается легко

на выходе матрица с дохрена столбцов. 

4. Собственно используем DecisionTreeClassifier и отрисовываем всё в Graphviz. Здесь очень важно выбрать какой-то параметр ограничивающий дерево. Я выбрал не дробить узлы в которых меньше 100 строк матрицы. Также можно ограничить глубину дерева чтобы получать более простые решения. 

код

В коде подчищен технический вывод, если любопытно можете раскомментить. Даёт чуть лучше понимание по тому как строится дерево. также можете убрать код с разворотом в горизонталь если вам больше нравятся вертикальные деревья. 

после запуска этого кода ваш браузер откроет картинку в pdf

Как её понимать:

- происходит примерно тоже самое, что и в бакет-матрице при выборе значений факторов по значимости, но там это мутно, а здесь наглядно.

- все стрелки наверх это true, вниз false. 

- graphviz раскрасил каждое решение в свой цвет.можно видеть что check здесь всегда градация оранжевого, а ставка зелёная. миксы будут фиолетовые если вы уменьшите ограничение на минимальное количество строк. Чем ярче раскраска, тем точнее решение. чем бледнее, тем больше решение скатывается в другое действие. 

По сути готовая шпаргалка по конкретному решению постфлоп. Занимает не так чтобы много места, можно распечатать и повесить себе на стену какие-то типовые ситуации. 

Статья получилась короткая, но мне нечего больше сказать. По-моему способ говорит сам за себя. Работы тоже минимум. Главное чтобы правильный инсайт посетил :) философской части в этот раз не будет. Думаю пора сделать систему бакетов для холдема чтобы там тоже можно было такое рисовать. И можно печатать блю-принты по стратегиям за $$$

P.S. не стоит думать, что тут нет решений микс, их дофига

Спойлер

Просто они позволяют себя упростить, т.к. их мало в процентном отношении.

P.P.S. надо бы ещё подчистить листья дерева там где они одинаковые...

так, отредактировать статью больше не могу, напишу в догонку схлопавывающую функцию

теперь при параметре min_samples_leaf = 100 вообще суперкомпактная картинка получается

и варьируя этот параметр можно получать сложнее \ проще стратегии по вкусу. вот например для 50

Спойлер

Возвращаюсь к jesolver. Постараюсь не писать слишком длинной статьи. Полного ликбеза с детальным описанием точно не будет. Запускать его можно через стандартный PioViwer и есть ролики на ютубе, которые показывают как это сделать. Я же хотел описать чем же так приколен jesolver (кроме того что он быстрый) и описать несколько сценариев использования этого солвера, которые недоступны в других солверах. И я нигде не встречал детального описания этих функций кроме короткого мануала от автора. 

Полный reference на все команды jesolver (а это ровно такая же консольная утилита как и pio) можно прочитать здесь https://jesolver.com/cmdref.html . На какие команды предлагаю обратить внимание

1. set_ev_boost

2. set_deck_distribution 

3. connect_to_workers

Во первых, вы можете не понимать почему я вообще пишу про какие-то команды, если можно просто использовать jesolver через pioViewer. Так вот, всё не так просто. jesolver является некоторым (довольно неслабым) расширением функционала pio и в pioViewer просто нет в интерфейсе нужных кнопок чтобы использовать все возможности jesolver.

В pioviewer есть опция меню Tools->Run Arbitrary Solver Command

Спойлер

которая открывает неприглядное окошко с текстовым вводом и выводом, которое позволяет общаться с солвером напрямую минуя графическую оболочку.

Спойлер

самая простая команда это is_ready, нужна чтобы убедиться что солвер в данный момент готов реагировать на пользовательский ввод, ничего не считает, не завис и т.д. теперь к интересным командам.

1. команда set_ev_boost искуственно завышает (или занижает ev какой-либо линии) тем самым повышая % определённого действия. Например вы хотите изучить ситуацию, в который играете против игрока, который слишком часто играет донк, либо завышен \ занижен контбет. Ну или например вы знаете, что перед вами телефон и там скорее всего не будет рейзов и вы можете посмотреть как меняется стандарная равновесная игра с учётом новой информации об игроке. А так что что важно, можете посмотреть сколько такая отклонение стоит игроку и как много при этом даёт тому, кто эксплуатирует отклонение.

у этой функции 2 параметра - код узла и коэффициент. у коэффициента значения принадлежат интервалу (-1,1] - т.е. -1 не может быть, а 1 может быть. минус означает ослабление EV. Какой коэффициент нужен в данном конкретном случае всегда нужно разбираться методом научного тыка (поставил, проверил, поставил другой и т.д. пока не получил примерно желаемый % от действия). Рекомендую пробовать всего 0.5 для начала. Чтобы узнать код ноды надо посмотреть в интерфейс в процессе навигации по дереву. Call и Check всегда будет одинаково - c, рейз и бет всегда будет b, фолд понятно что f. 

Спойлер

Размер ставки в коде не сбрасывается при прееходе на следующую улицу. т.е. вот тут например при ставке 360 в коде идёт b460 потому что b100 уже было на предыдущей улице

Спойлер

Вообще коды узла это простая вещь, немного потыкавшись в pioViewer вы без особого труда вкурите в логику. 

Например у нас есть ситуация какого-то контбета 

Спойлер

и мы знаем, что оппонент не любит падать на контбеты. GTO же показывает для него такую стратегию

Спойлер

наш порядок действий такой

- строим дерево (Build tree)

- вызываем команду set_ev_boost r:0:c:b100:f -0.9

- жмём Go и считаем. тут надо понимать, что у pio (и jesolver) нет "точности", программа пытается оптимизировать решения так чтобы они минимально друг друга эксплуатировали, а это уже становится невозможно при бусте. Т.е. надо просто подождать какое-то время и остановить расчёт принудительно. Мы видим что солвер убрал некоторое количество фолда из решения и за счёт того, что контбет потерял часть фолдэквити его стало чуть меньше.

Спойлер

Вообще подобрал здесь специально неудачный пример чтобы вы не питали иллюзий. Далеко не всегда с помощью буста ев можно реализовать любую идею. По моему опыту лучше работают бусты в +. 

Также надо всегда держать в голове, что мы не можем забустить линии на каких-то конкретных ранаутах. Если мы в флоп расчёте перейдём на тёрн и забустим там линию, то операция будет проделана для всех ранаутов. С одной стороны это уменьшает гибкость инструмента, а с другой его становиться куда как проще использовать. не придётся бустить 48-49 линий вместо одной. 

2. команда set_deck_distribution позволяет задать вес выпадаемых на тёрн и ривер ранаутов. Исходно веса всех карт = 1. при желании можно задать их как результат card removal с префлопа, либо просто убрать dead cards. Надо всегда подавать данной команде 52 значения.

Спойлер

от младшей карты в кстаршей. порядок мастей c, d, h, s (алфавитный)

Например вот так выглядит моя корректировка для ситуации BU vs BB на столе с 8 игроками

set_deck_distribution 0.65 0.65 0.65 0.65 0.66 0.67 0.67 0.70 0.72 0.72 0.73 0.74 0.78 0.65 0.65 0.65 0.65 0.66 0.67 0.67 0.70 0.72 0.72 0.73 0.74 0.78 0.65 0.65 0.65 0.65 0.66 0.67 0.67 0.70 0.72 0.72 0.73 0.74 0.78 0.65 0.65 0.65 0.65 0.66 0.67 0.67 0.70 0.72 0.72 0.73 0.74 0.78

тузы стали чуть более вероятны чем мелкие карты и это довольно сильно влияет на постфлоп. Для использования этой функции нужно проделать прилично предварительной работы (как минимум скачать мою тулзу для вычитания диапазонов), но результаты нас ещё сильнее приближают к GTO. В прочем я понимаю, что для многих это тонкие материи и надуманная сложность. Но профессиональный инструмент он потому и профессиональный, что позволяет делать чуть больше.

Например однажды я заморочился такой последовательностью мыслей:

1. нам на руки всегда выпадают конкретные две карты

2. постфлоп солверное решение построено для диапазона и оно никак не учитывает информацию, что в данный конкретный момент у нас 2 каких-то карты

а значит:

1. солвер использует не всю информацию, которую мы знаем на текущий момент т.к. веса ранаутов не будут скорректированы согласно нашим двум картам. 

2. интересно было бы это как-то учитывать и посмотреть разницу.

и вот jesolver это позволяет, хоть это и требует дофига труда и программирования. По шагам это примерно выглядит так

1. считаем стандартное решение

2. лочим ВСЕ линии оппонента в полном соответсвии с диапазонами насчитанными на первом шаге

3. выбираем одну конкретную руку из всех доступных hero и используем команду set_deck_distribution, в которой на местах карт hero будут веса 0

4. считаем и смотрим результат по выбранной конкретной руке

5. переходим к шагу 3 и повторяем это для следующей руки. Делаем так много много раз пока не отсчитаем все комбинации. 

в итоге наш комбинированный расчёт в теории должен обыгрывать стадартный солверный. 

3. команда connect_to_workers позволяет запускать расчёты на кластере (несколько серверов одновременно). Для эффекта нам нужно минимум 3 лицензии и 3 сервера (можно 2). На всех серверах мы поднимаем host jesolver. инструкция (https://jeskola.net/jesolver_beta/remote.html) и потом на нашем компе (или третьем сервере) подключаем остальные командой 

connect_to_workers <hostname>[:port] <weight> <hostname>[:port] <weight>

где weight обозначает нагрузку. если скажем у нас превый сервер в два раза шустрее второго, то можно выставить веса 2 и 1 чтобы нагрузить их максимально.

В командах jesolver есть ещё разные прикольные вещи, но я их не особо использовал. Например можно считать постфлоп для shortdeck. Просто вызываем команду set_low_card 6 и всё, карты меньше 6 солвером игнорируются. Есть и вовсе эзотеричные команды типа set_must_use_hole_cards, с помощью которой можно считать игры, которые никто не играет. если поставить 2, то получится омаха с двумя картами например. Или например в команде go можно указывать не % of pot или секунды, а напрямую количество итераций. Бывает полезно в комбинации с set_ev_boost. Мы типа сначала строим равновесную стратегию, потом делаем буст и прогоняем ещё десяток итераций. Такой сценаций сходится чуть быстрее, чем если делать как я описал в пункте 1. (но не обязательно :) )

Я не знаю, полезна ли такая инфа уважаемому сообществу :) Просто резюмирую свой опыт. Когда я когда-то в это влезал, то поиск не давал ничего релевантного и до всего приходилось допирать самому. Возможно кому-то сейчас сделал shortcut. 

Всем добра.

Извините, но это какая-то тяжелая наркомания  

SnowBeaver @ 18.09.23 

Просто резюмирую свой опыт. Когда я когда-то в это влезал, то поиск не давал ничего релевантного и до всего приходилось допирать самому. Возможно кому-то сейчас сделал shortcut. 

Спасибо

AzAzA @ 18.09.23 

Извините, но это какая-то тяжелая наркомания  

Это кино нидлявсех )))

В командах jesolver есть ещё разные прикольные вещи, но я их не особо использовал. Например можно считать постфлоп для shortdeck. Просто вызываем команду set_low_card 6 и всё, карты меньше 6 солвером игнорируются.

Не только все карты меньше 6-ки нужно игнорировать, но и старшинство комбинаций отличается в шортдеке от NLH: Флеш старше Фула, Трипс старше Стрита и нижний стрит А-6-7-8-9 другой.

Anteychik @ 21.09.23 

Не только все карты меньше 6-ки нужно игнорировать, но и старшинство комбинаций отличается в шортдеке от NLH: Флеш старше Фула, Трипс старше Стрита и нижний стрит А-6-7-8-9 другой.

Ну значит нельзя считать shortdeck

В этот раз я слегка не вписался в свой план по срокам, но думаю никто не заметил :)

Для сегодняшней статьи у меня опять нет никаких долгих рассуждений, просто закрываю чеклист по тому, что упомянул ранее. Хотел сделать бакетирование для холдема и сделал. Работает с экспортом стратегий из pioviwer

искать кнопку вот здесь

Спойлер

Получается csv с действиями и EV (которые я никак не использую сейчас)

Спойлер

Далее запускаем супер-простую программу и задаём ей путь до выгрузки, борд и куда сохранять результат

Скачать прогу можно здесь. С исходниками можно ознакомиться на гите здесь. На выходе будет ровно такого же формата csv, какой можно получить в plo trainer. Но для холдема. Т.е. список бакетов сильно урезан. Можете изучать как отдельный результат в экселе или своём коде, а можете перечитать позапрошлую статью и сгенерить визуализацию. В целом даёт забавные инсайты, но надо убедиться что ограничение min_samples_leaf стоит небольшое. Для омахи я выбирал 100, а для холдема как мне кажется 5 будет норм. 

По диапазону из примера мне построило такую картинку

Это был расчёт 3бет пота BU vs BB на борде     с упрощённым деревом. Общий контбет 57%. Получается чтобы запомнить данное солверное решение нужно больше обращать внимание на дрова, а не сильные комбинации. Если поставить min_samples_leaf  = 2, то будет чуть менее упрощённое дерево

По первому дереву мы видим, что если нет дров, то мы в основном ставим контбет, а по второму дереву видим исключения из этого правила. при min_samples_leaf  = 1 построит все переходы, в которых мы можем поискать как играются отдельные бакеты вроде сета и как корректируются другими бакетами. 

Спойлер

Я пока не внедрил такие карты в обучение ни у одного заказчика. Если вдруг будет интерес и похожие потребности, всегда готов к сотрудничеству.

SnowBeaver, csv только для флопа? Для каждого терна и Ривера отдельно все делать нужно?)))

Посмотрел в пио ответ на мой вопрос Да

Хорошо тогда логичный вопрос:

А как сделать на все решение до ривера подобную упрощённую схему ?

Вообще с пиосолвера можно как нибудь взять решение полностью в csv или другом формате? Расшифровать формат пиофайла например?

Имхо практическая польза по одной улице смотреть стратегию не большая, вот если видеть картину действий целиком ...

Солвер может быть не обязательно пио, может монкер позволяет, ГТО плюс или другой cfr солвер...

c00l0ne @ 26.09.23 

SnowBeaver, csv только для флопа? Для каждого терна и Ривера отдельно все делать нужно?)))

я пока не тестил, но вообще все бакеты такие же как в PLO trainer, по хорошему они должны работать нормально на тёрне и ривере. Если что-то вдруг не заработает, то я готов ответить и поправить. можно взять с любой улицы ситуацию и экспортнуть её. 

c00l0ne @ 26.09.23 

А как сделать на все решение до ривера подобную упрощённую схему ?

ну, это надо иметь богатую фантазию :) я пока не понимаю как это должно выглядеть. Вот скажем у нас на флопе было флашдро, на тёрне срослось во флаш, что я должен нарисовать? Чисто гипотетически здесь следующий шаг это рисовать комплексные решения на одной улице. Ну например у меня есть опция чекнуть или поставить без позиции (донк), как я буду реагировать на рейз от опа? типа у меня будет разделение действий не на чек \ бет, а на чек-кол \ чек-фолд \ чек-рейз \ бет-фолд \ бет-кол \ бет-рейз. Это собственно даст стратегический ответ как мы разыгрываем руку на всей улице, а не на конкретном решении. Всегда полезно знать что мы играем бет-фолд например, вдруг наш опп агромакака и все донки рейзит. Но по всем улицам пожалуй что придумать простую схему будет сложно :) я бы посмотрел на кого-то, кто такое делает. Подглядел бы идеи. Можно целую книгку написать как происходит transition между улицами и что надо держать в голове, простое решение я не знаю.

c00l0ne @ 26.09.23 

Вообще с пиосолвера можно как нибудь взять решение полностью в csv или другом формате? Расшифровать формат пиофайла например?

в пио есть очень понятное API, если потратить какое-то время на него, то экспорт из пио не представляет проблемы. я за полдня бы написал, но я вроде уже писал такое :) с piosolver (jesolver) с данными можно делать что угодно. главное потом придумать как дальше эти данные обрабатывать. monkersolver позволяет экспортировать только префлоп, для экспорта постфлопа надо платить деньги специальным умельцам, которые его заревёрсили и сделали конвертер. HRC божественный экспорт имеет, но только для префлопа. Simple имеет UI из 90х без нормального экспорта. По остальным системам не скажу, я не везде экспорт тестировал.

SnowBeaver @ 26.09.23 

Подглядел бы идеи. Можно целую книгку написать как происходит transition между улицами и что надо держать в голове, простое решение я не знаю.

терн+ривер это 46х45 комбинаций ранаутов))

1. можно их классифицировать, так же обьеденить в бакеты

2. можно оценить общую стратегию на улицах далее. например, с какими частотами какая рука как будет играться (по всем ранам в целом). это поможет видеть общее представление солвера о текущей руке против ренжа оппа ещё со флопа.

3. можно комбинировать оба подхода для наглядности

leksafim @ 26.09.23 

терн+ривер это 46х45 комбинаций ранаутов))

1. можно их классифицировать, так же обьеденить в бакеты

2. можно оценить общую стратегию на улицах далее. например, с какими частотами какая рука как будет играться (по всем ранам в целом). это поможет видеть общее представление солвера о текущей руке против ренжа оппа ещё со флопа.

3. можно комбинировать оба подхода для наглядности

это хлебушек авторов водов. настолько необъятная тема, что можно постоянно генерить контент и всегда будет мало. На бакеты для переходов у меня есть. Как-нибудь что-то напишу на эту тему

SnowBeaver @ 26.09.23 

я бы посмотрел на кого-то, кто такое делает. Подглядел бы идеи

Я знаю кто такое не сделал и профукал много $$$ , это создатели пио)

SnowBeaver @ 26.09.23 

типа у меня будет разделение действий не на чек \ бет, а на чек-кол \ чек-фолд \ чек-рейз \ бет-фолд \ бет-кол \ бет-рейз

В чем проблема то ? 

Тот же пио вивер у тебя будет, но вместо ренжей твой трансформер отображается из фич и признаков

В хорошем ране это кодится за одну неделю ...

Там только ещё у фич и признаков добавиться одно измерение в виде истории действий на предыдущих улицах , а так в целом то же самое что ты нам тут рисуешь ...

В итоге же можно будет оценить картину раздачи одним взглядом ... красивое наверное)

SnowBeaver @ 09.09.23 

Использую довольно радикальный признак - если какая-то частота >= 70%, то округляю до 100. Все решения типа 35/65 и т.д. не достигающие 70 идут в микс. Вы можете попробовать менять эти параметры по вашему вкусу и смотреть что будет.

По опыту разглядывания и бакетинга резалтов солвинга в множестве спотов холдема,, более практичная граница будет 60 и 30. Вот пример:

Спойлер

 

На тёрне аналогично получается, т.к. общий(средний) бет будет уходить ближе к 50%, но распределения частота@бакет по ранаутам также будут по 60+ и 30- получше. Общий бет% на флопе как правило равномерно распределяется по бакетам (на скринах ниже будет заметно).

SnowBeaver @ 25.09.23 

Я пока не внедрил такие карты в обучение ни у одного заказчика.

Как большой любитель деревьев не могу не отметить, что как шпаргалка эта визуализация тяжеловата для восприятия + понимания. Понятно что вкусовщина, поэтому постораюсь альтернативу и улучшение предложить:

Использование бакетов в этой идее это необходимость и полезная ось в визуализации, не "нам" тебе про бакеты рассказывать. Но есть проблема с тем как выстраивается всё вокруг них и "да-нет" типа дерева решений. 

1) На примере ГТО донков, которые итак вырубаются по причинам слабой потери ЕВ и упрощения стратегий:

Спойлер

 

а) Есть триггер появления донк рейнджа в зависимости от спота для солва. Ты не эту "проблему решаешь", но даже бакетами с "% от рейнджа" "кол-во комбинаций" тяжело корреляцию с логикой построить. Классические беды ГТО в виде спрятанных инцентивов, контрлогики, зависимости от ранаутов и т.д. Ну это филосовское + проблемы обучаемого

б) Более важно тут графическое представление страты на нижнем скрине под графом. То что я писал про этого про нормальное распределение. Это будет очень часто и это более наглядно выходит. Т.е. мы всеми "нужными" бакетами/комбами ставим "одинаково". Бакеты сразу объяснят что за спайки, но там объяснение которое учится за раз: "натсовые/качественные критерии (бэкдоры, фд, оверкарты, блокеры/антиблокеры)". 

У тебя в "да-нет" дереве в итоге кажет то "о чём я дое*ался": самый слабый(?) бакет и упрощённую страту. Но есть нюанс, которые не покрывается и он виден визуально - провал в бетах перед слабейшим блефовыми бакетами слева. Они бывают постоянно и  смена EV/EQ/EQR не помогает, а пилить зависимости или комбинации между ними это путь не в сторону упрощений. Это ещё поди в омахе не проявляется, т.к. там бакеты всему голова: их больше и сильные комбинации карт компенсируют слабые. Здесь всегда будет "яма имени основы слабой части рейнджа разыгрываемой пассивно". И сменой точки обзора не вылечить это, вот пример с EV и EQR, "центральные" бакеты проваливаются.

Спойлер

 

Т.е. вот такое визуальное оформление позволяет простые блоки выделить:

-мусорные бакеты слева

-зона блефовых с повышенным стимулом бетать

-средние с пониженным стимулом бетать

-вэлью основа

Это не прям какое улучшение, но этот блайнд спот покрывает. Возможно он уникально холдемовский в норм+дип стэках, потому что в дипах вообще горки идут постоянно по 2+ улицы.

2) В ГТО+ сделана комбинация 2-х этих визуализаций

Спойлер

 

но "бакеты" у них неудачно сделаны из-за дизайновых ограничений. Но снова во 2-м примере видно как скачет стратегия по крайностям у "соседних" бакетов (ТП 100% бет, мидпара 100% чек, бот пара микс и биг сайзинги). Мне кажется комбинация твоих бакетов и такой визуализации это лучший вариант. Визуализация по итогу "пустая", но для самопроверки годится т.к. видно что не зря в 100% бета превратил не зелёный бакет.Ещё сплит по сайзингам там может быть хорошо видно. Ну и функционал который отсутсвует в дереве это группировка по типу бакета. Там заместо дерева и визуализации цвет, но здесь можно будет делать кластеринг спотов. Я такое делал, т.е. смотрел какие бакеты что делают и потом это кластерил в "тип стратегии". 

3) Тут упомянули про дальнейший постфлоп и ты ответил, поэтому просто вкину про него тоже:

Такая же визуализация применима к ранаутам

Спойлер

 

Сразу видно плохой-нейтральный-хороший ранаут (то же упрощение через разделение на 3 группы как с бет стратегией).

Ещё про продолжение дальше с бакетами. Выше упомянул, что в вакууме на какой-то из улиц тяжело сменой EV/EQ/EQR нащупать взаимосвязи. Но можно их как ориентир перехода по улицам использовать, это как минимум. Вот пример:

По ЕВ описанный выше псевдо-парадокс, где средняя рука меньше хочет ставить чем рука с EV/EQ ниже

Спойлер

 

Но если туда добавить EQR и реакцию на ран ауты в рамках тройничка "плохой-нейтральный-хороший", то всё проясняется.

Спойлер

 

Хороший ранаут и реализация взлетает (натс перевес+блокер форсит больше ответных чеков оппа)

Спойлер

 

норм, реализация остаётся такой же и мы чек-коллим эту руку

Спойлер

 

плохой и она уходит в 100% чек-фолд (знаменитая сбет + чек-фолд линия)

Спойлер

 

Ведь есть та же реализация по частоте, но выше эквити комбы типа АХ, у которых EQR меньше по итогу.

Получается что в моменте бакет и стратегию засунуть в упрощение тяжело, но если бакетинг делать не по только по "дро+ранк" параметрам, а по простым look-ahead критериям, например, ранаутов, то логика прослеживается. Как ты и сказал это больше для водов, чтобы умничать про процесс реализации эквити ходя по нему взад-вперёд. Но даже в этом примере, на плохом тёрне мы на свой частый чек, ждём частый чек оппа. Как раз потому что на ЕВ графе с флопа мы укрепляли чек рейндж более сильными бакетами. В итоге между этим укреплением c Q2 и "сбет + чек-фолд" с Аc4o появилась взаимосвязь, но солверные численные аутпуты её не чётко идентифицируют, т.к. собирательные значения по всем ранаутам. Но если как-то кратко назвать бакеты 

a1-a) "nut bd fd, A overcard etc

+ 

a1-b) gutshot/oesd catch & call (норм ранаут)

+  

a2) 3 flush turn nut advantage = opp check inducer turn + ev increase (хороший ранаут)

+

a3)  range strength protected (мы коллим даже оверкарты на его float) = opp check inducer turn (плохой ранаут)

и

b1) low pair Q kicker

+

b2) не нужна для защиты бет флоп рейнджа против флоата = идёт в чек рейндж флопа

то было бы гениально, с бакетным объяснением отклонений в целом ровной бет стратегии. 

Это флоп+тёрн связка, но т.к. ранауты сильно влияют, то существенных связок флопа и тёрна будет в разы больше чем флоп+ривер. 

Даже какой-то частный случай комбинации можно через это объяснить

Спойлер

 

Q2 с бдфд больше ставит, но сайзинг не раздувает из-за блока слабых коллов оппу. Т.е. суб-бакеты какие-то можно к сайзингам прицепить аналогичным образом. 

Или вот мультивей пример, с OOP жаханием Плюром с непонятными руками

Спойлер

 

 

Споров про сам плэй может быть 10+ страниц, но если детальный бакетинг под тёрн, тут всё упрощается. Эта 10-ка червей как джекпот карта при выборе блеффовых донкбетов. 

4) Ещё у упрощения постфлопа проблема при бакет "подходе" с расширением градации вэлью рук. Когда А762х 4 масти "сила бакета" почти не меняется, а на 3 флаш+4стрит внезапно слева оказываются не самие плохие стриты и флаши. Шаблоны рвёт и упрощения тоже слетают. Поэтому на мокрых текстурах эта тема с "look-ahead" бакитингом будет спасительной. Там резоны ставить + сайзинги + "сила комбинации для рейза" всё съезжает с норм/дефолтов, поэтому надо с флопа поди сразу подстраиваться и менять сущность бакетов.

Но если 3) и 4) сделать, то постфлоп не так страшно смотрится. Ну это сам решишь, просто я "ручным" методом так делал. И даже если aggregated reports делать по спотам, там аутлаеры текстур по значениям будут как раз по этой логике. Сухая/мокрая текстура будет от рейнджей зависеть, но закономерности будут очевидные: без пар, средний ранк карт и коннекторы в одну сторону; пары, 2 бродвейки, 2 мелкие в другую

Спойлер

 

Т.е. сами упрощения не ошибка, но тут система координат чуть меняется и под неё подстраиваться нужно. Тогда эффективность и простота будет сохраняться.

В этот раз пишу текст не претендующий на статью или хоть что-то полезное. Прошу меня простить, выдалась сложная неделька, и на вдумчивую работу для нового поста просто не было времени. Если всё сложится хорошо, то постепенно догоню и в какую-нибудь неделю накропаю сразу несколько больших постов. 

Также делюсь ачивкой. В одном из первых постов я рекомендовал специализацию от Andew Ng на курсере. Решил сам пройти для резюме на linkedin. 

Спойлер

Курс начального уровня, совершенно не требует познаний математики. Иногда казалось, что материал не для начинающего, а для дебила. Особенно в Unsupervised Learning было запредельно много воды. А вот курс Advanced Learning Algorithms показался неплохим. Очень сжато и по делу даёт экскурс к базовым ML методам. В общем если вы программируете хоть что-то и есть желание начать развиваться в ML, советую сразу его изучать и скипануть остальные. Ну или если вы как я любите ачивки, то можете целиком пройти :) Надеюсь какой-то другой курс от Deeplearning.AI чуть больше закроет мои пробелы в знаниях, чем этот. Но я не жалею, что начал с него. Просто приходилось смотреть всё на ускоренной перемотке. 

Возможно люди, читавшие мой блог с самого начала могут написать, что я бросаю темы на полпути, и мне следовало бы продолжить МТТ серию или Омаху на постфлопе. Я и сам бы хотел продолжить и написать что-то реально полезное, но для этого мне нужно создать определённый фреймворк для моделирования оппонентов и восстановления реальных диапазонов из майнинга. Как раз хочу использовать полноценный и последовательный ML подход. 

Что я хочу сделать по порядку в этом направлении.

1. Реализовать модель кластеризации игроков по майнингу чтобы перейти от generic модели для "поля" к group specific модели. Группы могут быть как стандартные реги \ фиши,  tag \ lag, так и будет любопытно выделить группы ботов и построить какие-то контр-стратегии против них. Вроде на pokerking (ACR) заповедник ботов, а у меня давно майнинг лежит для этого рума на приличную дистанцию. 

Спойлер

Актуальна ещё картинка? :)

2. Построение модели и наполнение её из pokertracker. Суть здесь такая - у нас только 3-4% рук доходят до шоудауна. Мне нужно создать какую-то ML модель, которая будет строить обоснованные предположения (желательно точные), о тех руках которые не дошли до вскрытия, потом собрать из этой инфы диапазоны для солвера. Эту же задачу можно решать упрощённо, например ExeRco здесь спец. Если у вас есть конкретная работа, в которую вы хотите ввалить бабла и вам нужно результат быстро, то это лучше к нему :) Я скорее всего растяну свою работу на длинную серию статей. Конечно если будет интерес. В последнее время судя по количеству лайков он подугас, и возможно я делаю вещи интересные и понятные только мне самому. Но такова суть моей работы, чаще всего она не зрелищная от слова совсем. 

По классике (если кому интересно читать тяжёлые статьи на английском пишите в личку) это делается так

0. Фиксируем тип игрока (какой-то кластер) или выбираем максимально обобщённо строить модель для всей базы рук без разбора

1. Для данного типа проводим инициализацию начальных диапазонов. Для рук, где у нас был шоудаун эти диапазоны вырождаются в одну руку, а для неизвестных они на старте плоские (вероятности каждой пары карт равны). 

2. Моделируем игру. Самая сложная и творческая часть. В итоге должны получиться какие-то точки на постфлопе, для каждой из которых будем обучать предиктор (ML-модель). Сначала выберу что-то попроще, потом буду возможно усложнять если результат будет недостаточно хорош. Предиктор можно себе представить как функцию, которая на входе получает ситуацию со всеми вводными включая конкретную руку, а выходе выдаёт действие (рейз \ фолд \ кол и т.д.). 

3. Обучаем модель на основе изначально заданных значений из 1. 

4. Уточняем исходную инициализацию по обученной модели

5. Делаем 3-4 много раз пока данные не перестают меняться сколь-нибудь значимым образом. 

Мотивация и на хрена мне всё это :

Я не хочу вам пересказывать равновесные стратегии из солвера. Так делают все сейчас. Я же хочу сделать что-то ценное и написать более-менее автоматическую систему, которая по майнингу будет восстанавливать диапазоны. И будет это делать предсказуемым образом без ручных подгонок. Возможно продать её потом в виде софта или услуги. Как я уже писал ранее несколько раз  - реальная игра сильно отлична от солверных равновесных стратегий. И если есть хоть какая-то возможность изучать именно реальную игру, то именно этим и следует заниматься. 

Прошу прощения, если кому-то скучно будет :)

inb4 "В H2N всё это есть"

ГЛ т.к. задача амбициозная. Про силу применения ML, с таким основательным подходом и без костылей, тяжело судить, поэтому конкретные примеры:

1) Видел резалты top-down метода восстановления. Даже на огромной выборке была проблема с тем, что все топ комбинации уходили в фолд вместо рейза. Это из-за их неравномерного распределения в "raise+" ветки. Мало того что они редкие, там ещё макс форсинг фолдов от оппонента и доход до ШД падает. Т.е. сама рука никогда почти не пропустила бы ШД, но играется так что оппы отваливаются и ШД возможности нет.

Это вообще проблема с проводкой от префлопа до конца постфлопа, вылазят все гадости: мелкие выборки, рейз ветки где нельзя ошибаться/упрощать/приближать, контрлогика, важность сайзинга а не рейнджа и т.д. Добавить сюда майнинг  с недоступностью инфы и необходимость обозначать "интерсующая / не интересующая" data, и рецепт беды готов.

2) ГТО резалты можно как костыль использовать, я до последовательных восстановлений так хотел раскручивать. Задумка в том, что проще отклонять от равновесия, чем совсем с чистого листа. Ну и есть данные, которые позволят не фолдить топ руки по ЕВ, оценка рук не так разнится у солвера и отклоняющихся от него. Хз применимо это или нет.

3) Ещё один возможно бесполезный инпут это бакетинг. Их тяжело внедрить т.к. нужна сложная (типа look-ahead) и динамическая (переход по улицами и учёт ранаутов) классификация. Но из того что я понял по этой теме, без них тяжело т.к. это клей/цемент. В прогерских подходах их используют больше как упрощения вычислений. Но можно их использовать для упрощения восстановления рейнджей. Вот пара примеров:

а) Одна из причин неприятия pure GTO это всевидение, которое вызывает блокапалипсис на ривере. По примерам из предыдущего поста, это потом лезет и на тёрн с флопом. В итоге А8 получается хуже чем J8, ведь Ах попали в блеффы оппа и блочить их при колле нельзя.

Спойлер

В этом одно из наиболее чётких различий между ГТО и отклоняющимися. Если глянуть реальный колл в такой ситуации, там никогда рука с кикером лучше не будет так просаживаться. Т.е. дефолтные бакеты становятся более полезным интсрументом восстановления, чем тонкие материи из незалоченного солва.

б) Эта же идея жива на префлопе, а его важность тяжело переоценить в восстановлениях рейнджей. Я всегда думал что кто-то где-то сцепит набор префлопа через комбы и постфлопные солвы c "blind spot" методом и будут границы дозволенного. Сейчас HRC движется в этом направлении, но там недостатки сохраняются. Т.е. в твоём проекте будут интересны экспериментальные вопросы типа "сколько 72о можно встроить в рейндж, если опп не будет знать на постфопе" и где это отклонение начнёт давать "потерю ЕВ" больше Х. В итоге всё можно сцепить с бакетами и сложить в паззл для упрощения восстановления.

Вот ЕВ колла СБ для базиса и визуализации

Спойлер

  

 

Реги даже любящие коллить отсекают всё сильно минусовое. Т.е. у них есть понимание порога ЕВ бакета для колла

Спойлер

 

Игнорируется разве что разница между 55 и 22-44, ну это простота и банчинг не освоен. Но в целом корреляция будет очень сильная.

Если этот же метод переложить на фишей, будет проблема, т.к. они порог ЕВ не понимают принимают 

Спойлер

 

Но очертания рейджа всё равно коррелируют с ЕВ матрицей, и внутри бакетов, неправильно выбранных для розыгрыша, ошибки уже с роду разницы 55 и 22-44 у регов. Т.е. чуть более частые Т5 чем Т4 ничего особо не дают. Даже если их всунуть в солвер с учётом этого или без, влияние на дальнейший розыграш будет минимальное. Это скорее scale для рейзовых веток на Т5х Т4х текстурах, не более. 

Спойлер

 

Т.е. их заполнять проще не индивидуально, а равномерно бакетом.

И если их поставить в равные условия с регами по величине рейнжда (реговский шаблон раздуть или фишовский сузить) то там не всё так однозначно выходит. Рейндж у фишей обмякший, но если не давить сразу с флопа то ничего страшного не будет с ним. 

Та же история на постфлопе, где все Ах переигрываются как оверкарты и рандомная чушь в редкий блефф идёт. Если на это МО натравить, должны очень чёткие разграничения получаться. Ну и отклонения будут более чёткие:

-рег колл ООП, есть инцентивы донкать, не донкает

-фиш колл ООП, 10000% чек рейндж, но фиш донкает часто

ExeRco, Без бакетинга данный метод не работает вовсе. Вопрос только в том какой бакетинг использовать, а не в том использовать или нет. По классике народ используют эквити бакеты. Ну типа на флопе 30, на тёрне 30, ривер 20 бакетов. Но можно попробовать миксовать со смысловыми бакетами. 

я пробовал раньше строить коэффициенты. Типа с какой частотой разные руки доходят до шоудауна в разных спотах, а потом применял эти коэффициенты к наблюдаемым диапазонам. Это работает, но этот метод слабый с кучей ограничений. 

Тут ещё смысл метода в том, что не обязательно протащить все руки до шоудауна и учесть это. По факту если скажем обучить предикторы на типовых ситуациях типа контбетов, донков и немного на тёрне, то уже можно сильно улучшить префлоп диапазоны. Я тебе статью скидывал, там описано, но в общих чертах. Типа каждая ситуация обучается независимо и игра в ней как независимое событие воспринимается, соответсвенно можно вероятности перемножать. Но я понимаю, что это сильно не умозрительно чтобы описать в двух словах :) вот сделаю и посмотрим чё получилось, а что нет. Я понимаю, что в лоб задача не решается нормально, но у меня есть примеры тех, кто прошёл такой путь с хорошим результатом. 

ну и да, gto у меня всегда есть. я могу исходно обучить всё на данных из солвера, а потом уже использовать реальные данные как fine tuning. Сейчас это очень модный метод.

извини, я не комментирую каждую твою фразу :) это может быть занимательно, но мы можем книгу так написать.