Функция-генератор. Оператор yield
На этом занятии мы с вами поговорим о функциях-генераторах. Но вначале вернемся к выражениям-генераторам, которые рассматривали на предыдущем занятии. Давайте предположим, что нам нужны средние арифметические значения для разных последовательностей целых чисел:
1, 2, 3, 4, 5, 6, 7, 8, 9, 10
2, 3, 4, 5, 6, 7, 8, 9, 10
3, 4, 5, 6, 7, 8, 9, 10
4, 5, 6, 7, 8, 9, 10
5, 6, 7, 8, 9, 10
6, 7, 8, 9, 10
7, 8, 9, 10
8, 9, 10
9, 10
Для этого мы могли бы записать следующее выражение-генератор:
N = 10 a = (sum(range(i, N+1))/len(range(i, N+1)) for i in range(N))
Но оно не очень удобно для восприятия и редактирования и, кроме того, здесь дважды записана функция range() при вычислении среднего значения. Поправить это можно двумя способами. В первом, объявить собственную функцию для вычисления среднего арифметического и вызвать ее в генераторе:
def avg(start, stop, step=1): a = range(start, stop, step) return sum(a) / len(a) N = 10 a = (avg(i, N + 1) for i in range(1, N)) print(list(a))
А во втором способе – создать собственную функцию-генератор, которая бы на выходе выдавала нужные значения. Давайте для начала запишем простую функцию-генератор, а потом вернемся к нашей исходной задаче. Функция будет просто возвращать значения списка:
def get_list(): for x in [1, 2, 3, 4]: yield x
Смотрите, здесь в цикле записан новый для нас оператор yield, который возвращает текущее значение x и «замораживает» состояние функции до следующего обращения к ней (в том числе и все локальные переменные). Именно так определяются функции-генераторы. Если мы сейчас ее вызовем:
то, смотрите, переменная d ссылается на объект-генератор, то есть, мы здесь имеем дело с генератором, значения которого можно перебирать с помощью функции next():
d = get_list() for i in d: print(i, end=" ")
В этом и заключается роль оператора yield. Он превращает обычную функцию в генератор и при каждом вызове функции next() активизируется функция-генератор, возвращает очередное значение и «замораживает» свое состояние вместе с локальными переменными до следующего вызова функции next(). (Показываем это в режиме отладки).
Надеюсь, вы теперь хорошо представляете, как работает оператор yield и простая функция-генератор. Давайте вернемся к нашей исходной задаче и перепишем функцию avg() с использованием оператора yield (создаем еще одну):
def avg_gen(N, step=1): for i in range(1, N): a = range(i, N+1, step) yield sum(a) / len(a)
Принцип здесь тот же самый, на каждой итерации цикла будет возвращаться новое вычисленное среднее арифметическое значение. Далее, мы можем воспользоваться этой функцией-генератором и отобразить все ее значения, используя функцию list():
Как видите, результат полностью совпадает с первоначальным. То есть, мы заменили выражение-генератор на функцию-генератор. Ну и, как всегда, возникает вопрос, зачем это все было надо? Почему бы не пользоваться обычными генераторами? Что нам мешает это делать? В целом, ничего. Преимущество здесь, главным образом, в удобстве использования. В выражении генератора мы можем записать лишь один оператор для формирования значения, а в функции-генераторе – произвольный фрагмент программы, реализующий нужную нам логику формирования очередного значения. В этом ключевое отличие функции-генератора от обычного генератора.
В заключение этого занятия приведу еще один пример использования функции-генератора. Предположим, что мы хотим найти все начальные индексы слова «генератор» в текстовом файле lesson_54.txt. Для этого вначале откроем этот файл на чтение:
try: with open("lesson_54.txt", encoding="utf-8") as file: a = find_word(file, "генератор") print(list(a)) except FileNotFoundError: print("Файл не найден!") except: print("Ошибка обработки файла!")
И внутри блока try вызовем функцию-генератор, которая и будет последовательно возвращать индексы найденного слова «генератор». Саму функцию определим выше (по программе), следующим образом:
def find_word(f, word): g_indx = 0 for line in f: indx = 0 while(indx != -1): indx = line.find(word, indx) if indx > -1: yield g_indx + indx indx += 1 g_indx += len(line)
Мы здесь в первом цикле читаем файл по строкам. Во втором вложенном цикле while ищем указанное слово в строке, используя метод find(). И, если этот метод находит заданный фрагмент, то есть, возвращает значение больше -1, то функция генерирует на выходе значение индекса найденного слова как g_indx + indx. Здесь g_indx – это смещение по тексту для текущей строки, то есть, в ней мы суммируем длины предыдущих строк, чтобы сформировать индекс слова в тексте, а не в строке.
После запуска этой программы видим все найденные индексы данного слова по тексту. Как видите, мы в функции описали нетривиальную логику алгоритма поиска слова в текстовом файле. Сделать это с помощью обычного генератора было бы сложнее. В этом и преимущество функций-генераторов – они позволяют сразу, в одном месте кода, описывать нужный нам функционал.
На этом мы завершим с вами очередное занятие. Для закрепления материала, как всегда, пройдите практические задания и переходите к следующему уроку.
Видео по теме
#1. Первое знакомство с Python Установка на компьютер
#2. Варианты исполнения команд. Переходим в PyCharm
#3. Переменные, оператор присваивания, функции type и id
#4. Числовые типы, арифметические операции
#5. Математические функции и работа с модулем math
#6. Функции print() и input(). Преобразование строк в числа int() и float()
#7. Логический тип bool. Операторы сравнения и операторы and, or, not
#8. Введение в строки. Базовые операции над строками
#9. Знакомство с индексами и срезами строк
#11. Спецсимволы, экранирование символов, row-строки
#12. Форматирование строк: метод format и F-строки
#13. Списки — операторы и функции работы с ними
#14. Срезы списков и сравнение списков
#15. Основные методы списков
#16. Вложенные списки, многомерные списки
#17. Условный оператор if. Конструкция if-else
#18. Вложенные условия и множественный выбор. Конструкция if-elif-else
#19. Тернарный условный оператор. Вложенное тернарное условие
#21. Операторы циклов break, continue и else
#22. Оператор цикла for. Функция range()
#23. Примеры работы оператора цикла for. Функция enumerate()
#24. Итератор и итерируемые объекты. Функции iter() и next()
#25. Вложенные циклы. Примеры задач с вложенными циклами
#26. Треугольник Паскаля как пример работы вложенных циклов
#27. Генераторы списков (List comprehensions)
#28. Вложенные генераторы списков
#29. Введение в словари (dict). Базовые операции над словарями
#30. Методы словаря, перебор элементов словаря в цикле
#31. Кортежи (tuple) и их методы
#32. Множества (set) и их методы
#33. Операции над множествами, сравнение множеств
#34. Генераторы множеств и генераторы словарей
#35. Функции: первое знакомство, определение def и их вызов
#36. Оператор return в функциях. Функциональное программирование
#37. Алгоритм Евклида для нахождения НОД
#38. Именованные аргументы. Фактические и формальные параметры
#39. Функции с произвольным числом параметров *args и **kwargs
#40. Операторы * и ** для упаковки и распаковки коллекций
#42. Анонимные (lambda) функции
#43. Области видимости переменных. Ключевые слова global и nonlocal
#45. Введение в декораторы функций
#46. Декораторы с параметрами. Сохранение свойств декорируемых функций
#47. Импорт стандартных модулей. Команды import и from
#48. Импорт собственных модулей
#49. Установка сторонних модулей (pip install). Пакетная установка
#50. Пакеты (package) в Python. Вложенные пакеты
#51. Функция open. Чтение данных из файла
#52. Исключение FileNotFoundError и менеджер контекста (with) для файлов
#53. Запись данных в файл в текстовом и бинарном режимах
#55. Функция-генератор. Оператор yield
#56. Функция map. Примеры ее использования
#57. Функция filter для отбора значений итерируемых объектов
#58. Функция zip. Примеры использования
#59. Сортировка с помощью метода sort и функции sorted
#60. Аргумент key для сортировки коллекций по ключу
#61. Функции isinstance и type для проверки типов данных
#62. Функции all и any. Примеры их использования
#63. Расширенное представление чисел. Системы счисления
#64. Битовые операции И, ИЛИ, НЕ, XOR. Сдвиговые операторы
#65. Модуль random стандартной библиотеки
#66. Аннотация базовыми типами
#67. Аннотации типов коллекций
#68. Аннотации типов на уровне классов
#69. Конструкция match/case. Первое знакомство
#70. Конструкция match/case с кортежами и списками
#71. Конструкция match/case со словарями и множествами
#72. Конструкция match/case. Примеры и особенности использования
© 2023 Частичное или полное копирование информации с данного сайта для распространения на других ресурсах, в том числе и бумажных, строго запрещено. Все тексты и изображения являются собственностью сайта
№30 Генераторы / для начинающих
В этой статье вы научитесь создавать и использовать функции и выражения генераторов в Python. Также узнаете, зачем и когда их стоит использовать в программах. Будут рассмотрены основные отличия от итераторов и обычных функций.
Отдельное внимание будет уделено инструкции yield . Она является частью генератора и заменяет ключевое слово return . Когда программа доходит до yield , то функция переходит в состояние ожидания и продолжает работу с того же места при повторном вызове.
Генератор в Python — это функция с уникальными возможностями. Она позволяет приостановить или продолжить работу. Генератор возвращает итератор, по которому можно проходить пошагово, получая доступ к одному значению с каждой итерацией.
Генератор предоставляет способ создания итераторов, решая следующую распространенную проблему.
Создание итератора в Python — достаточно громоздкая операция. Для этого нужно написать класс и реализовать методы __iter__() и __next__() . После этого требуется настроить внутренние состояния и вызывать исключение StopIteration , когда больше нечего возвращать.
Как создать генератор в Python?
Генератор — это альтернативный и более простой способ возвращать итераторы. Процедура создания не отличается от объявления обычной функции.
Есть два простых способа создания генераторов в Python.
Функция генератора
Генератор создается по принципу обычной функции.
Отличие заключается в том, что вместо return используется инструкция yield . Она уведомляет интерпретатор Python о том, что это генератор, и возвращает итератор.
Синтаксис функции генератора:
Как найти арифметическую прогрессию в списке?
Предположим есть список [1487, 1847, 4817, 4871, 7481, 7841, 8147, 8741] и в этом списке есть арифметическая прогрессия 1487, 4817, 8147 с шагом 3330. Какой есть оптимальный алгоритм поиска такой арифметической прогрессии? Список может быть рандомным
lst=[1487, 1847, 4817, 4871, 7481, 7841, 8147, 8741] for i in range(len(lst)): for j in range(i+1,len(lst)): diff=lst[j]-lst[i] if lst[j]+diff in lst: print(lst[i],lst[j],lst[j]+diff)
Поиск по списку имеет сложность O(n), лучше использовать множество. А также некоторые эмпирические факты:
lst = set(lst) for a, c in combinations(lst, 2): b, r = divmod(a + c, 2) if not r and b in lst: print(a, b, c)
к сожалению python не мой рабочий инструмент, поэтому сделал реализацию на js. Старался не использовать «особые фишки» языка, чтобы получить более универсальный код (с точки зрения переносимости на другие ЯП). Думаю вы без проблем сможете переписать его на python.
var arr1 = [1487, 1847, 4817, 4871, 7481, 7841, 8147, 8741]; var res1 = search(arr1); console.log(res1); // найдена 1 прогрессия. выведет: // [ // [ 1487, 4817, 8147 ] // ] var arr2 = [1487, 1847, 4817, 4871, 7481, 7841, 8147, 8741, 10001]; var res2 = search(arr2); console.log(res2); // найдено 2 прогрессии. выведет: // [ // [ 1487, 4817, 8147 ], // [ 7481, 8741, 10001 ] // ] function search(a) < // создадим массив, в который будем заносить данные о найденых прогрессиях var result = []; // проверяем в цикле все числа for(var start=0; start> // если в массиве 3 элемента или более, то считаем что // еще одна прогрессия найдена и запоминаем ее в // массиве с результатами if( list.length>2) < result.push(list); >console.log(start, i, step, list) > > // возвращаем массив результатов return result; >
import numpy as np from collections import deque from itertools import combinations # data = np.array([1487, 1847, 4817, 4871, 7481, 7841, 8147, 8741]) np.random.seed(42) data = np.random.randint(0, 100000, 1000) data.sort() # Интуитивный подход (baseline), O(n^3) def find_evenly_spaced_v1(data): for a, b, c in combinations(data, 3): if b - a == c - b: yield a, b, c # Эмпирическая оптимизация, O(n^2) def find_evenly_spaced_v2(data): dataset = set(data) for a, c in combinations(data, 2): b, mod = divmod(a + c, 2) if (mod == 0) and (b in dataset): yield a, b, c # Векторный вариант def find_evenly_spaced_v3(data): grid = data.reshape(-1, 1) + data.reshape(1, -1) divs, mods = np.divmod(grid, 2) mask = np.tri(*grid.shape, -1, dtype='bool') & np.isin(divs, data) & ~ mods.astype('bool') for c, a in zip(*np.where(mask)): b = divs[a, c] a, c = data[[a, c]] yield a, b, cИзмерения скорости для 1000 элементов: