Как вывести строки с nan pandas

Not a Number — все о NaN / pd 5

В предыдущих разделах вы видели, как легко могут образовываться недостающие данные. В структурах они определяются как значения NaN (Not a Value). Такой тип довольно распространен в анализе данных.

Но pandas спроектирован так, чтобы лучше с ними работать. Дальше вы узнаете, как взаимодействовать с NaN , чтобы избегать возможных проблем. Например, в библиотеке pandas вычисление описательной статистики неявно исключает все значения NaN .

Присваивание значения NaN

Если нужно специально присвоить значение NaN элементу структуры данных, для этого используется np.NaN (или np.nan ) из библиотеки NumPy.

Фильтрование значений NaN

Есть несколько способов, как можно избавиться от значений NaN во время анализа данных. Это можно делать вручную, удаляя каждый элемент, но такая операция сложная и опасная, к тому же не гарантирует, что вы действительно избавились от всех таких значений. Здесь на помощь приходит функция dropna() .

Функцию фильтрации можно выполнить и прямо с помощью notnull() при выборе элементов.

В случае с Dataframe это чуть сложнее. Если использовать функцию pandas dropna() на таком типе объекта, который содержит всего одно значение NaN в колонке или строке, то оно будет удалено.

ball	mug	pen
blue	6.0	NaN	6.0
green	NaN	NaN	NaN
red	2.0	NaN	5.0

Таким образом чтобы избежать удаления целых строк или колонок нужно использовать параметр how , присвоив ему значение all . Это сообщит функции, чтобы она удаляла только строки или колонки, где все элементы равны NaN .

ball	mug	pen
blue	6.0	NaN	6.0
red	2.0	NaN	5.0

Заполнение NaN

Вместо того чтобы отфильтровывать значения NaN в структурах данных, рискуя удалить вместе с ними важные элементы, можно заменять их на другие числа. Для этих целей подойдет fillna() . Она принимает один аргумент — значение, которым нужно заменить NaN .

ball	mug	pen
blue	6.0	0.0	6.0
green	0.0	0.0	0.0
red	2.0	0.0	5.0

Или же NaN можно заменить на разные значения в зависимости от колонки, указывая их и соответствующие значения.

Источник

Pandas Nan – работа с отсутствующими данными

Pandas – Excel на стероидах — Мощная библиотека Python позволяет анализировать структурированные и табличные данные с удивительной эффективностью и легкостью. Пандас является одной из причин, почему мастер-кодеры достигают 100x эффективность средних кодеров. В современной статье вы узнаете, как работать с отсутствующими данными — в частности, как обрабатывать значения NAN в … Pandas Nan – Работа с отсутствующими данными Подробнее »

Автор: Chris
Дата записи

Pandas – это Excel на стероидах – мощная библиотека Python позволяет анализировать структурированные и табличные данные с удивительной эффективностью и легкостью. Пандас является одной из причин, почему мастер-кодеры достигают 100x эффективность средних кодеров. В сегодняшней статье вы узнаете, как работать с отсутствующими данными, в частности, как обрабатывать значения NAN в Pandas dataframes. .

Вы узнаете обо всех разных причинах, по которым Nans появляются в ваших данных данных и как справиться с ними. Давайте начнем!

Проверка серии для NAN ценностей

Проблема Как проверить серию для ценностей NAN?

Посмотрите на следующий код:

Серия может содержать Нан -Валены – аббревиатура для Не – номер – Используйте неопределенные значения.

Чтобы проверить, содержит ли серия один или несколько Нан Значение, используйте атрибут Хаснаны Отказ Атрибут возвращает Правда Если есть хотя бы один Нан ценность и Ложь иначе.

Есть Нан Значение в серии, поэтому выход Правда Отказ

Фильтрация серии генерирует NAN

Проблема : Когда фильтрация Серия с где() И никакой элемент не передает условие фильтрации, в чем же результат?

Метод где () Фильтрует серию на Состояние Отказ Только элементы, которые удовлетворяют условию, остаются в полученной серии. А что происходит, если ценность не удовлетворяет условию? По умолчанию все строки не удовлетворяют условию, заполнены Нан -значения.

Вот почему наша серия содержит Нан -values после фильтрации его методом где () Отказ

Работа с несколькими сериями разных длин

Проблема : Если вам элемент-мудрый добавьте две серии объектов с другим количеством элементов – что происходит с оставшимися элементами?

Чтобы добавить два серии элемент-мудрый, используйте оператор добавления по умолчанию + Отказ Сериал не нужно иметь такого же размера, потому что как только первые серии заканчиваются, последующие результаты элемента – это Нан значения.

При индексе 1 В полученной серии вы получаете результат 1 + Отказ

Создайте dataframe из списка словарей с неравными ключами

Проблема : Как создать dataframe из списка словарей, если у словарей есть неравные ключи? DataFrame ожидает, что те же столбцы могут быть доступны для каждой строки!

Вы можете создать DataFrame из A Список словарей Отказ Клавиши словарей определяют этикетки столбцов, и значения определяют записи столбцов. Не все словари должны содержать одни и те же клавиши. Если словарь не содержит определенного ключа, это будет интерпретироваться как Нан -значение.

Этот фрагмент кода использует строковые метки в качестве значений индекса в Сортировать DataFrame. После сортировки DataFrame строка с индексом метки Ранг 1 на месте 0 В DataFrame и значение в столбце Автомобиль это Ferrari Отказ

Сортировка данных DataFrame по столбцу с значениями NAN

Проблема : Что произойдет, если вы сортируете dataframe по столбцу, если столбец содержит Нан значение?

В этом фрагменте кода вы сортируете строки DataFrame по значкам столбца Размер двигателя Отказ

Главное то, что Нан Значения всегда перемещаются в конец в сортировке PandaS. Таким образом, первое значение – 1.8 который принадлежит к ряду с индексным значением 1 Отказ

Считайте ненанские значения

Проблема : Как подсчитать количество элементов в столбце DataFrame, которые не являются Нан ?

Метод count () Возвращает количество не- Нан Значения для каждого столбца. DataFrame DF имеет пять рядов. Пятая колонна Содержит один Нан значение. Следовательно, количество пятой колонны – 4 Отказ

Падение nan-ценностей

Проблема : Как отбросить все строки, которые содержат Нан Значение в любом из его столбцов – и как ограничить это определенным столбцам?

DataFrame’s Dropna () Способ удаляет все строки, которые содержат Нан Значение в любом из его колонн. Но как ограничить столбцы, которые будут отсканированы для Нан значения?

Передав список меток столбца в дополнительный параметр подмножество , вы можете определить, какие столбцы вы хотите рассмотреть.

Звонок Dropna () Без ограничения, капли линии 2 Из-за Нан Значение в столбце Размер двигателя Отказ Когда вы ограничиваете колонны только на Цена , никакие ряды не будут сброшены, потому что нет Нан Значение присутствует.

Западайте NAN и сброс индекс

Проблема : Что происходит с индексами после сброса определенных рядов?

Метод падение () На DataFrame удаляет строки или столбцы по индексу. Вы можете пройти одно значение или список значений.

По умолчанию в помещении Параметр установлен на Ложь Так что модификации не повлияют на исходный объект dataframe. Вместо этого метод возвращает модифицированную копию датафарама. В головоломке вы набор в помещении к Правда Таким образом, делеции выполняются непосредственно на DataFrame.

После удаления первых трех строк первые два метки индекса являются 3 и 4. Вы можете сбросить индексацию по умолчанию, вызывая метод RESET_INDEX () На DataFrame, чтобы индекс снова запускается в 0. Поскольку в DataFrame осталось только два ряда строк, результат – [0, 1] Отказ

Согласие разнородных данных, заполненных нан

Проблема Как объединить два данных данных, если у них есть разные столбцы?

Даже если данные Dataframes имеют разные столбцы, вы можете объединить их.

Если DataFrame 1 имеет столбцы A и B и DataFrame 2, имеет столбцы C и D, результат ConcateNation DataFrames 1 и 2 представляет собой DataFrame с столбцами A, B, C и D. Пропущенные значения в строках заполнены Нан Отказ

Внешнее слияние

Проблема : При объединении) две датаформы – что происходит, если есть отсутствующие значения?

С функцией панды Слияние () и параметр Как установить внешний , вы можете выполнить внешнее соединение Отказ

Полученное значение dataframe внешнего соединения содержит все значения из обоих входных данных; Отсутствующие значения заполнены Нан Отказ

Кроме того, эта головоломка показывает, как Нан Значения подсчитаны Лен () Функция, тогда как метод count () не включает Нан значения.

Замена нана

Проблема : Как заменить все Нан Значения в DataFrame с заданным значением?

Метод Fillna () заменяет Нан значения с новым значением. Таким образом, сумма всех значений в столбце Размер двигателя 13,8.

Длина против подсчета разницы – это нан!

Проблема : В чем разница между Лен () и то считать() Функции?

В левом соединении левый DataFrame – это мастер, и все его значения включены в полученное значение dataframe.

Поэтому результат DataFrame содержит три ряда, поскольку Skoda и Форд Не появляйтесь в DataFrame DF только один ряд для Mazda содержит значение.

Опять же, мы видим разницу между использованием функции Лен () который также включает Нан Значения и метод count () который не считается Нан значения.

Равен () против сравнения NAN

Этот фрагмент кода показывает, как сравнивать столбцы или целые дата данных относительно формы и элементов.

Сравнение с использованием оператора == Возвращает Ложь Для нашего датафарама, потому что сравнение Нан -Валены с == всегда дает Ложь Отказ

С другой стороны, df.equals () позволяет сравнивать две серии или данных данных. В этом случае Нан -Валены в том же месте считаются равными.

Заголовки столбцов не должны иметь один и тот же тип, но элементы внутри столбцов должны быть одинакового dtype Отказ

С результата Check1 это Ложь и результат Check2 Урожайность Правда Окончательный выход – Ложь Отказ

Куда пойти отсюда?

Достаточно теории, давайте познакомимся!

Чтобы стать успешным в кодировке, вам нужно выйти туда и решать реальные проблемы для реальных людей. Вот как вы можете легко стать шестифункциональным тренером. И вот как вы польские навыки, которые вам действительно нужны на практике. В конце концов, что такое использование теории обучения, что никто никогда не нуждается?

Практические проекты – это то, как вы обостряете вашу пилу в кодировке!

Вы хотите стать мастером кода, сосредоточившись на практических кодовых проектах, которые фактически зарабатывают вам деньги и решают проблемы для людей?

Затем станьте питоном независимым разработчиком! Это лучший способ приближения к задаче улучшения ваших навыков Python – даже если вы являетесь полным новичком.

Присоединяйтесь к моему бесплатным вебинаре «Как создать свой навык высокого дохода Python» и посмотреть, как я вырос на моем кодированном бизнесе в Интернете и как вы можете, слишком от комфорта вашего собственного дома.

Присоединяйтесь к свободному вебинару сейчас!

Работая в качестве исследователя в распределенных системах, доктор Кристиан Майер нашел свою любовь к учению студентов компьютерных наук.

Чтобы помочь студентам достичь более высоких уровней успеха Python, он основал сайт программирования образования Finxter.com Отказ Он автор популярной книги программирования Python One-listers (Nostarch 2020), Coauthor of Кофе-брейк Python Серия самооставленных книг, энтузиаста компьютерных наук, Фрилансера и владелец одного из лучших 10 крупнейших Питон блоги по всему миру.

Его страсти пишут, чтение и кодирование. Но его величайшая страсть состоит в том, чтобы служить стремлению кодер через Finxter и помогать им повысить свои навыки. Вы можете присоединиться к его бесплатной академии электронной почты здесь.

Источник

Изучаем pandas. Урок 4. Работа с пропусками в данных

Очень часто большие объемы данных, которые подготавливаются для последующего анализа, имеют пропуски. Для того, чтобы можно было использовать алгоритмы машинного обучения, строящие модели по этим данным, в большинстве случаев, необходимо эти пропуски чем-то и как-то заполнить. На вопрос “чем заполнять?” мы не будем отвечать в рамках данного урока, а вот на вопрос “как заполнять?” ответим.

pandas и отсутствующие данные

Для начала, хочется сказать, что в документации по библиотеке pandas есть целый раздел, посвященный данной тематике.

Для наших экспериментов создадим структуру DataFrame , которая будет содержать пропуски. Для этого импортируем необходимые нам библиотеки.

После этого создадим объект в формате csv . CSV – это один из наиболее простых и распространенных форматов хранения данных, в котором элементы отделяются друг от друга запятыми, более подробно о нем можете прочитать здесь.

Полученный объект df – это DataFrame с пропусками.

В нашем примере, у объектов с индексами 0 и 2 отсутствуют данные в поле percent . Отсутствующие данные помечаются как NaN . Добавим к существующей структуре еще один объект (запись), у которого будет отсутствовать значение в поле count.

Для начала обратимся к методам из библиотеки pandas , которые позволяют быстро определить наличие элементов NaN в структурах. Если таблица небольшая, то можно использовать библиотечный метод isnull . Выглядит это так.

Таким образом мы получаем таблицу того же размера, но на месте реальных данных в ней находятся логические переменные, которые принимают значение False , если значение поля у объекта есть, или True , если значение в данном поле – это NaN . В дополнение к этому можно посмотреть подробную информацию об объекте, для этого можно воспользоваться методом info() .

В нашем примере видно, что объект df имеет три столбца ( count , percent и price ), при этом в столбце price все объекты значимы – не NaN , в столбце count – один NaN объект, в поле percent – два NaN объекта. Можно воспользоваться следующим подходом для получения количества NaN элементов в записях.

Замена отсутствующих данных

Отсутствующие данные объектов можно заменить на конкретные числовые значения, для этого можно использовать метод fillna() . Для экспериментов будем использовать структуру df , созданную в предыдущем разделе.

Этот метод не изменяет текущую структуру, он возвращает структуру DataFrame , созданную на базе существующей, с заменой NaN значений на те, что переданы в метод в качестве аргумента. Данные можно заполнить средним значением по столбцу.

В зависимости от задачи используется тот или иной метод заполнения отсутствующих элементов, это может быть нулевое значение, математическое ожидание, медиана и т.п. Для замены NaN элементов на конкретные значения, можно использовать интерполяцию, которая реализована в методе interpolate(), алгоритм интерполяции задается через аргументы метода.

Удаление объектов/столбцов с отсутствующими данными

Довольно часто используемый подход при работе с отсутствующими данными – это удаление записей (строк) или полей (столбцов), в которых встречаются пропуски. Для того, чтобы удалить все объекты, которые содержат значения NaN воспользуйтесь методом dropna() без аргументов.

Вместо записей, можно удалить поля, для этого нужно вызвать метод dropna с аргументом axis=1 .

pandas позволяет задать порог на количество не- NaN элементов. В приведенном ниже примере будут удалены все столбцы, в которых количество не- NaN элементов меньше трех.

Источник