Перед тем как загрузить CSV на 5 ГБ в pandas, как быстро понять его структуру и объём, используя только командную строку Linux?

Короткий ответ

Можно посмотреть размер файла, количество строк, заголовок и несколько первых/последних строк без полной загрузки в память с помощью ls -lh, wc -l, head и tail, что помогает оценить, стоит ли вообще читать весь файл в pandas сразу.

Как это работает подробнее

• Как это работает: wc -l file.csv построчно считает файл не загружая его целиком в оперативную память, head -n 5 file.csv и tail -n 5 file.csv печатают первые/последние строки, а ls -lh показывает размер файла на диске.

Пример кода

inspect_csv.shКопировать

ls -lh orders.csv
wc -l orders.csv
head -n 3 orders.csv

Что использовать на практике

• На практике: это особенно полезно перед работой с файлами, которые не помещаются комфортно в память: по числу строк и размеру можно прикинуть, нужен ли pd.read_csv(..., chunksize=...), стоит ли сразу выбрать только нужные столбцы через usecols, или достаточно обычной загрузки.
• Пример и проверка. Вывод показывает размер 4.8G, 42 000 001 строк (включая заголовок) и что разделитель — запятая, а первый столбец — order_id. Проверка: после pd.read_csv('orders.csv', nrows=5) число столбцов и их имена должны совпасть с тем, что видно в выводе head.

Подводные камни

• Частые ошибки: сразу делать pd.read_csv('big.csv') без предварительной оценки размера, из-за чего ноутбук может упасть по памяти; не проверить разделитель и кодировку файла заранее (например, ; вместо ,) и получить один «слипшийся» столбец после загрузки.