Tài liệu csv – pandas 1.4.2 – python đọc csv cho gấu trúc

Bạn đang xem : python đọc csv thành gấu trúc

filepath_or_buffer

str, đối tượng đường dẫn hoặc đối tượng giống tệp

Mọi đường dẫn chuỗi hợp lệ đều được chấp nhận. Chuỗi có thể là một URL. Có giá trị
Các lược đồ URL bao gồm http, ftp, s3, gs và tệp. Đối với URL của tệp, máy chủ lưu trữ là
kỳ vọng. Tệp cục bộ có thể là: tệp: //localhost/path/to/table.csv .

Nếu bạn muốn truyền vào một đối tượng đường dẫn, gấu trúc chấp nhận bất kỳ os.PathLike nào .

Theo đối tượng giống tệp, chúng tôi tham chiếu đến các đối tượng có phương thức read () , chẳng hạn như
một trình xử lý tệp (ví dụ: thông qua hàm open ) hoặc StringIO .

sep

str, default ‘,’

Dấu tách để sử dụng. Nếu sep là Không, công cụ C không thể tự động phát hiện
dấu phân tách, nhưng công cụ phân tích cú pháp Python có thể, có nghĩa là công cụ sau sẽ
được sử dụng và tự động phát hiện dấu phân tách bằng trình đánh hơi nội trang của Python
công cụ, csv.Sniffer . Ngoài ra, các dấu phân cách dài hơn 1 ký tự và
khác với '\ s +' sẽ được hiểu là các biểu thức chính quy và
cũng sẽ buộc sử dụng công cụ phân tích cú pháp Python. Lưu ý rằng regex
dấu phân cách có xu hướng bỏ qua dữ liệu được trích dẫn. Ví dụ về Regex: '\ r \ t' .

delimiter

str, default

Không có

< / p>

Bí danh cho tháng 9.

header

int, danh sách int, Không có, ‘suy luận’ mặc định

(Các) số hàng để sử dụng làm tên cột và phần đầu của
dữ liệu. Hành vi mặc định là suy ra tên cột: nếu không có tên
được truyền, hành vi giống hệt với header = 0 và cột
tên được suy ra từ dòng đầu tiên của tệp, nếu cột
tên được chuyển một cách rõ ràng sau đó hành vi giống với
header = Không có . Chuyển rõ ràng header = 0 để có thể
thay thế các tên hiện có. Tiêu đề có thể là một danh sách các số nguyên
chỉ định vị trí hàng cho nhiều chỉ mục trên các cột
ví dụ. [0,1,3]. Các hàng xen kẽ không được chỉ định sẽ được
đã bỏ qua (ví dụ: 2 trong ví dụ này bị bỏ qua). Lưu ý rằng điều này
tham số bỏ qua các dòng nhận xét và dòng trống nếu
bỏ qua_lines = True , vì vậy header = 0 biểu thị dòng đầu tiên của
dữ liệu chứ không phải dòng đầu tiên của tệp.

names

dạng mảng, tùy chọn

Danh sách tên cột sẽ sử dụng. Nếu tệp chứa hàng tiêu đề,
thì bạn nên chuyển rõ ràng header = 0 để ghi đè tên cột.
Các bản sao trong danh sách này không được phép.

index_col

int, str, chuỗi int / str hoặc False, tùy chọn, mặc định

Không có

(Các) cột để sử dụng làm nhãn hàng của DataFrame < / code>, được cung cấp dưới dạng
tên chuỗi hoặc chỉ mục cột. Nếu một chuỗi int / str được cho trước, a
MultiIndex được sử dụng.

Lưu ý: index_col = False có thể được sử dụng để buộc gấu trúc không sử dụng cái đầu tiên
cột làm chỉ mục, ví dụ: khi bạn có một tệp không đúng định dạng với các dấu phân cách tại
cuối mỗi dòng.

usecols

dạng danh sách hoặc có thể gọi, tùy chọn

Trả về một tập hợp con của các cột. Nếu dạng danh sách, tất cả các phần tử phải
là vị trí (tức là chỉ số nguyên trong các cột tài liệu) hoặc chuỗi
tương ứng với tên cột được cung cấp bởi người dùng trong tên hoặc
được suy ra từ (các) hàng tiêu đề tài liệu. Nếu tên được cung cấp, thì tài liệu
(các) hàng tiêu đề không được tính đến. Ví dụ: một danh sách hợp lệ giống như
Tham số usecols sẽ là [0, 1, 2] hoặc ['foo', 'bar', 'baz'] < / mã>.
Thứ tự phần tử bị bỏ qua, vì vậy usecols = [0, 1] giống với [1, 0] .
Để khởi tạo một DataFrame từ dữ liệu với thứ tự phần tử được bảo toàn sử dụng
pd.read_csv (data, usecols = ['foo', 'bar']) [['foo', 'bar']] cho các cột
theo thứ tự ['foo', 'bar'] hoặc
pd.read_csv (data, usecols = ['foo', 'bar']) [['bar', 'foo']]
cho đơn đặt hàng ['bar', 'foo'] .

Nếu có thể gọi, hàm có thể gọi sẽ được đánh giá dựa trên cột
tên, trả về các tên mà hàm có thể gọi được đánh giá là True. Một
ví dụ về đối số có thể gọi hợp lệ sẽ là lambda x: x.upper () in
['AAA', 'BBB', 'DDD'] . Sử dụng tham số này dẫn đến nhanh hơn nhiều
thời gian phân tích cú pháp và sử dụng bộ nhớ thấp hơn.

bóp

bool, mặc định Sai

Nếu dữ liệu được phân tích cú pháp chỉ chứa một cột thì trả về một Chuỗi.

Không được dùng nữa kể từ phiên bản 1.4.0: Nối . bóp ("cột") vào lệnh gọi tới read_csv bóp
dữ liệu.

prefix

str, tùy chọn

Tiền tố để thêm vào số cột khi không có tiêu đề, ví dụ: ‘X’ cho X0, X1,…

Không được dùng nữa kể từ phiên bản 1.4.0: Sử dụng khả năng hiểu danh sách trên các cột của DataFrame sau khi gọi read_csv .

mangle_dupe_cols

bool, True mặc định

Các cột trùng lặp sẽ được chỉ định là 'X', 'X. 1 ',…' X.N ', thay vì
‘X’… ’X’. Chuyển sai sẽ khiến dữ liệu bị ghi đè nếu có
là tên trùng lặp trong các cột.

dtype

Nhập tên hoặc mệnh lệnh của cột - & gt; loại, tùy chọn

Loại dữ liệu cho dữ liệu hoặc cột. Ví dụ. {‘A’: np.float64, ‘b’: np.int32,
‘C’: ‘Int64’}
Sử dụng str hoặc đối tượng cùng với cài đặt na_values ​​phù hợp
để bảo toàn và không giải thích loại dtype.
Nếu bộ chuyển đổi được chỉ định, chúng sẽ được áp dụng INSTEAD
chuyển đổi loại dtype.

engine

{'c', 'python', 'pyarrow'}, tùy chọn

Công cụ phân tích cú pháp để sử dụng. Động cơ C và pyarrow nhanh hơn, trong khi động cơ python
hiện đang hoàn thiện hơn về tính năng. Đa luồng hiện chỉ được hỗ trợ bởi
động cơ pyarrow.

Mới trong phiên bản 1.4.0: Công cụ “pyarrow” đã được thêm vào làm công cụ thử nghiệm và một số tính năng
không được hỗ trợ hoặc có thể hoạt động không chính xác với công cụ này.

converter

dict, tùy chọn

Hàm để chuyển đổi giá trị trong các cột nhất định. Chìa khóa có thể
là số nguyên hoặc nhãn cột.

true_values ​​

danh sách, tùy chọn

Các giá trị được coi là True.

false_values ​​

danh sách, tùy chọn

Các giá trị được coi là Sai.

jumpinitialspace

bool, mặc định Sai

Bỏ qua dấu cách sau dấu phân cách.

skiprows

dạng danh sách, dạng int hoặc có thể gọi, tùy chọn

Số dòng cần bỏ qua (được lập chỉ mục 0 ) hoặc số dòng cần bỏ qua (int)
ở đầu tệp.

Nếu có thể gọi, hàm có thể gọi sẽ được đánh giá dựa trên hàng
các chỉ số, trả về True nếu hàng nên được bỏ qua và False nếu không.
Ví dụ về đối số có thể gọi hợp lệ sẽ là lambda x: x in [0, 2] .

ignorefooter

int, default 0

Số dòng ở cuối tệp cần bỏ qua (Không được hỗ trợ với công cụ = 'c').

nrows

int, tùy chọn

Số hàng của tệp cần đọc. Hữu ích khi đọc các phần của tệp lớn.

na_values ​​

vô hướng, str, list-like hoặc dict, tùy chọn

Các chuỗi bổ sung để nhận dạng là NA / NaN. Nếu dict được thông qua, cụ thể
giá trị NA trên mỗi cột. Theo mặc định, các giá trị sau được hiểu là
NaN: '', '# N / A', '# N / A N / A', '#NA', '-1. # IND', '-1. # QNAN', '-NaN', '-nan ',
‘1. # IND’, ‘1. # QNAN’, ‘& lt; NA & gt;’, ‘N / A’, ‘NA’, ‘NULL’, ‘NaN’, ‘n / a’,
‘Nan’, ‘null’.

keep_default_na

bool, mặc định Đúng

Có hay không bao gồm các giá trị NaN mặc định khi phân tích cú pháp dữ liệu .
Tùy thuộc vào việc na_values ​​có được truyền vào hay không, hoạt động như sau:

• Nếu keep_default_na là True và na_values ​​được chỉ định, na_values
  được thêm vào các giá trị NaN mặc định dùng để phân tích cú pháp.

• Nếu keep_default_na là True và na_values ​​không được chỉ định, chỉ
  các giá trị NaN mặc định được sử dụng để phân tích cú pháp.

• Nếu keep_default_na là False và na_values ​​được chỉ định, thì chỉ
  các giá trị NaN được chỉ định na_values ​​được sử dụng để phân tích cú pháp.

• Nếu keep_default_na là False và na_values ​​không được chỉ định, thì không
  chuỗi sẽ được phân tích cú pháp thành NaN.

Lưu ý rằng nếu na_filter được chuyển là False, thì keep_default_na và
tham số na_values ​​sẽ bị bỏ qua.

na_filter

bool, mặc định True

Phát hiện các dấu giá trị bị thiếu (chuỗi trống và giá trị của na_values) . Trong
dữ liệu không có NAs nào, việc chuyển na_filter = False có thể cải thiện hiệu suất
đọc một tệp lớn.

verbose

bool, mặc định Sai

Cho biết số lượng giá trị NA được đặt trong các cột không phải số. < / p>

ignore_blank_lines

bool, mặc định Đúng

Nếu Đúng, hãy bỏ qua các dòng trống thay vì hiểu là giá trị NaN .

parse_dates

bool hoặc danh sách int hoặc tên hoặc danh sách danh sách hoặc dict, mặc định Sai

hành vi như sau:

• boolean. Nếu Đúng - & gt; thử phân tích cú pháp chỉ mục.

• danh sách các int hoặc tên. ví dụ. Nếu [1, 2, 3] - & gt; thử phân tích cú pháp cột 1, 2, 3
  mỗi cột là một cột ngày riêng biệt.

• danh sách các danh sách. ví dụ. Nếu [[1, 3]] - & gt; kết hợp cột 1 và cột 3 và phân tích cú pháp thành
  một cột ngày.

• dict, ví dụ: {‘Foo’: [1, 3]} - & gt; phân tích cú pháp cột 1, 3 thành ngày tháng và cuộc gọi
  kết quả là 'foo'

Nếu một cột hoặc chỉ mục không thể được biểu diễn dưới dạng một mảng ngày giờ,
nói vì giá trị không thể phân tích cú pháp hoặc hỗn hợp các múi giờ, cột
hoặc chỉ mục sẽ được trả về không thay đổi dưới dạng một kiểu dữ liệu đối tượng. Vì
phân tích cú pháp datetime không chuẩn, sử dụng pd.to_datetime sau
pd.read_csv . Để phân tích cú pháp một chỉ mục hoặc cột có hỗn hợp múi giờ,
chỉ định date_parser được áp dụng một phần
pandas.to_datetime () với utc = True . Nhìn thấy
Phân tích cú pháp CSV với múi giờ hỗn hợp để biết thêm.

Lưu ý: Có một đường dẫn nhanh cho các ngày có định dạng iso8601.

erence_datetime_format

bool, False mặc định

Nếu True và parse_dates được bật, gấu trúc sẽ cố gắng suy ra
định dạng của chuỗi ngày giờ trong các cột và nếu nó có thể được suy ra,
chuyển sang phương pháp phân tích cú pháp nhanh hơn. Trong một số trường hợp, điều này có thể tăng lên
tốc độ phân tích cú pháp gấp 5-10 lần.

keep_date_col

bool, False mặc định

Nếu True và parse_dates chỉ định kết hợp nhiều cột thì
giữ nguyên các cột ban đầu.

date_parser

chức năng, tùy chọn

Hàm được sử dụng để chuyển đổi một chuỗi các cột chuỗi thành một mảng
phiên bản datetime. Mặc định sử dụng dateutil.parser.parser để thực hiện
sự chuyển đổi. Gấu trúc sẽ cố gắng gọi date_parser theo ba cách khác nhau,
chuyển sang phần tiếp theo nếu một ngoại lệ xảy ra: 1) Chuyển một hoặc nhiều mảng
(như được định nghĩa bởi parse_dates) làm đối số; 2) nối (theo hàng)
chuỗi giá trị từ các cột được xác định bởi parse_dates thành một mảng duy nhất
và vượt qua điều đó; và 3) gọi date_parser một lần cho mỗi hàng bằng cách sử dụng một hoặc
nhiều chuỗi hơn (tương ứng với các cột được xác định bởi parse_dates) như
đối số.

dayfirst

bool, mặc định Sai

Ngày định dạng DD / MM, định dạng quốc tế và châu Âu.

cache_dates

bool, mặc định Đúng

Nếu Đúng, hãy sử dụng bộ nhớ cache các ngày đã chuyển đổi, duy nhất để áp dụng ngày giờ
sự chuyển đổi. Có thể tăng tốc đáng kể khi phân tích cú pháp trùng lặp
các chuỗi ngày, đặc biệt là những chuỗi có chênh lệch múi giờ.

Mới trong phiên bản 0.25.0.

iterator

bool, mặc định Sai

Trả về đối tượng TextFileReader để lặp lại hoặc nhận các khối với
get_chunk () .

Đã thay đổi trong phiên bản 1.2: TextFileReader là trình quản lý ngữ cảnh.

chunksize

int, tùy chọn

Trả về đối tượng TextFileReader để lặp lại.
Xem tài liệu về Công cụ IO
để biết thêm thông tin về iterator và chunksize .

Đã thay đổi trong phiên bản 1.2: TextFileReader là trình quản lý ngữ cảnh.

nén

str hoặc dict, mặc định 'suy luận'

Để giải nén nhanh chóng -đĩa dữ liệu. Nếu "suy ra" và "% s" là
giống như đường dẫn, sau đó phát hiện nén từ các phần mở rộng sau: ‘.gz’,
‘.Bz2’, ‘.zip’, ‘.xz’ hoặc ‘.zst’ (nếu không thì không nén). Nếu sử dụng
‘Zip’, tệp ZIP chỉ được chứa một tệp dữ liệu để đọc. Đặt thành
Không có để không giải nén. Cũng có thể là một dict với khóa 'method' được đặt
tới một trong { 'zip' , 'gzip' , 'bz2' , 'zstd' } và khác
các cặp khóa-giá trị được chuyển tiếp đến zipfile.ZipFile , gzip.GzipFile ,
tương ứng là bz2.BZ2File hoặc zstandard.ZstdDecompressor . Như một
ví dụ, phần sau có thể được chuyển cho giải nén Zstandard bằng cách sử dụng
từ điển nén tùy chỉnh:
nén = {'method': 'zstd', 'dict_data': my_compression_dict} .

Đã thay đổi trong phiên bản 1.4.0: Hỗ trợ Z tiêu chuẩn.

hàng nghìn

str, tùy chọn

Dấu phân cách hàng nghìn.

decimal

str, default '.'.

Ký tự nhận dạng là dấu thập phân (ví dụ: use ', 'cho dữ liệu châu Âu).

lineterminator

str (length 1), tùy chọn

Ký tự để ngắt tệp thành các dòng. Chỉ hợp lệ với trình phân tích cú pháp C.

quotechar

str (length 1), tùy chọn

Ký tự được sử dụng để biểu thị phần đầu và phần cuối của một mục được trích dẫn. Đã trích dẫn
các mục có thể bao gồm dấu phân cách và nó sẽ bị bỏ qua.

trích dẫn

int hoặc csv.QUOTE_ * instance, mặc định 0

Hành vi trích dẫn trường kiểm soát trên mỗi hằng số csv.QUOTE_ * . Sử dụng một trong những
QUOTE_MINIMAL (0), QUOTE_ALL (1), QUOTE_NONNUMERIC (2) hoặc QUOTE_NONE (3).

doublequote

bool, default

Đúng

< / p>

Khi quotechar được chỉ định và trích dẫn không phải là QUOTE_NONE , hãy chỉ ra
có hay không giải thích hai phần tử dấu ngoặc kép liên tiếp BÊN TRONG a
trường dưới dạng một phần tử quotechar duy nhất.

escapepechar

str (length 1), tùy chọn

Chuỗi một ký tự được sử dụng để thoát các ký tự khác.

comment

str, tùy chọn

Cho biết phần còn lại của dòng không được phân tích cú pháp. Nếu tìm thấy ở đầu
của một dòng, dòng sẽ bị bỏ qua hoàn toàn. Tham số này phải là một
ký tự đơn. Giống như các dòng trống (miễn là skip_blank_lines = True ),
các dòng được chú thích đầy đủ bị tiêu đề tham số bỏ qua nhưng không phải bởi
chim quay. Ví dụ: nếu comment = '#' , phân tích cú pháp
# blank \ na, b, c \ n1,2,3 với header = 0 sẽ dẫn đến kết quả là ' a, b, c 'là
được coi là tiêu đề.

encoding

str, tùy chọn

Mã hóa để sử dụng cho UTF khi đọc / ghi (ví dụ: 'utf -số 8'). Danh sách Python
mã hóa tiêu chuẩn .

Đã thay đổi trong phiên bản 1.2: Khi mã hóa là Không có , error = "Replace" được chuyển đến
open () . Nếu không, sai sót = "nghiêm ngặt" được chuyển đến open () .
Hành vi này trước đây chỉ xảy ra với engine = "python" .

Đã thay đổi trong phiên bản 1.3.0: encoding_errors là một đối số mới. mã hóa mã hóa không còn
ảnh hưởng đến cách xử lý lỗi mã hóa.

encoding_errors

str, tùy chọn, mặc định "nghiêm ngặt"

Cách xử lý lỗi mã hóa. Danh sách các giá trị có thể có .

Mới trong phiên bản 1.3.0.

dialect

str hoặc csv.Dialect, tùy chọn

Nếu được cung cấp, tham số này sẽ ghi đè các giá trị (mặc định hay không) cho
các tham số sau: dấu phân cách, dấu ngoặc kép, Escapepechar,
jumpinitialspace, quotechar, và trích dẫn. Nếu nó là cần thiết
ghi đè các giá trị, một Cảnh báo phân tích cú pháp sẽ được đưa ra. Xem csv.Dialect
tài liệu để biết thêm chi tiết.

error_bad_lines

bool, tùy chọn, mặc định

Không có

Các dòng có quá nhiều trường (ví dụ: một dòng csv có quá nhiều dấu phẩy) sẽ
mặc định gây ra một ngoại lệ được nâng lên và không có DataFrame nào được trả về.
Nếu Sai, thì những "dòng xấu" này sẽ bị loại bỏ khỏi DataFrame đó là
đã trả lại.

Không được dùng nữa kể từ phiên bản 1.3.0: Tham số on_bad_lines sẽ được sử dụng thay thế để chỉ định hành vi
thay vào đó gặp phải một dòng xấu.

warning_bad_lines

bool, tùy chọn, mặc định

Không có

Nếu error_bad_lines là Sai và warning_bad_lines là Đúng, một cảnh báo cho từng
"Dòng xấu" sẽ được xuất ra.

Không được dùng nữa kể từ phiên bản 1.3.0: Tham số on_bad_lines sẽ được sử dụng thay thế để chỉ định hành vi
thay vào đó gặp phải một dòng xấu.

on_bad_lines

{'error', 'warning', 'bỏ ​​qua'} hoặc có thể gọi, 'error' mặc định

Chỉ định những việc cần làm khi gặp một dòng không hợp lệ (một dòng có quá nhiều trường).
Các giá trị được phép là:

• "error", nêu ra một Ngoại lệ khi gặp phải dòng không hợp lệ.

• ‘cảnh báo’, đưa ra cảnh báo khi gặp dòng xấu và bỏ qua dòng đó.

• ‘bỏ qua’, bỏ qua các dòng xấu mà không nêu lên hoặc cảnh báo khi chúng gặp phải.

Mới trong phiên bản 1.3.0:

• có thể gọi, hoạt động với chữ ký
  (bad_line: list [str]) - & gt; danh sách [str] | Không có sẽ xử lý một
  đường dây tồi. bad_line là danh sách các chuỗi được phân tách bởi sep .
  Nếu hàm trả về Không có , dòng xấu sẽ bị bỏ qua.
  Nếu hàm trả về một danh sách chuỗi mới với nhiều phần tử hơn
  dự kiến, một ParserWarning sẽ được tạo ra trong khi loại bỏ các phần tử bổ sung.
  Chỉ được hỗ trợ khi engine = "python"

Mới trong phiên bản 1.4.0.

delim_whitespace

bool, mặc định Sai

Chỉ định có hay không khoảng trắng (ví dụ: '' hoặc '' ) sẽ là
được sử dụng như lá đài. Tương đương với thiết lập sep = '\ s +' . Nếu tùy chọn này
được đặt thành True, không có gì phải được chuyển vào cho dấu phân tách
tham số.

low_memory

bool, mặc định True

Xử lý nội bộ tệp theo từng phần, dẫn đến việc sử dụng bộ nhớ thấp hơn
trong khi phân tích cú pháp, nhưng có thể là suy luận kiểu hỗn hợp. Để đảm bảo không bị trộn lẫn
loại đặt False hoặc chỉ định loại với tham số dtype.
Lưu ý rằng toàn bộ tệp được đọc vào một DataFrame duy nhất bất kể,
sử dụng tham số chunksize hoặc biến lặp để trả về dữ liệu theo từng phần.
(Chỉ hợp lệ với trình phân tích cú pháp C).

memory_map

bool, mặc định Sai

Nếu một đường dẫn tệp được cung cấp cho tệppath_or_buffer, hãy ánh xạ đối tượng tệp
trực tiếp vào bộ nhớ và truy cập dữ liệu trực tiếp từ đó. Sử dụng cái này
tùy chọn có thể cải thiện hiệu suất vì không còn chi phí I / O nữa.

float_pre precision

str, tùy chọn

Chỉ định bộ chuyển đổi mà công cụ C sẽ sử dụng cho dấu phẩy động
các giá trị. Các tùy chọn là Không có hoặc 'cao' cho trình chuyển đổi thông thường,
'Kế thừa' cho công cụ chuyển đổi gấu trúc có độ chính xác thấp hơn ban đầu và
‘Round_trip’ cho công cụ chuyển đổi khứ hồi.

Đã thay đổi trong phiên bản 1.2.

storage_options

dict, tùy chọn

Các tùy chọn bổ sung phù hợp với một kết nối lưu trữ cụ thể, ví dụ:
máy chủ, cổng, tên người dùng, mật khẩu, v.v. Đối với URL HTTP (S), các cặp khóa-giá trị
được chuyển tiếp đến urllib làm tùy chọn tiêu đề. Đối với các URL khác (ví dụ:
bắt đầu bằng “s3: //” và “gcs: //”) các cặp khóa-giá trị được chuyển tiếp tới
fsspec . Vui lòng xem fsspec và urllib để biết thêm chi tiết.

Mới trong phiên bản 1.2.